SITとは？
システムインテグレーションテスト（以下SIT）は、ソフトウェアテストの一種であると同時に、ソフトウェア開発ライフサイクルの1つの段階で、通常は単元テストと受け入れテストの後に実施されます。SITテストでは、各システムコンポーネントが統合されてテストされ、正常に動作するかを確認します。
ソフトウェアテストの中でも、SITは最も手間のかかる人的資源を必要とし、問題が最も多いテストでもあります。テスト内容だけでなく、各アイテムとサプライヤーの納期も含まれるため、テストのスケジューリング全体に影響し、システムバージョンの更新も出荷時間に影響を与えます。
SITの紹介とその効果
- SIT：システム全体の様々なコンポーネントを適切に統合できるかを確認します。
- 機能テスト：システムの各機能が正常かどうかをテストします。
- インターフェーステスト：システム間のインターフェースが正しく接続され、相互作用するかをテストします。
- パフォーマンステスト：システムの応答時間やスループットなど、システムの性能が期待に沿うかをテストします。
- セキュリティテスト：身分認証、承認などのテストを含め、システムが十分なセキュリティ保護を備えているかをテストします。
- 信頼性テスト：システムがクラッシュしやすいかや回復が容易かなど、システムの信頼性と安定性をテストします。
- 利用可能性テスト：システムのインターフェースデザインや操作方法など、システムの使いやすさとユーザーエクスペリエンスをテストします。
SITのメリット
- 問題の早期発見：SITはシステム開発の後半部分で行われるため、サブシステム間の統合問題や接続端子の問題を検出することができます。SITを通じて、これらの問題を早期に発見し解決することで、システムの正常動作に影響が及ぶのを防ぎます。
- システム品質の向上：SITを通じて、システムの機能、性能、安全性などを全体的にテストすることができます。これにより、システムの品質と信頼性を向上させ、ユーザーのニーズや期待に応えることができます。
- リスクの低減：SITは、システムの安定性や安全性を確保するのに役立ちます。テストを通じて、潜在的リスクや問題を発見し解決することで、システム障害の可能性を減らし、システムのリスクや損失を低減することができます。
- 効率の向上：SITは、システムの統合問題を特定するのに役立ちます。テスト担当者は、問題をより効率的に特定し解決することができるため、テストの効率と品質を向上させることができます。
問題分析とケーススタディ
アリオンのテストデータ分析と過去の経験によると、サーバーの製造および開発段階における問題は、上の表で示す通り、いくつかのカテゴリに分類することができます。その中で、BIOS、プラットフォーム（CPLD / CPU / HDD_SSD_SD / 入力 / メモリ / ODD / PCIe_SSD / 電源）、ワークステーションソフトウェア、OSの4つのカテゴリの問題が、全体の72.8%を占めています。
事例 1.
【背景の説明】
SITテストにはWHQLテストが含まれ、このテストではSystem PnP機能が正常に動作するかどうかをテストします。テスト中にこの機能をオフにしてから再度オンにします。このテストの構成では、サーバーにPCIeインターフェースをサポートするすべてのカード（例：PCIe add-inカード、グラフィックカード、ネットワークカード、Zoomカード、シリアルカード（ログの記録や旧式デバイスの接続に使用）、Teradiciカード（リモートコントロール）など）を接続します。
テスト経験から、DIMMの容量が1TBを超える時、システムにいくつか問題が発生し、正常に使用できなくなることが分かりました。その問題とは、デスクトップのツールバーが消える（図1）、再起動後にソフトウェア（アプリ）でエラーメッセージを表示される（図2）、組み合わせキーが機能しなくなる（図3）、フォルダーが開けないなどです。多岐にわたる議論や検証の結果、チップメーカーは、PCIeの過負荷が、システムの機能不全の原因であると結論づけました。
【テストの目的と効果】
WHQL（Windows Hardware Quality Labs）テストは、SITテストの中のドライバーテストの一つであり、Windowsハードウェアデバイスとドライバーのテストを主に行います。 その目的は、ハードウェアデバイスとドライバーが Windows OSと互換性があることを確認することです。テストを通じて、ドライバーの安定性と信頼性を確保し、ドライバーの問題がシステムに影響するのを防ぎます。
この例では、このサーバーに搭載されたPCIeチップとドライバーの問題をお客様が特定するお手伝いをしました。WHQLテストを通じて、ドライバーがMicrosoftの認証基準を満たすことを確認し、ドライバーの品質と安定性を高め、システム全体の安定性と信頼性をさらに向上させることに役立ちました。
事例 2.
【背景の説明】
SITテストにおいて、VGAグラフィックカードのドライバーをインストールする際、そのカードがモニターに接続されていないと、ドライバーのインストール後にランダムでBSOD(ブルースクリーン)が発生することがあります(図4)。多岐にわたる議論や検証の結果、VGAドライバーの問題であることが判明し、最新バージョンに更新することで、この問題を解決することができました。
【テストの目的と効果】
SITテストの中で、ドライバは非常に重要な要素で、ハードウェアとソフトウェアの間の相互作用に直接関係しています。
ドライバに問題がある場合、システムの不安定や機能の消失、パフォーマンスの低下などの問題が起こる可能性があります。最悪の場合、システムがクラッシュしたり起動しなくなる可能性があります。そのためSITテストでは、ドライバに対して包括的なテストを行い、その安定性、信頼性、互換性に問題がないことを確認する必要があります。
この例では、SITテストを通じて、この問題がシステムクラッシュを引き起こす深刻なレベルであることが分かりました。アリオンはドライバに対して包括的なテストを行い、システム全体の安定性と信頼性を高め、システムの正常な動作を確保しました。
事例 3.
【背景の説明】
過去の経験に照らし合わせると、パワーサイクルテストでS4テストを完全に実施した場合、平均時間は 5 ～ 6 分以内に収まり、特定のバージョンのBIOSをロードすると、Win10 OSを搭載したサーバーがS4テストを実行します。テスト時間は確率的に10分以上となりますが、これは明らかに異なります (SUT 失敗率: 3/10)。様々な関係者との検証と議論の結果、VROCドライバーをアップグレードすることで問題を解決することができました。
パワーサイクルテストでは、過去の経験から、完全なS4テストの実行時間が平均5〜6分間になることがわかっています。ただし、特定のBIOSバージョンを搭載した場合、Win10 OSを搭載したサーバーでは明らかに違いがあり、S4テストの実行時間が10分以上になることがありました（SUT Fail rate: 3/10）。多岐にわたる議論や検証の結果、VROCドライバをアップグレードすることでこの問題を解決しました。
【テストの目的と効果】
SITテストのパワーサイクルテストは、複数回システムを起動/再起動した後の、システムの安定性と信頼性をテストすることを目的としています。パワーサイクルテストは、実際の使用環境をシミュレーションし、システムの長時間使用や複数回の起動/再起動を経た後も、システムが安定して動作することを確認し、システムの信頼性と安定性を向上させます。
この例では、アリオンは、各バージョンの更新にパワーサイクルテストを実施することを推奨しています。複数回システムを起動/再起動することで潜在的な問題を見つけ、システムの安定性、信頼性、品質を向上させ、実際の使用環境でシステムが正常に動作することを確保します。
結論
アリオンは業界最高レベルのテスト環境を備えており、サーバー専用の電力設備や空調、24時間コントロール可能なセキュリティメカニズムのアクセス制御システムを備えています。また、アリオンはお客様のご要望に基づいて完全なSITテストプランを策定し、テスト範囲、テストシナリオ、テストケース、適切なテスト方法とツールの選択、そして完全なテストレポートを提供することができます。さらに、専門的な知識と豊富な経験を持つテスト専門家を擁し、お客様のテスト要件に応じた提案を行い、テストプロセス中に発生する問題を効果的に分析して解決することができます。
アリオンが提供するサーバー関連サービスの詳細はこちらからご覧いただけます。
専属コンサルティングサポートを受けたい場合は、こちらにご要望をご記入ください。