「非機能要件」の重要性とケーススタディ。
ユーザの使い勝手やセキュリティに関わる「非機能要件」を満たすための、“8つ”のテストとは？

ヴェスの「非機能テスト」は、前述の「ISO/IEC9126」が定義する品質特性（機能性、信頼性、使用性、効率性、保守性、移植性）をベースにカテゴライズしたもので、8項目のテストによって“非機能要件”が実際に製品に実装されているかどうかを検証します。

システムキャッシュの状態・設定で性能が可変するので、本番に近い環境でキャッシュの状態を把握しながらテストを行いました。結果、性能が設計時のベンチマーク指標を満たしていないことが判明。すみやかに改良・再検証を行い、システムの有効性を確認しました。

検証の結果、想定していたデータ量の一括投入は不可能であることが判明しました。そこで、データの投入手順を原因分析からテストデータ加工までを含め再度検討するとともに、本番環境でのシステム動作や不具合を発見するため、ボリュームテストを繰り返し実施。最終的に、ツールを正常に動作させながらデータを投入する手順を確立しました。

一つのシステムの不良動作により別のシステムが次々と影響を受け、大きなトラブルにつながるケースが多いため、設計された要求水準の10倍量のメッセージでテストを実施し、“非定常状態”におけるシステムの挙動を確認しました。結果、サーバのCPU利用率は定常に比べ最大で5%増加することが判明。この負荷であれば、想定量を超えるメッセージが来たとしても既存のシステムに影響を及ぼさず対応できることを確認しました。

お客様の協力を得てラボ内に商用相当と思われる状況をセッティングしテストを実施。結果、新規開発部分のリソースリークやデータベースのデッドロック発生等の可能性を未然に確認でき、手戻りを防ぐことで運用チームの負荷軽減につながりました。

実際に障害を発生させ正しく機能するかどうか実証するため、システム環境やソフトウェアの仕様を細かく把握したうえで検証プロセスを構築。結果確認だけでなく復旧手順確立から動作検証までテストを実施しました。結果、キャッシュのみがダウンしたケース、データベースのみがダウンしたケースそれぞれにおいて障害発生後の手順を確立することができ、サービスダウンなしでシステムが単一障害から復帰できることを確認しました。

セキュリティ検査はお客様自身で行う予定でしたが、対象となっているのはPaaS上で実装されたアプリケーションのみだったため、PaaSを含む管理用ポータルサイト全体に対するセキュリティ検証を提案し、実行しました。結果、セキュリティ脆弱性を10件検出。セキュリティインシデントを未然に防ぐことができました。

利用者が限定的であり、これまで機能重視でユーザビリティがほとんど考慮されていなかった製品のため、デザインやシステム効率性において開発側の独善に陥っている部分が多々あり、視認性や使いやすさ等にいくつもの向上の余地があることが判明しました。数多くの指摘が最終製品のユーザ・インターフェースに取り入れられ、ユーザを想定した使い勝手の良い製品開発につなげられました。

以上、非機能テスト各項目のケーススタディを紹介しました。
いずれのケースも、“仕様化した非機能要件”が正しく製品に反映されていることを検証するため、本番に近い環境でテストしたことに意味があります。本番環境での想定外のシステム動作や不具合を未然に防ぐとともに、仕様通り非機能要件が製品に正しく実装され、機能することを実証しました。