検査・分析機器メーカーJ社では、リリースした製品に対する市場不具合や、過去の製品で出ていた要望が現行製品に反映されていないという製品仕様に対するクレームに悩まされていました。
現行製品は、最終テスト段階での変更や開発段階の確認漏れが多発しギリギリまで対応に追われましたが、リリースを優先した結果、市場投入後に不具合が発覚してしまいました。 「開発にあたり、お客様へのヒアリングを行っていましたが、要望は多岐に渡り、すべてに対応することは困難でした。結果としてクレームにまで発展してしまい、対応には苦慮していました・・・」と、開発担当のT氏は語ります。
次期製品では過去の失敗を繰り返さないように、前の開発で発生した問題点の洗い出しに着手しました。しかし、分析のポイントを絞ることができずに、根本的な問題は解決できずにいました。 「開発者を集めて何度も問題点の洗い出しを行いましたが、原因の特定ができないため対策の策定に至らず、途方にくれていました。しかも、新製品は研究開発や医療分野でも使用されるため、仕様書や各種ドキュメント類についても高い精度が求められ、内容を検討しなければなりませんでした。問題は山積みでどこから手をつけていいか分からず・・・」(T氏)
T氏が解決策を探していたところ、品質管理部門の担当者から、外部の検証サービスを使ってはどうかと提案されました。Webで探したところ、第三者検証専門会社の株式会社ヴェス(以下、ヴェス)を見つけ、問い合わせることにしました。 早速、相談すると、ヴェスから根本的な原因は上流工程にあると指摘されました。要件定義から基本設計、詳細設計と進む開発の中で、それぞれの間で整合性がしっかりと取れていないと、結合テストなど最終段階のテストで不具合や修正が多発する原因になるとのことでした。 ヴェスが提供する、上流工程検証(仕様書検証)では、要件定義書と仕様書から「要求トレーサビリティマトリクス」を作成し、要求に対して仕様に抜け漏れはないか整合性の確認を行います。上流工程で検証を行うことによって、高い品質の製品開発が可能となるそうです。 「仕様書やテスト内容を過去のものも含めて確認してもらいましたが、ここまで曖昧な部分や不備があるとは思いませんでした。根本的な原因が分かりましたので、これでリリース前にバタつくこともなくなりそうです」(T氏) 以下は、対象製品のテスト仕様書のテストケース各項目に対して、妥当性検討を行った結果です。指摘内容は合計208件にも上りました。
(1)テスト要件 81件
テスト観点が不足している
仕様に存在する機能について、テストケースが存在しない
(2)テスト条件 59件
試験方法に記載されている内容が、評価・判定基準になっている
試験方法が抽象的な表現になっている
(3)期待値 38件
評価・判定基準に抽象的で曖昧な表現が使用されている
評価・判定基準に仕様とは異なる期待値が、記載されている
(4)テスト粒度 23件
1テスト項目に複数の確認するテスト項目が、記載されている
(5)その他 7件
文言の誤り
仕様にない機能が、記載されている
仕様書からテスト設計を行う際、実際にテストができるだけの情報が記載されているかを確認する「テスト実現性の観点での検証」を行うことで、テストに落とし込めない曖昧な表現、記載漏れなどの不備をなくすことが可能になります。また、要件定義から基本設計、テスト設計間のトレーサビリティを確立することで要求に対するテストを行うことができます。 「それぞれの整合性を取ることで、要求漏れが極端に減りました。仕様書の曖昧な表現をなくすことで、不具合も減らすことができました。精度の高い仕様書やドキュメント類の作成もできましたので、審査の厳しいお客様にもご満足いただけそうです」(T氏) J社は上流工程から第三者検証を導入することによって、お客様に満足いただける製品の開発だけでなく、リリース前の不具合や改修を減らし、リソースとコストの削減まで可能になりました。