リリース判定基準・テストの量はテスト実施率も確認する
リリース判定でのテスト品質ではテストの実施状況も確認する
前の記事で説明してきたのは、テスト計画段階で決められたテスト量が十分かどうかの判定の方法についてです。 実際のテストは、このテスト計画に従って実施されるのですが、テストの過程では何等かの理由から実施できないテスト項目が出てきたり、必要があって後で追加したテスト項目が出てきたりして、最終的に実施されたテスト項目がテスト報告書として出来上がってきます。
リリース判定では、このテスト報告書にも一緒にみて、計画されたテストの量と実際に実施されたテストの量とを比較して、問題無くテストが実施されたかどうかも情報として読み取って、テストの量の十分性を判定する事になります。 グータラ親父は、この実際のテストの量について、以下の２つの観点で問題が無いかどうか、最終的なテストの量が充分かどうかを判断してきました。
- テストの実施件数は当初の計画件数から大きく変動していないか
- テストの実施件数は類似の製品と比べて大きく減っていないか
テストの実施料が大きく減っていたら要注意
一つ目の注意点は計画したテスト量（テスト項目数）からの増減です。要するにテストチームが最初に必要だと考て計画したテストの量がちゃんと実施できているか、という確認です。 ソフトウエア開発で品質低下が起きる場面ではたいてい、工数不足や工程遅延が起きています。
元の開発工程に無理があったとか想定外の技術的な問題が起きたとか、理由はいろいろありますが、残念ながらソフトウエア開発プロジェクトで何等かの工程遅延が起きる事のは良くあります。 そして、工程遅延が起きてもリリース日は変わらないというのが、これまた残念ならがら良くある状況です。
その結果として、ソフトウエア開発の最終工程のテスト工程の圧迫が起こります。 当初計画していた時期にテストが始められない、テストを始めてもバグが一杯見つかってテストが思うように進まない、でもリリース時期は近づいてくる。 テストの量（テスト件数）が当初の計画に比べて数十パーセントのレベルで減って居いる時には、そのような状況が起きている可能性が高いです。
当然、リリースの時点では充分なテストが終わっていないので、リリース不可との判定になります。計画していたテストの量は十分でも、そのテストが大幅に実施できていない状況が起きていたら、テストの量の不足によるテスト品質の低下が起きていると判断します。
テストの量が大きく増えていても要注意
逆に、実施されたテストの量（テスト件数）がテスト計画の件数よりも数十パーセントも多い時は、何が起きているのでしょうか？ よく有るのは、ソフトウエア開発の途中で要求仕様の追加 があって開発量が増えた場合です。
開発量の増加に従ってテスト設計も見直しが行われててテスト件数も増加します。このように、開発量の増加の結果としてテスト計画の見直しも行われていれば良いのですが、これまたリリース時期は変わらず、開発人員も変らず単に開発量やテスト量だけが増えている場合は、注意が必要です。 テスト量は増えていても、必要なテストの量が減っているかも知れません。
開発チームやテストチームは、開発やテストの順番を細かく調整して、何とかリリース日程を守ろうと努力をしてくれます。 でもその結果として、実施に時間の掛かる安定性を確認するためのテストが後回しになって積み残しになってしまう事もあります。 実施に時間の掛からない機能/性能確認のテスト項目が増えているので、全体的なテスト項目の数は当初計画から増えているのですが、実施に時間の掛かる安定性の確認テストの項目も計画どおりに実施されているか、よく注意して確認する必要があります。 もし安定性確認のテストが不足していたら、リリースして良いかどうかは慎重に判断する必要がでてきます。
テストの量は過去のプロジェクトと比べて判断するのも１つの方法
新規開発の場合でも改造開発の場合も、これまで紹介してきたような考え方でテストの量が充分かどうかを判断する方法が論理的で良いのですが、グータラ親父は、現実的にはもう１つの別の判定方法も、良く使っていました。
そんなに難しい方法では無く、過去の品質の良かったソフトウエアと比べてテストの量が遜色ないかどうか、という判定方法です。 なにしろ、ソフトウエア開発は一品物開発で品質に影響するパラメータもいろいろあるので、どんなに理論を考えても例外事項が出きて、全ての場合に当て嵌まる様な良い理論というのは、なかなか有りません。 なので、以前の事例と比べるという手段も結構有効です。
新規開発であれば、以前の同様の製品でソフトウエア品質が良かった物と比べて、その時と同じ程度の量のテストが実施されているかどうか、という考えでテストの量の充分性を判定します。
改装開発であれば、その製品の以前の改造開発でソフトウエア品質の良かった物と比べて、同じ程度の量のテストが実施されているかどうか、という考えでテストの量の充分性を判定します。
まあ、経験に勝る理論無しという感じで、事例が有る程度蓄積されてくると、この方法が結構安心感のある方法となってきます。
テストの品質はテストの量と質の掛け算なので次はテストの質です
さて、ここまではリリース判定までに実施されたテストの量について考えてきましたので、次からの記事ではテストの質が充分かどうかをどうやって判定するのについて紹介します。テストの質については、色々な視点で考える必要があるので複数の記事に分かれていますが、興味のある記事からご覧になって下さい。