信頼度成長曲線は信頼できるのか。
こんにちは。カルバートです。
先日、信頼度成長曲線を語る夕べに参加してきました。
信頼度成長曲線とは
信頼度成長曲線とは何なのか。自分の理解の範囲で言い換えると、
いつまでテストすればいいの？を数学的に予測するやり方です。
そもそも未来を予測することはできるのか？という難しい問題提起に対して、偉大な先人たちは様々な数学的モデルを考案してきました。ロジスティック曲線やゴンペルツ曲線など、様々なモデルが存在します。いずれも、自然界の事象を数式でモデル化することで、未来の予測に活用しようとしたものだと理解しています。
ソフトウェアの不具合検出に、その技法は応用できるのか
「語る夕べ」に参加したうえでの個人的な感想は、「理論上不可能ではないが、実務に応用するためには前提条件を整えるコストがかかりすぎて、難しいのではないか」でした。ざっと調べた限りなので間違いがあるかもしれませんが、たとえば生物の発生にロジスティック曲線を適用する場合、外部の環境(気候や食糧など)が一定しているという前提が満たされている必要があります。ソフトウェアテストにあてはめた場合、「不具合は偏在しない」「不具合の発見されやすさは常に一定」といった前提が必要になってきます。テストレベルが低ければ部分的には応用できるかもしれませんが、それらだけ切り出して分析することでテストの収束が予測できるかというと、また別の話なのかなと思いました。
綺麗なグラフを見たら建設的に疑おう
当日は、みっきーさんの(つらい)経験をベースに、信頼度成長曲線をそれっぽく見せるための様々なテクニックをお話しいただきました。いくつかは自分自身も経験したことがあるものでした。
未来を数学的に予測するための道具が本来の使われ方をせず、綺麗な数字をステークホルダーに報告するためだけの存在になってしまっている(ことが多いらしい)という話は、なんとも悲しいものです。そんな作業をするために、人生の貴重な時間を使いたくはないものですね。
信頼度成長曲線に限らず、グラフを見たら根拠を建設的に疑う。自分がグラフを書くときは、根拠が誤解なく伝わるよう務める。そんなことが大事なのかなと感じたイベントでした。
参考にした書籍
