JaSST '18 Tokyo【C4】「探索的テストにおけるストーリーベースのアプローチ」聴講メモ
内容まとめ
- 探索的テストに、ストーリー仕立てのガイドを設定することで、不具合検出率を上げられないか試してみた
- 結果として有為な差異はなかったが、事前準備やサンプル数に不足を感じており、今後に繋げていきたい
感想
- 人ごとに探索スキルに差異があることを前提として考えると、一律に誰にでも適用できそうなメソッドではないと感じた
- ただ、単純に内容としてはものすごく面白い
- 個人的にはまずチャーターの概念を習得することが先だが、チャーターの発展系をイメージするうえで、今回のセッションはとても刺激を受けた
聴講メモ
人間に着目した探索的テストの提案
- 即効性はないよ
- これの発展系をだれかが発表してくれることを期待
- そもそも探索的テストって？
- 探索的テストのモデル
- 事前や最初に思いついたテストケースを流すだけではアドホックだと思う
- テスト実行後のふるまいをよく観察して、そこからさらなるテストにつなげる
問題定義
- いかに、テスト実行者の直感・感情・知識・経験を引き出すか
- 指針
- テストチャーターを工夫する
- ツアーのメタファー
- ガイドブックツアー
- ランドマークツアー
- など＞行動の指針
- が、イメージしづらい
- ツアー形式をやってみてのインタビュー
- チャーター作成者の思い
- テスターの考えや実施範囲
- 探索しているうちに機能を飛び越えてしまうことがある
- チャーター適合率を報告してもらっている
- やったことを指摘するような言い方はダメ
- チャーターに従う必要はない、としておく
- テスト管理者の負荷がすごい
課題感
- テストの意図が伝わりづらい
- スコープを逸脱する
- テスト実行者のノウハウを引き出せていない
対策
- 三幕構成でプロット＝チャーターを書く
- 設定
- 伏線
- 解決
- 伏線の例
- XX画面には、最近仕様変更が発生していた
- 前日に特殊な運用をしていた
やってみてどうだったか
- 有意な差はなかった (>_<)
- マインドマップの差
- ツアーのほうが、幅広く思考できていたようだ
- 提案手法のほうが、深く思考できていたようだ
- アンケートの結果としては、ツアーよりは提案手法のほうがわかりやすいという意見が多かった
- 反省：実験前にテスト実行者の属性を調べていなかった
- アプローチとしては面白いと感じた
今後試してみたいこと
おわりに
- もっと人間に着目してみるとよいのかも
質問
- なにを抽出するための探索的テストなのか
- テストチャーター作成者による
- 思考を縛りすぎなのかも
- いい塩梅はこれから探りたい
- 質はどうだったのか
- ほぼツアーと差がない
- モブテストペアテストをやってみて片方黙っている
