JaSST '18 Tokyo【C4】「探索的テストにおけるストーリーベースのアプローチ」聴講メモ

内容まとめ

  • 探索的テストに、ストーリー仕立てのガイドを設定することで、不具合検出率を上げられないか試してみた
  • 結果として有為な差異はなかったが、事前準備やサンプル数に不足を感じており、今後に繋げていきたい

感想

  • 人ごとに探索スキルに差異があることを前提として考えると、一律に誰にでも適用できそうなメソッドではないと感じた
  • ただ、単純に内容としてはものすごく面白い
  • 個人的にはまずチャーターの概念を習得することが先だが、チャーターの発展系をイメージするうえで、今回のセッションはとても刺激を受けた

聴講メモ

人間に着目した探索的テストの提案

  • 即効性はないよ
  • これの発展系をだれかが発表してくれることを期待
  • そもそも探索的テストって?
  • 探索的テストのモデル
  • 事前や最初に思いついたテストケースを流すだけではアドホックだと思う
  • テスト実行後のふるまいをよく観察して、そこからさらなるテストにつなげる

問題定義

  • いかに、テスト実行者の直感・感情・知識・経験を引き出すか
  • 指針
  • テストチャーターを工夫する
  • ツアーのメタファー
    • ガイドブックツアー
    • ランドマークツアー
    • など>行動の指針
    • が、イメージしづらい
  • ツアー形式をやってみてのインタビュー
    • チャーター作成者の思い
    • テスターの考えや実施範囲
  • 探索しているうちに機能を飛び越えてしまうことがある
    • チャーター適合率を報告してもらっている
    • やったことを指摘するような言い方はダメ
    • チャーターに従う必要はない、としておく
  • テスト管理者の負荷がすごい

課題感

  • テストの意図が伝わりづらい
  • スコープを逸脱する
  • テスト実行者のノウハウを引き出せていない

対策

  • 三幕構成でプロット=チャーターを書く
    • 設定
    • 伏線
    • 解決
  • 伏線の例
    • XX画面には、最近仕様変更が発生していた
    • 前日に特殊な運用をしていた

やってみてどうだったか

  • 有意な差はなかった (>_<)
  • マインドマップの差
    • ツアーのほうが、幅広く思考できていたようだ
    • 提案手法のほうが、深く思考できていたようだ
  • アンケートの結果としては、ツアーよりは提案手法のほうがわかりやすいという意見が多かった
    • 反省:実験前にテスト実行者の属性を調べていなかった
    • アプローチとしては面白いと感じた

今後試してみたいこと

おわりに

  • もっと人間に着目してみるとよいのかも

質問

  • なにを抽出するための探索的テストなのか
    • テストチャーター作成者による
  • 思考を縛りすぎなのかも
    • いい塩梅はこれから探りたい
  • 質はどうだったのか
    • ほぼツアーと差がない
  • モブテストペアテストをやってみて片方黙っている