/note/tech

「組合せテスト地獄」という話

「組合せテスト地獄」という話を聞きました。

テスト設計者はテストを実施しないので、超巨大な表(全組合せ表に限らず、直交表のときもオールペアのときもある)を作ってテスト実行者に渡して、テスト実行者も、とにかくその表を遅滞なく実行することが目的になってしまうことを指すそうです。

@akiyama924

そう言われれば、たまに画面にあるすべてのアイテムを因子・水準にしてツールに入力して表を作って実行して見つかった禁則を追加で入れて、どんどん大きくなってというテストをして、そのうち「変なんです」と相談を受けることがあるなあと思い出しました。 よくあることなのかな?

@akiyama924

本当にそのテストで47都道府県を全部、都道府県の水準にした組合せテストをしないとダメか? 自動実行ならそれもありかもしれないけど。

@akiyama924

古いデータが関係するなら沖縄県とか、文字数が関係しそうなら鹿児島県とか神奈川県とか、、、。

けど、水準を減らすと「なんで減らして良いのか」の説明を求められます。 で、どうせインチキな説明しかできないから、面倒になって巨大な表を作っちゃう。(どうせ自分がテストするわけじゃないって)

@akiyama924

そんな時にどう考えるのか(色々な企業では、どんな失敗があってどう変わっているのか)といった話の方が現場では求められていたかもなあと、ちょっと反省してる。←ちょっとだけ。

別の機会のネタにしよう。

@akiyama924

「じゃあ、お前がやれ」とヘソを曲げてみせるのが効果ありそう