生成AIにQA検証項目を作ってもらおう

以前こちらの記事でサービス業向けCRMツールの0→1開発中と書きましたが、
実装が順調に進んでおり、現在は実装完了後のQA検証に向けて、検証項目の作成を進めています。

従来の作成方法

他のプロダクトでは機能ごとに開発→QA→リリースをしてきたため、
たいてい数画面・数機能が検証対象で、項目作成から検証まですべて手動で、1〜2営業で完了することが多かったです。

1. 仕様書や設計書をもとに手書きで検証項目を洗い出す
   1. Figjamのマインドマップを使うとうまく網羅できて気に入っています☺️

      

2. メンバーに項目レビューをしてもらい過不足調整をする
3. 項目を確定し、検証者がチェックしやすいようにNotionにリストとして手動で書き起こす

したがって自分が手を動かす時間は1機能あたり30分前後でした。

今回は検証対象がとても多い

さて、今回は従来と違います。
プロダクトを0→1開発するため、1stリリース時の検証対象は40画面以上となりますし（これでもMVPとして絞りました😳）、かつ業務ツールで、個人情報や金銭やりとりの記録を扱う画面や機能もあるため、品質管理の重要度は高いです。

私は始め「項目を洗い出すのすごく時間かかるけどいつも通りがんばるぞ〜」とのんきに意気込んでいたのですが、チームメンバーより

「それって生成AIが作れないかな？」
「！！！」

なるほどこういうときに活用すればいいのですね！
というわけで早速慣れない生成AIと向き合ってみることにしました。

今回の作成方法

今回は精度や使い勝手、金額などの観点から「Gemini 2.5 Pro」を利用しています。

1. 仕様書作成依頼

1. Figmaデザインのスクショ＋「◯◯画面についての仕様書を作成してください。UIやコメントをもとに仕様を詳細に整理して記述してください。各画面の要素、機能、遷移などを明確に記述してください。」と依頼
2. Geminiが不明点を質問してくるので回答（5〜10点ほど）
3. 仕様書のアウトプットがきたら見当違いでないか確認

2. QA検証項目作成（CSV形式）

1. 「では、◯◯画面の仕様をもとに、網羅的なQA項目を生成してください。機能、UI、操作性、エラーハンドリング、セキュリティ（悪意あるユーザーの想定）などの観点を含めてください。」と依頼
2. 項目のアウトプットがきたら見当違いでないか確認

3. Notionにテーブル形式でインポート

1. 弊社がタスク管理でNotionを利用しているため
   1. /csv と打つと簡単にできる

      

4. Notionテーブルプロパティの調整

1. CSVインポートだとすべてテキスト扱いになってしまうため、「チェックボックス」「マルチセレクト」「ユーザー」など手動で調整

アウトプットイメージ

これで1画面あたり平均12分ですべての項目を作ることができました。

生成AIで作成してみた感想

よかったこと

• 圧倒的時間短縮！40画面分だとざっくり計算で約13時間分👏
• 自分で作るよりも項目を網羅してくれている（特にエラーハンドリング、セキュリティ観点）

難しかったこと

• 期待するアウトプットレベルに達するまでのGeminiとのコミュニケーション
  • 始めは項目が網羅できていなかったり、仕様を大きく勘違いしていたり、何度も同じ確認をこちらにしてきたりとコミュニケーションコストが大きかった
  • 対応策
    • 何をどうしてほしいか具体的に指示を出したり、例を挙げて期待とずれないようにアウトプットしてもらった
    • うまく行った場合は「次回以降もこの形式でお願いします」と伝えて学習してもらった

• どうしても意図が伝わらないときもあった
  • 同じミスを何度も繰り返したり、「直しました！」というのに直っていなかったりした
  • 対応策
    • 何度か伝え方を変えて試した
    • それでもどうしてもだめなときは諦めて手動で調整した（コミュニケーションに時間がかかり本末転倒だったため）

• （余談）Geminiがへりくだりすぎてやりづらい
  • ミスを指摘するとものすごく謝ってくるので逆に申し訳なかった笑

    

  • 対応策
    • 感謝を伝えたりして優しいコミュニケーションを努めた
    • それでもへりくだるので途中から気にしないようにした…

以上です。

今振り返ればこのような単純手作業は生成AIがもってこいですよね。
日頃の作業を流れで行うのではなく「これは生成AIが活用できるのでは？」と見つめ直すことの大切さを実感しました。

もっと仲良くなるぞ〜（Geminiからもフランクになってほしいな）