SaaS ／ 直近の案件
大量のプルリクに対するブラックボックステスト
AIコーディングで増えた変更に対して、使う人の立場で動きを確かめるテストを設計・実行しました。確認できた範囲とできていない範囲を分けて報告し、リリース判断の材料にしていただきました。
SOUND FAMILIAR?
こういう状態では、ありませんか。
-
プルリクは、半年前の何倍にもなった。
レビューはなんとか回っている。でも、動かして確かめる人がいない。
-
「確認待ち」が、常にたまっている。
マージは済んでいるのに、リリース前に誰も触っていない変更が、10件、20件と積み上がる。
-
リリースの間隔は、AI導入前と変わらない。
開発は速くなった、と全員が感じている。それなのに、出る頻度は同じ。
作る速さ（プルリク）
この開きが、詰まり
確かめる速さ（人）
WHAT IS HAPPENING
詰まっているのは、テストです。
AIコーディングで、変更の数は数倍になりました。ところが「この変更を出してよいか」を決める工程は、レビューする人とテストする人の時間で決まります。
組み立てだけを速くしても、検査の台が1つなら、出荷は速くなりません。変更がたまる場所は、だいたい次の3つです。
01 Review
レビューが追いつかない
読む量が増え、1件あたりが浅くなる。見落としが、あとの工程へ流れる。
02 Test
テストの待ちが伸びる
確認待ちの変更がたまり、まとめて確かめる。不具合が出ると、どの変更が原因か分からない。ここが、いちばん詰まる。
03 Decision
リリースの判断が遅れる
「どこまで確認できたか」が言えないので、出すか止めるかを決められない。間隔が延びる。
COMMON FIXES
よくある打ち手が、効きにくい理由。
テストを全部自動化する
自動テストは、作るのにも直すのにも時間がかかります。変更の速さに追いつかず、壊れたテストが放置されます。
AIにテストも書かせる
AIが書いたコードを、同じ前提で書かれたテストで確かめても、同じ思い込みを見逃します。「AIが24時間テストする」仕組みも、何を確かめるかを決める工程は残ります。
テストする人を増やす
何を確かめるべきかが決まっていないと、人を足しても確認の量が増えるだけで、判断は速くなりません。
OUR APPROACH
全部を見るのをやめて、どこを見るかを決める。
変更のたびに、壊れたら困る場所を決め、そこを深く確かめます。
人が判断する部分と、繰り返す部分を分けるのが要点です。
Black-box Testing
使う人の立場で、動きを確かめる
コードの中身ではなく、画面と、使う人の導線から確かめます。AIでコードの書き方が変わっても、使う人から見た正しさは変わりません。仕様の読み違いも、ここで見つかります。
Agentic QA
繰り返す確認は、AI Agentに任せる
AI Agentが実際のシステムを操作して確かめ、回帰テストの生成・実行・自動化を回します。人は、どこを見るかの判断と、結果の読み取りに集中します。
最初の2週間
-
1〜2日目
棚卸し
変更の一覧と、壊れたら困る場所を決める。打ち合わせは1回、60分。
-
3〜7日目
設計と実行
使う人の立場で確かめる観点を書き出し、実行する。
-
8〜10日目
報告
不具合と、確認できた範囲・できていない範囲を報告。次に見る範囲を提案。
受け取るもの
- 確かめる観点の一覧（何を見て、何を見ていないかが分かる）
- 不具合の報告（再現手順・影響範囲・優先度つき。開発チームがすぐ動ける形）
- 次に見る範囲の提案（続けるかどうかは、これを見て決められる）
用意していただくもの
- 動く環境（ステージングで可）
- 変更の一覧（プルリクのリストで可）
- 仕様があれば仕様。なければ画面だけで始められます
Limits
限界も書いておきます。どこを見るかを決めるには、そのシステムを理解する時間が要ります。最初の数日は速くなりません。AI Agentの確認も万能ではなく、出すか止めるかの最後の判断は人が行います。
CASES
同じ相談を受けて、担当した案件があります。
大量のプルリクに対する
Agentic QA
実システムから始める、Agentic QAのClosed Quality Loop構築
資料が十分でないシステムをAI Agentが観察し、回帰テストの生成・実行・自動化までつなげた事例です。
事例を見るEightDoor
株式会社エイトドアは、ソフトウェアテストとQA×AIの会社です。テストの設計・実行・報告を自分たちで行います。
Agentic QA（AI Agentが実システムを観察し、確かめる工程を循環させるQA）を名付け、実装しています。
FAQ
よくある質問
どれくらいの期間から頼めますか？
数人日からお受けしています。リリース前の1回だけ、特定の機能だけ、という依頼も可能です。
続ける場合は、リリースごとの依頼や、月ごとの顧問の形もあります。
開発中のシステムでも依頼できますか？
できます。動く環境（ステージングで可）があれば始められます。
仕様書やテストケースが無い状態からでも、画面と、使う人の導線から観点を作ります。
テスト自動化ツール（SaaS）との違いは？
ツールは「決めた確認を繰り返す」道具です。何を確かめるかを決める工程と、仕様の読み違いを見つける工程は人が担います。
必要なら、お使いのツールと組み合わせます。
社内のQAや開発チームとの関係は？
置き換えではありません。確かめる工程を一時的に引き受け、観点・報告・次の範囲の提案をすべてお渡しします。
社内に残る形で進めます。
NDAは結べますか？
結べます。相談の段階からで構いません。
何を用意すればよいですか？
動く環境、変更の一覧、あれば仕様の3つです。
初回相談では、この3つの状況を伺って、最初に見る範囲を一緒に決めます。
CONTACT
いま、どこで詰まっているかから。
プルリクの数、確認待ちの件数、リリースの間隔。分かる範囲で、いまの状況をお聞かせください。
初回相談は無料（30分程度）。1〜2営業日以内に返信します。
いただいた情報はお問い合わせへの回答とご相談対応のために利用します。個人情報の取り扱いについては プライバシーポリシー をご確認ください。
数人日から始められます
相談する