AI4QA Agentic QA
実システムから始める、
Agentic QAのClosed Quality Loop構築
仕様やソースが十分に揃っていない既存システムを、AI Agentが実際に動かして観察し、事実と推測を分けながら理解を更新する。その知識を回帰テストの設計・生成・実行・自動化へつなぎ、結果をふたたび知識へ戻す。この循環をClosed Quality Loopとして整えた支援です。
Challenge
資料が足りないまま、
変更のたびに確認範囲が決まらない。
対象の既存システムは、ソースや仕様書といった開発ドキュメントが十分に揃っていない状態でした。資料があっても現在の実装と一致している保証はなく、システム固有の業務知識も暗黙のままでした。
品質上の課題があり、変更のたびに何を確かめるべきかを、担当者の記憶ではなく再現できる形で整える必要がありました。
Closed Quality Loop
一度作って終わりではなく、
循環として組み立てました。
資料を正解とせず、実際に動いているシステムから観察を始めます。観察した内容はSystem Knowledgeへ蓄え、次の判断と検証に使い、その結果をまた知識へ戻します。
-
実際のシステムを見る
-
事実と推測を分けて
理解する -
何を確かめるか決める
-
テストを設計し、実行する
-
繰り返す確認を自動化する
-
結果と発見を知識へ戻す
System Knowledge
事実 / 推測 / 資料記載 / 確認済み / 不明
更新し、次の理解と判断へ再利用するHuman gate業務仕様は顧客が確認する。AIの推測をそのまま仕様にしない。
この支援で構築できた状態
- 実システムから得た情報を、事実・推測・資料記載・確認済み仕様・不明点の5つに分けて持つSystem Knowledge
- その知識をもとに、確認範囲を決めて回帰テストを生成できる状態
- 繰り返し確認する領域を、Automation Skillsから自動化へつないだ実装
- 検証結果と発見を次の品質判断へ戻す、閉じたLoop
Approach
支援の流れ
-
実際に動いているシステムを観察する
画面の挙動、API通信、保存データ、画面遷移。AI Agentが繰り返し観察し、理解を更新します。既存の資料と過去の不具合もあわせて読みます。
-
事実・推測・資料記載・確認済み仕様・不明点を分ける
観察した内容をすべて確定仕様にはしません。時点付きのSystem Knowledgeとして、次の5つに分けて持ちます。
- Observed fact
- 実システムで再現・観察できたこと
- AI hypothesis
- 観察からAgentが推測した関係
- Documented
- 既存の資料に書かれている内容。確認済みとは分けて持つ
- Confirmed
- 顧客・業務担当が確認した仕様
- Unknown
- 現時点では判断できないこと
業務仕様の確定は、顧客が確認する工程を通します。この区別が、この支援でもっとも重要な品質ゲートです。
-
何を確かめるかを決める
変更点、影響範囲、リスク、過去の不具合から回帰の範囲を決めます。件数を増やすことは目的にしません。
-
テストを生成し、実システムで実行して直す
Regression Test Generation Skillsで、第三者が実施しても結果がぶれにくい粒度まで落とします。生成した仕様はAgent自身が実行し、誤りを修正します。
-
繰り返す確認を自動化する
何を確認すべきかを決めたうえで、Automation SkillsからPlaywrightによる実装まで進めました。
-
結果と発見を知識へ戻す
実行結果と確認した仕様をSystem Knowledgeへ戻します。次の観察と判断がその知識から始まるため、同じ調査を繰り返しません。
Next
次につながったこと
まず対象のシステムで、探索からテスト生成・実行・自動化までを一通り実装しました。そのうえで、他のシステムへ展開できる形にプロジェクト一式を整えています。
複数システムを横断する仕組みは、QMO OrchestratorとSystem-specific Agentsという構成として整理しています。その関係はQA×AIのページで説明しています。
Contact
似た状態のシステムでも、
観察から始められます。
資料が足りない、確認範囲が決まらないという段階からご相談いただけます。状況を伺い、最初に着手する範囲を整理します。
品質の課題を相談する