QA×AI

QA×AI

AIでQAの設計・検証を進め、
AI機能そのものの品質評価にも対応します。

QA×AIについて相談する

Overview

まず、2つに分けて考えます。

ひとつは、AIを使ってQAそのものを強くすること。もうひとつは、AIを載せた機能の品質を評価することです。同じ「AIと品質」でも、対象がまったく違います。

AI4QA / 中核

QAプロセスそのものを、
Agentで動かす。

テストを速く作ることが目的ではありません。実際に動いているシステムを見て、何を確かめるべきかを決めるところからAI Agentに担わせ、その結果を次の判断へ戻します。EightDoorはこれをAgentic QA(エージェント型QA)と呼び、QA×AIの中核として扱っています。

観察から学習までを一度きりの作業にせず、循環させる。この循環をClosed Quality Loopと呼びます。

  1. 01Observe

    実際のシステムを見る

  2. 02Understand

    事実と推測を分けて理解する

  3. 03Decide

    何を確かめるか決める

  4. 04Verify

    テストを設計し、実行する

  5. 05Automate

    繰り返す確認を自動化する

  6. 06Learn

    結果と発見を知識へ戻す

System Knowledge

事実・推測・資料記載・確認済み仕様・不明点の5つに分けて持つ知識基盤です。資料に書かれていることと、業務仕様として確認が取れていることは、別の状態として扱います。結果と発見がここへ戻り、次の理解と判断に使われます。

Human gate

業務仕様の確定、推測の扱い、重要な品質判断は人が確認します。完全に自律したAIで人の確認が不要になる、という考え方は取りません。

Definition

Agentic QAとは

Agentic QA(エージェント型QA)とは、AI Agentが実際のシステムを観察し、事実と推測を分けて理解を更新しながら、何を確かめるかを判断し、テストの設計・実行・自動化・学習までを1つの循環(Closed Quality Loop)として回すQAの進め方です。AIでテストを生成する作業だけを指す言葉ではなく、観察から学習までがつながっていることを条件にしています。業務仕様の確定や重要な品質判断には、人が確認する関所(Human gate)を置きます。

AI4QA

いまのQA活動を、
AIで支援する。

人が主導するいまのQA活動に、AIを取り入れて効率を上げます。進め方を大きく変えずに、使えるところから取り入れます。

AIの出力はそのまま正としません。指摘の候補として扱い、人が原本を確認したうえで判断します。

Test Generation

テストケース生成

仕様書や画面から、テストケースの叩き台をAIで作ります。観点の抜けがないかを人がレビューして仕上げます。

Coverage Review

カバレッジのレビュー

開発ドキュメントとテスト仕様書を対応づけ、テストの有無、抜け漏れの候補、設計変更の反映を確認できる形にします。

Automation

テスト自動化

繰り返す確認を自動化し、テストスクリプトの作成と保守の手間をAIで減らします。

Tooling

QAツールの開発

テストデータの作成や不具合の整理など、現場の手作業をAIを使った小さなツールで効率化します。

QA4AI

AI機能そのものの品質を、
評価する。

生成AI、RAG、AIを載せた機能の出力品質を評価する領域です。Golden Dataset(想定する質問と期待する回答の組)を整え、検索精度、回答品質、想定回答との差を見ます。モデル・プロンプト・データを変えたあとの回帰評価も同じ基準で行います。

これは「AIを使ってQAをすること」ではありません。Agentic QAやAI-assisted QAとは、評価する対象も目的も異なります。

Architecture

複数システムへ
広げるための構成

Closed Quality Loopを1つのシステムで回せるようになったあと、同じ進め方を複数のシステムへ広げるための構成です。QMOはAgentic QAそのものではなく、Loopを横断して運ぶ上位のレイヤーとして位置づけています。

QMO Orchestrator と System-specific Agents の関係

QMO Orchestrator

品質方針 / 共通Skills / 品質ゲート / 結果と残リスクの集約

  • System A Agent

    観察 / 検証 / 自動化 / 学習

  • System B Agent

    観察 / 検証 / 自動化 / 学習

  • System C Agent

    観察 / 検証 / 自動化 / 学習

各Agentが共通で使うもの

  • Skills
  • System Knowledge
  • Human Gate

About QMO

QMOはQuality Management Office / Quality Management Orchestrationとしての構想名称で、一般規格名や既製サービス名ではありません。

Contact

どこから相談すればよいか
分からない段階でも構いません。

対象のシステムと困っていることを伺い、AI4QAとQA4AIのどちらから着手するかを整理します。

品質の課題を相談する