AIの試験導入は、対象業務、データ、権限、人による確認、停止条件を説明してテストできる状態から始めます。メール、文書、業務ソフトにモデルを接続する前に、入力、出力、決定的な規則、人に引き継ぐ条件を定めた小さなフローを選びます。
入力、判断、システムを整理する
開始条件から観察できる結果まで、現在の業務を記録します。例えば問い合わせメールを分類し、許可されたCRM情報を追加し、担当者が確認する返信案を作れます。入力形式、手作業、例外、正しいデータの基準、出力先を確認します。必須項目など安定した規則はコードで処理し、自由文の解釈などにAIを使います。
- 開始条件と対象範囲：何がきっかけで動き、どの記録を除外するか。
- データ形式：必要な項目、型、サイズ、未入力時の動作。
- 担当者：業務責任者、管理者、確認者、停止できる人。
- 許可する出力：下書き、分類、更新のうち、許可しない操作も明記する。
- 例外：処理を控える条件、担当者への連絡、手作業への復帰。
制御可能な処理の間にモデルを置く
確認できる構成では、データ形式と権限を検証し、必要な情報だけを送り、モデルの出力を再確認してから、人の承認後に許可された書き込みを行います。構造化出力は形式の曖昧さを減らせますが、型、許可項目、業務規則はアプリ側でも検証します。正しいJSONは、回答内容の正しさを証明しません。
誤り、不確実性、停止条件を試す
通常、不完全、曖昧、対象外、意図的に不正な例を含むテストを準備します。利用者の文書に埋め込まれた不正な指示も検証します。予想外の出力、タイムアウト、提供サービスの停止では、部分的な書き込みをせず安全に停止する必要があります。
試験を分離し、業務全体を測る
最初は別の環境や確認キューで、専用認証情報と許可・最小化されたデータを使います。プロンプト、形式、モデル、連携コードを版管理し、回数、待ち時間、再試行、予算の上限と停止方法を定めます。導入前後で処理時間、修正、例外、確認作業を比較し、モデル、サービス、保守、人の確認にかかる費用を含めて継続するか判断します。
人の確認と責任者を明確にする
確認者には許可された入力、生成案、利用可能な情報源、自動チェック、処理を控えた理由を見せます。修正、却下、担当変更ができるようにします。誰が連携を止めるか、中断した業務をどう再開するか、手作業にどう戻すかを決めます。NIST AI RMFはGovern、Map、Measure、Manageという機能で継続的な管理を整理します。
継続、変更、停止の条件は試験前に決めます。範囲と制御が明確な一つのフローなら、部門全体を自動化するという曖昧な構想より検証しやすくなります。