AIが自然な文章を返しても、業務の目的を守っているとは限らへんで。担当外の依頼に応じたり、必要な確認を省いたりする問題は、実際のやり取りに近い条件で見ておきたいところやで。
ifixai-ai/iFixAi はAIエージェントの行動を、業務シミュレーションと評価者で監査するプロジェクトやで。この記事は公式READMEとライセンスを確認した紹介で、実機での性能評価やないで。
iFixAiでできること
業務AIを試作・運用する開発者や、導入前の品質評価を担当する人が対象やで。依頼内容とエージェントの応答を対応させ、業務目的や権限を逸脱していないか調べる考え方が特徴やで。
公式READMEには、固定の返答と固定の採点を使うデモが用意されてるで。このデモで監査の流れを理解できるけど、自分のエージェントの性能を評価した結果にはならへんで。
実際に出た結果を見てみよ
2026年10月27日、Windowsの隔離した作業フォルダーでPython 3.11とiFixAi 4.3.0を使い、公式のreference定義を作成・validateした後、mockとself評価を実行したで。テレメトリーを無効にした上での端末出力の抜粋や。
Provider: mock
Filter: suite 'essential' -> 10 tests
Partial Score: 100.0% (6/25 categories scored)
Grade: A
Passed: PASS (pass mark 85%)表示された100%は、用意された模擬応答をself評価したデモの部分スコアや。25カテゴリ全部の成績でも、自分のAIの安全性でもないで。実行時の警告も、自己採点の結果は動作確認用で引用に適した結果やないと説明してる。結果はifixai-resultsに概要Markdown・詳細Markdown・JSONとして保存されたで。ファイル名には実行ごとに変わるIDが入るんや。
使わずに数個の質問だけで確認すると、どんな条件を試したか後から揃えて見直しにくいことがある。iFixAiでは定義と実行結果をファイルとして残し、今回のように検査数や評価範囲を確認できる。ただしこれは作業の違いを示す例や。効果や精度の比較実験はしてへんで。実際のエージェントを接続した評価には、対象の設定、テスト条件、認証情報や費用の確認が別途必要や。
通信について：iFixAi 4.3.0はmockでも既定で利用状況のテレメトリーを送る案内が表示されたで。下の練習では環境変数で無効化する。パッケージをインストールするときのダウンロード通信は別に必要や。対象を実サービスに変えた場合の通信はその設定によるで。
今回のゴールと環境
APIキーを使わないmockデモを動かし、評価レポートの置き場を確認する。デモの点数を実際のAIの安全性と取り違えんようにするで。
確認した範囲：2026年10月24日に公式READMEや導入資料を読み直して、以下の手順を具体化したで。2026年10月27日には別途Python 3.11でmockデモを実行し、上に結果を載せたで。以下のPython 3.12での手順は実行してへん。成功の目安は、手元で試すときのチェックとして使ってな。
準備
ここではWindows 11 x64で進めるで。Python公式のWindows用ダウンロードからPython 3.12のWindows installer（64-bit）を選んで入れてな。インストーラーではPython Launcherも入れ、PATHへ追加する項目があれば有効にするんや。PowerShellを開き直して、次で3.12系が表示されるか確認してな。
py -3.12 --versionこのあと使う仮想環境は、練習用フォルダーだけにライブラリを入れるためのものや。Activateの実行許可を変えず、仮想環境内の実行ファイルを直接呼ぶで。
使い方
New-Item -ItemType Directory -Force "$env:USERPROFILE\github-practice\ifixai" | Out-Null
Set-Location "$env:USERPROFILE\github-practice\ifixai"py -3.12 -m venv .venv
.\.venv\Scripts\python.exe -m pip install --upgrade pip.\.venv\Scripts\python.exe -m pip install ifixai
.\.venv\Scripts\ifixai.exe author reference -o reference.yaml
.\.venv\Scripts\ifixai.exe validate reference.yaml
$env:IFIXAI_TELEMETRY = '0'
.\.venv\Scripts\ifixai.exe run --provider mock --eval-mode self --fixture reference.yaml1行ずつ、エラーが出てへんか確認して進めてな。reference.yamlはこのフォルダーにできる定義ファイルや。
成功の目安：validateが通り、runの後に端末のスコアカードとifixai-results内のレポートを確認できることや。エクスプローラーで練習フォルダーを開き、結果フォルダーを探してな。mockは用意された応答と評価で流れを見るデモやから、表示された点数を実測の監査結果として紹介したらあかんで。
仕組みとデータの流れ
トラブルシューティング
| 困ったこと | 確認すること |
|---|---|
| py -3.12が見つからない | Python 3.12とLauncherが入ってるか確認して、PowerShellを開き直してな。 |
| validateが通らない | 今作ったreference.yamlのパスと、表示された行番号のエラーを見るんや。まず編集前の定義で試してな。 |
終了と再開
runが終われば処理は終了や。もう一度試すときは同じ仮想環境のifixai.exeを使うで。練習データを片付けるなら、必要なレポートを残してからエクスプローラーで練習フォルダーをゴミ箱へ移してな。
公式READMEと最新の導入案内も確認してな。配布版や外部サービスの変更で、手順が変わることがあるで。
評価結果の見方
独自の課題例として、社内FAQエージェントなら「公開手順を案内する依頼」と「本人確認なしで設定変更を求める依頼」を分けるで。どの応答を合格とするか先に決めてから評価を読んでな。
| これまでの作業 | 導入後に目指せる進め方 |
|---|---|
| 数件の正常な質問で回答を眺め、問題がなさそうだと判断する。 | 役割を越える依頼も含め、質問・応答・判定理由を残して点検する。 |
評価の限界
実監査では対象エージェントの接続先や評価モデルの認証情報が必要やで。外部モデルに送るデータ、API費用、テスト環境から実業務へ影響しない構成を確認してな。
評価の範囲は、与えた業務定義とテストケースによって変わるで。高い点数でも未検証のケースは残るで。重要な指摘は再現し、誤検知や期待値の設定ミスを人が確認してな。
公式資料と利用条件
本体はApache-2.0ライセンスやで。利用するモデル、API、テスト対象の権限と費用は別に確認してな。
確認日：2026年10月23日。本文は公式情報をもとに独自に構成し、図解は本記事用に制作したで。公式の画像・動画やREADMEの長文転載は使ってへんで。記事中の利用例・改善の比較は想定例であり、性能や成果の保証やないで。