MCPのTool Call系列に基づくAIエージェントの異常検知
実験前。同じ目的に複数の経路がある正常なToolの使い方と、順序の異常を区別できるかを測る
MCPを介したAIエージェントのTool利用を、単発のイベントではなく時系列と状態遷移として扱い、正常なTool-use sequenceからの逸脱を検知する。同じ目的に対して複数の経路を取り得るという性質を前提に、固定のState Machineから学習型の系列モデルまでを同一条件で比較する。本ページは実験前の研究計画であり、「予想される結果」は予測であって実測値ではない。
| 方法 | 複数の正常課題をAI Agentへ反復実行させ、同じ課題でも経路が分かれることを含めてTool Call系列を収集する。異常系列は隔離環境内で、順序の入れ替え、過剰な反復、通常存在しない遷移、前提イベントの欠落として生成する。検知はTool回数のみ、回数と時間、固定State Machine、n-gramと遷移確率、学習型の系列モデルを同一の分割で比較する。 |
|---|---|
| 結果 | 実験は未実施であり、実測結果はまだ無い。本文の「予想される結果」は検証前の仮説である。 |
| 知見 | 本研究が先に測るのは異常ではなく、正常の広さである。同じ課題を繰り返したときに経路がどれだけ散らばるかを測らなければ、固定ルールの誤報がAgentの正常な多様性によるものか、実装の欠陥によるものかを分けられない。 |
| 限界 | AgentやLLMによる系列分布の差、PromptやTaskの影響、正常系列を網羅できないこと、Concept Drift、学習型モデルの説明可能性は未確定である。 |
状態：実験前。本ページは研究の目的、仮説、方法を公開するための記録である。以下に記す「予想される結果」は検証前の予測であり、実測値として扱わない。
背景と現状の課題
Tool Callの一つ一つが正当でも、その組み合わせと順序が異常である場合がある。
| 系列 | 例 |
|---|---|
| 正常 | search → list → read → summarize |
| 異常の疑い | search → read → create → create → read → create … |
個々のToolが許可されている場合、認可の判断だけではこの違いを説明できない。一方で、AIエージェントは同じ目的に対して複数の経路を取り得る。人が書いた固定のルールは、この正常な幅を異常として扱いやすい。
本研究は、Tool Callを「許可された単発の操作」ではなく「時間的な振る舞い」として扱い、系列の情報が異常検知にどれだけ寄与するかを測る。
先行研究と本研究の位置
System Logの系列を対象とする異常検知では、DeepLogが正常なログ系列を学習して逸脱を検出する方式を示し、LogAnomalyは系列と量の両面を扱う手法を提案した。本研究はこの流れをMCPのTool Callへ当てる。
LLM Agentの実行列を扱う近年の研究も、本研究の設計に直接関わる。Agentの実行記録から有限状態機械を作り、次の行動と失敗を予測できることが報告されている。また、LTLや有限オートマトンに基づく固定の監視器については、攻撃系列の分布が集中しているときは高いRecallを示す一方、分布が散らばると、どれだけ不変条件を足しても届かないという上界が示されている。
この二つは、本研究のH3、すなわち「固定のState MachineはAgentの正常な多様性に弱い」という仮説に、外側からの根拠と反証の両方を与える。したがって本研究では、異常を測る前に正常の広さを測る。同じ課題を反復実行し、経路がどれだけ散らばるかを先に定量化しなければ、固定ルールの誤報が何に由来するのかを分けられない。
研究の問いと仮説
- H1：正常なTool利用には、一定の系列パターンが存在する。
- H2：Toolの回数だけを使うより、順序を使う方が検知性能が高い。
- H3：正常な行動の幅を学習する方式は、固定のState Machineより誤報が少ない。
- H4：Tool名をcategoryへ抽象化すると、異なるTool構成の間でも一部が一般化できる。
系列の表し方
Tool Callの列を S = [T1, T2, …, Tn] として扱う。Tool名そのものに加え、read、search、write、compute、external_query、metadataといったcategoryへ抽象化した列も作る。抽象化した列を併用するのは、Tool構成が変わっても比較できる形を残すためである。
| 特徴量 | 捉えたい性質 |
|---|---|
| n-gram、遷移確率 | 通常は続かない組み合わせ |
| 系列長、反復率 | 過剰な繰り返し、途中で止まる系列 |
| 呼び出し間隔 | 人の操作では現れない密度 |
| error／retryの並び | 正当な再試行と、失敗を繰り返す探索の違い |
| category遷移 | 読み取りから書き込みへの想定外の移行 |
引数の生値は保存せず、categoryと結果の分類だけを記録する。
実験方法
隔離環境で、複数の正常課題をAI Agentへ実行させ、Tool Call系列を収集する。同じ課題を複数回実行し、LLM由来の正常な経路差もDatasetへ含める。この反復は、正常の広さを測るための測定そのものでもある。
異常系列は隔離環境内で生成する。順序の入れ替え、過剰な反復、通常は存在しない遷移、期待される前提イベントの欠落を作る。第三者のシステムを対象にした操作は行わない。
比較対象
- C1：Toolの回数のみ。
- C2：回数と時間情報。
- C3：固定のState Machine。
- C4：n-gramと遷移確率。
- C5：学習型の系列モデル。
Train／TestはSession単位で分ける。さらに、学習時に一度も現れなかった正常系列を別に取り置き、未知の正常に対する誤報を独立に測る。閾値はTest dataを見ずに固定する。
評価指標
- Precision、Recall、F1 Score、PR-AUC、False Positive Rate、False Negative Rate
- unseen-normal sequence FPR：学習時に現れなかった正常系列に対する誤報率
- sequence-prefix detection latency：系列の先頭から何回目の呼び出しで検出できたか
- tool-category generalization：Tool構成が異なる環境へ当てたときの性能
前半三つは通常の検知性能、後半三つは本研究に固有の指標である。特にunseen-normal sequence FPRは、固定ルールと学習型の差が最も出ると考えている指標であり、H3の判定に直接使う。
予想される結果
この節は予測であり、実測結果ではない。
Toolの回数だけでは区別が難しい異常でも、系列の情報を使えばRecallが上がると予想する。固定のState MachineはAgentの正常な多様性に弱く、unseen-normal sequence FPRが高くなると予想する。学習型の方式は柔軟である一方、必要なDataset量と説明可能性が課題になると考える。
ただし、正常の経路が予想より集中していた場合、固定のState Machineでも十分な性能が出る可能性がある。その場合はH3が支持されないことになり、系列モデルを使う根拠そのものを見直す。この否定的な結果も記録する。
考察で検討する論点
- AIエージェントの非決定的な振る舞いと、Security Monitoringが前提とする再現性の関係。
- Tool名ではなくcategoryへ抽象化することが、異なるMCP Serverの間での一般化に寄与するか。
- 検出が早いほど証拠は薄い。系列の何回目で判断するかという釣り合い。
- 学習型の判断を運用者が追えるか。どの遷移が異常と見なされたかを示せるか。
限界と安全方針
- AgentやLLMが変われば、正常系列の分布も変わる。
- PromptやTaskの設計が系列に影響する。
- 正常系列を網羅することはできない。未知の正常は必ず残る。
- Tool構成やMCP仕様の更新によりConcept Driftが起きる。
- 学習型モデルの判断根拠を人が追えない場合がある。
- 実験は所有・管理する隔離環境だけで行い、第三者の公開システムを対象にしない。
- 実測していない数値を結果として公表しない。
現在地
研究チームは2名である。現在は課題の設計、系列の正規化、category対応表、異常系列の生成方法を固定し、正常経路の反復収集を準備している段階にある。収集件数、経路の散らばり、各方式のConfusion Matrix、unseen-normal sequence FPR、prefix detection latencyは実測後に追記する。
参考文献
- Du, M., Li, F., Zheng, G., Srikumar, V. DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning. ACM CCS, 2017, pp. 1285–1298. DOI: 10.1145/3133956.3134015.
- Meng, W. et al. LogAnomaly: Unsupervised Detection of Sequential and Quantitative Anomalies in Unstructured Logs. IJCAI, 2019. DOI: 10.24963/ijcai.2019/658.
- Cho, S. et al. Automata from Agent Traces: Failure and Next-Step Prediction. arXiv:2608.23670, 2026.
- Zhang, R. Why Formal Monitors Fail: Attack Distribution Entropy as a Coverage Bound for LTL-Based LLM Agent Safety. arXiv:2608.01388, 2026.
- Wang, H., Poskitt, C. M., Wei, J., Sun, J. ProbGuard: Proactive Runtime Monitoring for LLM Agent Safety via Probabilistic Prediction. arXiv:2508.00500, 2025.
- Model Context Protocol. Specification, Draft version accessed 2026-09-16. https://modelcontextprotocol.io/specification/draft
- Hou, X., Zhao, Y., Wang, S., Wang, H. Model Context Protocol (MCP): Landscape, Security Threats, and Future Research Directions. arXiv:2503.23278, 2025.
arXiv文献は査読済み出版物と同等には扱わず、研究進行中の関連研究として位置付ける。最終報告では出版状況と最新版を再確認する。