■ 1. AnthropicによるClaudeのSRE活用実験と限界の報告
- 2026年3月19日のQCon Londonにて Anthropicが ClaudeをSRE（サイト信頼性エンジニア）として活用する試みの限界を公式に報告
- 「相関関係を因果関係と誤認し続ける」という根本的な問題が残存しており SREの完全代替には至らないと自社が認めた
- AnthropicはClaudeを使ってClaudeのインフラ障害を修復する「AIがAIを管理する」構成を試みていた
- ログやメトリクスを読ませ 警告アラートの原因を特定させ 修復アクションを実行させる流れで運用を試みた
■ 2. 判明した問題点
- 警告の表面パターンは認識できるが 障害の根本原因を特定できないことが明らかになった
- 相関関係の誤認例:
- 「メモリ使用量が急増した後にレスポンスタイムが悪化した」という相関を見て「メモリが原因」と判断する
- 実際の根本原因はメモリではなく 特定のクエリパターンによるロック競合だった
- 人間のSREは過去のインシデント経験・システム全体の挙動パターン・チームが暗黙的に共有している文脈知識を総動員して根本原因の仮説を立てる
- 現在のLLMにはこの文脈理解が欠けている
■ 3. 相関から因果への誤認が生じる理由
- LLMは本質的にパターンマッチングで動作する
- 学習データ内で「Aが起きた後にBが起きた」という事例が多ければ「A→B」という因果関係として認識する
- システム障害の原因特定では 観測できる相関関係の背後にある「なぜ」を追う必要がある
- これはLLMのアーキテクチャ上の根本的な弱点であり プロンプト改善やコンテキスト長の拡大で多少は改善できるが 現世代のモデルでは完全に解消されていない
- Anthropic自身がこれを認めたことは注目に値し 技術的誠実さとして発信している姿勢が見られる
■ 4. AIが向いている作業と向いていない作業
- AI活用の適性が高い作業:
- ログのサマリー作成: パターン認識が得意
- アラートの緊急度分類: 既知パターンの照合で十分
- 過去インシデントの類似検索: テキスト検索に近い
- エラーメッセージの意味解説: 定義の説明は得意
- AI活用の適性が低い作業:
- 障害の根本原因の特定: 相関から因果への誤認が起きやすい
- 「なぜ今このタイミングで」の特定: 文脈依存の推論が苦手
- 修復手順の最終判断: 誤った原因に基づく対処になるリスクがある
- 「整理させる」用途はAIが得意で「判断させる」用途は人間のチェックが必要という整理が実態に近い
■ 5. AIによる誤認を確認するための方法
- 原因の絞り込み確認:
- AIが「Aが原因」と言ったとき「もしAが原因でないとしたら次に考えられる原因は何か」と追加で質問する
- AIが自信を持って別の候補も挙げてくるなら 最初の断言は過信だった可能性がある
- タイミングの確認:
- 「このエラーは以前も起きていたか それとも今回初めてか」をAIに確認する前に 自分でログの期間を広げて確認する
- AIは直近のログに引っ張られて「今回の変更が原因」と判断しやすい傾向がある
- 変更との対応確認:
- デプロイ直後のエラーに対しAIは自然に「デプロイが原因」と見なしやすい
- 実際はデプロイと無関係に 外部サービスのタイムアウトや依存ライブラリのバージョン競合が原因だったケースが多い
- 「デプロイを除いた場合の原因候補」という形で質問するだけで回答の質が変わることがある
- 具体例:
- Next.jsのビルドエラーをClaudeに貼り付けると 直前に編集したファイルや変更行数の多いファイルを原因として指摘しがち
- 実際には無関係の依存ライブラリ間のバージョン競合だったりする
■ 6. 残る疑問と今後の展望
- 今回の報告はAnthropicの自社インフラに限った話である
- 異なる規模・構成のシステムや より詳細なシステム文書をコンテキストとして与えた場合に同じ問題が出るかどうかは不明
- 「限界を認めた」というより「現時点の限界を正直に共有した」ととらえる方が正確かもしれない
- 今後のモデル世代での改善状況を見ていく必要がある
- 2026年のSRE領域でのAI活用は「支援ツール止まり」が現実的な見通しとなっている