/note/tech

ハーネスエンジニアリングを理解する

要約:

■ 1. ハーネスエンジニアリングの定義

  • AIエージェントは「Agent = Model + Harness」の構造で表される
  • 「ハーネス」とはAIモデルを正しく動かすための環境全体を指す
  • AIの成果はモデルの賢さだけでなく、環境の設計によって決まる

■ 2. ハーネスの3つの基本要素

  • ルールファイル:
    • AIへの行動規範を定義するファイル
    • ツールごとに配置場所が異なる(Claude Code: CLAUDE.md、Kiro: .kiro/steering/*.md、Codex: AGENTS.md)
    • AIが間違えやすいプロジェクト固有のルールに絞り、60行以内が目安
  • フィードバックループ:
    • AIの出力を自動チェックし、問題があれば自動修正させる仕組み
    • コード生成→テスト実行→エラー情報のフィードバック→AI修正というサイクルで機能する
    • リンター、フォーマッター、型チェックも有効なフィードバック手段となる
  • コンテキスト管理:
    • AIが長いタスクで作業内容を忘れないよう、進捗をファイルに記録して引き継ぐ仕組み
    • Anthropicは「初期化エージェント」と「コーディングエージェント」の2段階構成を推奨
    • 役割分担によりコンテキスト消費を抑えながら大きなタスクを遂行できる

■ 3. ハーネス設計の重要性

  • SWE-benchの分析では、同一モデルでもハーネス設計の変更により20ポイント以上のスコア差が生じた
  • フロンティアモデル同士を入れ替えた場合のスコア差はわずかにとどまる
  • モデルを最新化するよりハーネスを見直す方が、成果への影響が大きい