■ 1. CI/CDのテストハーネス
- テストハーネスの経験:
- CI/CDで自動化されたテストはテストハーネスと言える
- 過去の開発プロジェクトで、変更のたびにテストが走り、落ちれば先に進めない運用を日常的に経験してきた
- テストハーネスの仕組み:
- テストしたい部品を外から囲って動かすための仕組み
- 部品を呼び出す「ドライバー」と、未完成の部品や外部サービスの代わりをする「スタブ」を用意する
- 出てきた結果を期待値と照らし合わせる
- 多くの場合、本物のデータベースやネットワークにはつながず、偽物を用意して部品だけを確かめる
■ 2. AI時代の「ハーネス」
- AI時代のハーネスはテストハーネスとは別物:
- 同じ名前でも違う形のハーネス
- 評価ハーネス:
- AI分野で「ハーネス」はまずモデルを評価する道具を指した
- 2020年公開の「lm-evaluation-harness」は大規模言語モデルの成績を測るオープンソースの道具
- 新モデルが出たとき、各モデルに同じ試験問題を解かせて採点し、成績を比べる
- クローズドAIモデルを作る企業も、モデル更新時のリグレッション確認などに社内で評価ハーネスを使う
- 公開されていない社内の仕組みも評価ハーネスと呼んでよい
- エージェントハーネス:
- 2025年後半、Claude Codeのような製品そのものがエージェントハーネスと呼ばれるようになった
- モデルにファイルを読ませ、コマンドを打たせ、その結果をまたモデルに返す仕組み
- モデルをエージェントとして働かせるための外側の仕組み
- 「ハーネスエンジニアリング」の広まり:
- きっかけの一つは2026年2月のミッチェル・ハシモト氏(HashiCorp共同創業者)のブログ「My AI Adoption Journey」
- 同氏は、エージェントが間違えるたびに同じ間違いを二度としない仕組みを時間をかけて作ることをこう呼ぶようになった
- 同時に、業界で決まった呼び名があるかは分からず、新語を作るつもりはないとも述べている
- 定義のばらつき:
- その後この語は広く使われたが、指す範囲は発信者ごとにばらばら
- 広い方では、LangChainの発信がモデル以外の全てをハーネスと呼ぶ
- 狭い方では、コーディングエージェントの利用者が自分で足す外側の部分だけをハーネスと呼ぶ人もいる
- 業界で合意された定義はまだなく、「ふわっとしている」と感じるのは当然
■ 3. テストハーネスとの共通点と違い
- 3種のハーネスの共通点:
- 対象を外から囲う
- 対象を呼び出して動かす
- 外の世界との接点を管理する
- 結果を確かめる
- 最大の違いは目的:
- テストハーネスと評価ハーネスは、作ったもの(コードやモデル)の品質を確かめるためのもの
- エージェントハーネスは、作業の最中にAIが踏み外さないようにするためのもの
- 確かめる対象は完成品ではなく作業の一手一手
- 囲う対象の違い:
- テストハーネスが囲うのは呼ばれたときだけ動くコード
- エージェントハーネスが囲うのは、次に何をするかを自分で決めて動くAI
- 外の世界とのつなぎ方の違い:
- テストハーネスは多くの場合、外の世界を偽物で置き換える
- エージェントハーネスは本物のファイル、シェル、ネットワークにつなぐ
- 本物につなぐ以上、権限での制限、止める仕組み、人を呼ぶ仕組みが必要になる
- これらはテストハーネスになかったが、今のハーネスには欠かせない要素
- 本稿でのハーネスの範囲:
- Claude Codeのような製品が用意する部分と、CLAUDE.mdやフックで利用者が足す部分の両方を含む
- 作法を知らないAIを受け入れる仕組み:
- 今のハーネスが囲うAIは能力が非常に高いが、チームの作法を知らない
- 作法とは、何をしてよいか、触ってはいけないディレクトリ、確認なしに打ってはいけないコマンドなど
- 人間のチームなら新人に周りが少しずつ教えていくこと
- ハーネスとは、作法を知らないAIを受け入れるための仕組みをコードで書いたもの
- 仕組みに持たせられる作法:
- 「何が異常か」の決まりは仕組みに持たせられる
- この決まりを機械に持たせる知恵を、トヨタは「ニンベンが付いた『自働化』」と呼んだ
■ 4. 工場の比喩への違和感
- ソフトウェア開発を工場に例えるのが嫌いだった理由は2つ
- 理由1、工場は設計をしない場所:
- 工場は設計図に書かれたものを大量に作る場所で、設計はしない(工場をばかにする意図はない)
- ソフトウェア開発は設計と製造がきれいに分かれず、作りながら設計が決まっていく
- 生成AIの登場後、この傾向はむしろ強まっている
- 設計は難しい仕事であり、生成AI以前はその後のコーディングも難しい仕事だった
- 理由2、日本での工場とソフトウェア開発の関わり方:
- 1970〜80年代、大手電機メーカーが工場の生産管理手法を大規模ソフトウェア開発に持ち込む「ソフトウェア工場」を試みた
- その後のSIの世界に残った工場のような体質にも違和感を持っていた
- 「ソフトウェアファクトリー」の再登場:
- GitLabは2026年10月6日、組織のポリシーと基準の下でアイデアから本番まで運ぶ仕組みを「Governed Software Factory」と呼び、新機能を発表した
- 「統制された」と付けている点がハーネスの話につながる
- 日本のエンジニアがエージェントを使った開発の文脈でこの言葉を使う例も見かけるようになった
- 海外では、人がコードを書かずレビューもしない工場を目指す動きもある
- AIがどんどんコードを書く部分は、ロボットによる自動化が進んだ工場に確かに似ている
■ 5. トヨタの自働化とハーネス
- トヨタ生産方式を参考にする:
- 工場の比喩が嫌いだった自分が工場を持ち出すのはおかしいが、トヨタの考え方を参考にする
- トヨタ生産方式をソフトウェアに持ち込む話は、リーンソフトウェア開発やCIの頃からある
- トヨタ生産方式の2本柱:
- 「ジャスト・イン・タイム」と「自働化」
- ジャスト・イン・タイムは、必要なものを必要なときに必要なだけ作る考え方
- それを支える「カンバン」は、ソフトウェア開発にもカンバンボードとして取り入れられている
- 本稿で取り上げるのはもう一本の柱の自働化
- 自働化とは:
- 普通の自動化に人間の知恵を付けたもの
- 「異常が分かる」「異常で止まる」「異常で止める」ことで、不良品を作らず後工程に流さない
- 異常がはっきり分かるので再発防止にもつながる
- 起源は豊田佐吉が発明した、糸が切れると止まる織機
- ハーネスにおける自働化:
- テスト、型チェック、リンター、フック(エージェントの特定操作の前後に自動で走る処理)が該当する
- AIが作ったものに異常があればそこで止まり、先に進めない仕組み
- 権限設定は自働化とは別物:
- 工場で言えば人や設備を守る安全柵に近い
- 工場でも、品質を守る仕組みと安全を守る仕組みは別系統として扱われる
- CLAUDE.mdへの禁止事項の追記:
- CLAUDE.mdに「〇〇しないこと」と書き足すのは、ラインに「注意!」の貼り紙を増やすのと同じ
- トヨタの「なぜなぜ分析」では、「注意する」だけでは対策として不十分とされる
- ポカヨケ:
- なぜなぜ分析でより上位の対策とされる
- 間違いを防ぐ、または間違えてもすぐ気付いて止める仕組み
- ハーネスでは、フックや型、権限で、そもそもできなくする、すぐ止めることに当たる
- 標準書の位置付け:
- 標準書(ここでは指示ファイル)が不要という意味ではない
- 決まりを書くことと、決まりを守らせる仕組みを作ることは別の仕事
- ハシモト氏の考え方との類似:
- 「間違えるたびに二度と同じ間違いをしない仕組みを作る」は、トヨタの「止めて、真因を潰し、標準を直す」とよく似ている
- ただし同氏はトヨタを参照しているわけではない
- 工場では止めた後の対応が、ラインを動かすための応急処置と、後で行う恒久対策の二段に分かれる
- 「二度と」に当たるのは恒久対策
- 生産技術と開発基盤:
- 自動車業界の仕事に関わってきており、今も関わっている
- 工場の生産技術は、ソフトウェアでいう開発基盤に当たる
- 自動車の工場は自動車を設計しないが、作り方は設計している
- 生産技術は、工程の順番、設備や治具、検査の配置、何を異常とするかを考える仕事
- ハーネスの仕組みを考えることは、AIソフトウェア工場の生産技術に当たる
- ここまでは工場の比喩がよく当てはまる
- 比喩が当てはまらない点:
- AIがコードを書くソフトウェア工場では、製品の設計と作り方の設計がはっきり分かれない
- 工場は設計をしないという違和感は、半分は当たっていた
■ 6. アンドンが鳴る場所
- アンドンとは:
- ラインの異常を知らせる表示板
- 作業者が異常に気付くと、ひもやボタンでアンドンをつけ、まず班長などの責任者を呼ぶ
- その場で直せればラインは止まらず、直せなければ決まった位置で止まる
- 第1の役目は人を呼ぶこと
- アンドンで大事な3点:
- 呼べること
- 呼んだら必ず人が来ること
- 呼んだ人を責めないこと
- ハーネスでの対応:
- AIが判断に迷ったら人に戻すこと
- 人がいつでも止められること
- 止まった理由が分かること
- 自動車工場でアンドンが鳴る場所:
- 寸法の規格や標準作業など、何が正常かが先に決まっている
- そのためアンドンは主に不良や作業の遅れで鳴る
- AIソフトウェア工場でアンドンが鳴る場所:
- 設計と製造、つまり開発の全体が同じライン上で同時に進み、製品の設計は作りながら決まる
- 何が正常かを先に全部決めておくことができない
- そのためアンドンは、不良品よりも設計が決まっていない場面で鳴る
- そうした場面でこそ人が呼ばれるべき
- 自分の承認の使い方:
- Claude Codeからはシェルコマンド実行の可否など確認がよく来る
- 社内利用のみでセキュリティなどの危険がないと分かっている操作は、ほぼオートモードで任せる
- そこは何が正常かが決まっているので止まる必要がない
- 設計の場面ではClaude Codeが具体的な選択肢を示して聞いてくることがあり、AI側がアンドンを鳴らしている状態
- その場面ではしっかり考え、違うと思えばいったん止めて自分の考えをきちんと伝える
- 設計を丁寧に進める工夫:
- AIはそのままだと、設計が決まっていなくても自分で前提を置いて先に進むことがある
- そこでコーディングエージェント向けスキル集「Superpowers」の各モードを使い分け、丁寧に設計している
- 承認疲れへの考え方:
- 工場では、アンドンが鳴りっぱなしの工程は作業者ではなく工程が悪いと考える
- 承認も同じで、押す人が悪いわけではない
- 何が正常かを決められる操作は、テストやフックで自動判定させるか、権限で許可と禁止を最初から決めておく
- そうすればアンドンが鳴るのは本当に人の判断が要る場面に絞られる
- 人の関わり方の3分類:
- 操作の種類ごとに人がどこにいるかを考える
- 人の判断がないと先に進まないのが「ヒューマン・イン・ザ・ループ(in)」
- 普段は任せて異常時に介入するのが「オン・ザ・ループ(on)」
- 関与しないのが「アウト・オブ・ザ・ループ(out)」
- 自分の場合、シェル操作はoutに近く、設計の判断はin
- AIが設計の選択肢を聞いてきたら、自分で考えて答えないと先に進まない
- ヒューマン・オウン・ザ・ループ(own):
- ラインの責任を誰が持つかも決めておく必要がある
- 何を異常とするかを決め、止まった原因を潰して標準を直すのは誰かという問い
- トヨタでは改善はライン全員でするものとされ、責任者を一人決めれば済むわけではない
- それでも誰が責任を持つのかははっきりさせておきたい
■ 7. 作業ごとに決めるRACI
- ハーネスエンジニアリングの解釈:
- 今のハーネスは名前が同じでもテストハーネスとは目的が違う
- 品質を確かめるより、作業の最中にAIが踏み外さないようにするためのもの
- トヨタの自働化のように、止まるべきところで止まり、人を呼ぶ
- AIソフトウェア工場では、アンドンは不良品よりも設計が決まっていない場面で鳴る
- 仕組みで止める:
- 何が正常かを決められるところは仕組みで止めるようにしておく
- 自分もCLAUDE.mdに並んでいた「しないこと」を見直し、フックや権限に移せるものから移している
- RACIとは:
- 役割分担を表す枠組みで、アジャイルなどで知られる
- R(Responsible、実行責任)、A(Accountable、成果責任)、C(Consulted、相談先)、I(Informed、報告先)の4つ
- AIエージェントへのRACIの適用:
- 「RはAIに任せ、Aは人に残す」と大まかに決めるだけでは足りない
- 作業内容ごとに、人とAIエージェントのどちらがR、A、C、Iを担うかを、必要なら細かい粒度まで決めておく
- チーム開発にAIエージェントを入れているなら、それぞれが具体的に誰なのかまで決めておく
- ハーネスを考えるときは、そこまで考えていくことが大事