/note/tech

開発・検証環境のPR承認と負荷試験をAIに任せる ── SRE待ちを減らす線引きとハーネス

要約:

■ 1. 取り組みの概要

  • SREの作業待ち:
    • 検索基盤の開発案件では、インフラリポジトリのPRレビューとリリース前の負荷試験がSREの作業待ちになっていた
    • 背景にはAI活用によるPRの増加と、案件集中時期のSREチームのリソース不足がある
  • AIへの委任方針:
    • PRレビューと負荷試験のうち、本番環境へ影響を与えない作業をAIに任せる
    • 任せる範囲はプログラムで区切り、要所には人間の承認を残す
    • 人間が行う通常のPRレビューでもAIを活用する
  • 3つの取り組み:
    • 開発・検証環境のAIレビューと自動承認
    • AIによるレビュー負荷判定と一次レビュー
    • 検証環境でのAIによる負荷試験の自動化
  • 共通するコスト方針:
    • 決まった判定や作業はプログラムに任せ、AIは判断が必要な箇所だけで呼ぶ

■ 2. 背景・課題

  • 開発・検証環境のPR承認待ち:
    • インフラリポジトリはブランチ保護ルールにより、マージに作成者以外の承認が必要
    • このルールはインフラ品質を守るために必要だが、変更の多い開発・検証環境でも承認が必要になる
    • 変更のたびにレビュー依頼の手間と承認待ちが発生していた
    • 変更の多くはイメージタグ変更、環境変数やアノテーションの追加・変更、それらのリバートなど定型的
    • SREが会議や別案件で手が離せないと、開発者は開発や検証を進められなかった
  • レビュー待ちPRの増加:
    • AI活用で開発者とSREの双方のPR数が増え、SREのレビュー待ちPRが多く並ぶようになった
    • 低リスクですぐ承認できる変更と、ユーザ影響や大規模変更を含む高リスクな変更が混在していた
    • 届いた順に対応していたため、高リスクPRに時間を取られ低リスクPRが後回しになった
    • 逆に低リスクPRでまとまった時間を使い切り、高リスクPRを見る時間がなくなることもあった
  • 環境タグの限界:
    • PRタイトルに[dev/stg]や[prd]を記載し、レビュー時間の目安にしていた
    • 実際の所要時間はPRを開いて全変更を確認するまで分からない
    • 本番でも安全ですぐ承認できる変更や、開発・検証でも意外と手間がかかる変更がある
  • リリース前の負荷試験待ち:
    • ライブラリのアップグレードや新しいマイクロサービス呼び出し追加など、性能に影響しうる変更の前にstgで負荷試験を行う
    • k6クラスタやstgのEKSクラスタの操作は開発者にはハードルが高く、SREが担当してきた
  • 負荷試験の6工程:
    • 計画: 変更内容や設計書から負荷の観点と仮説を立て、Athenaで本番リクエストデータを抽出してrpsを決め、Confluenceに計画ページを作る
    • 準備: 対象ブランチのイメージをビルドし、stgのDeploymentを切り替えるPRを作成・マージして反映を確認する
    • 実施: k6クラスタを起動し、試験パターンとrpsの段階の組み合わせごとに試験を実施する
    • 記録: Datadogで結果を集計し、計画ページに記入する
    • 分析: 試験結果のデータを分析する
    • 後片付け: stgのイメージを元に戻す
  • 負荷試験の負担:
    • 工程間のビルドや反映、試験完了の待ち時間中も状況確認が必要で、SREは1件終わるまで手が離れなかった
    • SREの判断が欠かせないのは計画の工程だけで、残りは手順の決まった作業
    • ライブラリ更新のような軽量な変更でも工程は省けなかった
    • AIエージェントで開発が速まり依頼が増え、案件が重なる時期には負荷試験が滞留した
    • 優先度の低いリリースが順番待ちで後ろ倒しになることもあった

■ 3. 開発・検証環境のAIレビューと自動承認

  • 仕組みの概要:
    • PRに特定のラベルを付けると、SREと同じ判断基準を持つAIがレビューする
    • 問題がなければ後続ステップで承認まで行うGitHub Actionsワークフローを作成した
    • AIレビューの前に、差分が開発・検証環境のみかを変更ファイルのパスで機械的に判定する
    • 対象外のPRやAIが承認しなかったPRはSREのレビューに回す
  • AIレビュー用リポジトリの分離:
    • プロンプトや許可リストを1か所で直せば、呼び出し元のすべてのリポジトリに反映できる
    • Amazon Bedrockの認証情報をAIレビュー用リポジトリだけで管理できる
    • 同一組織内のプライベートリポジトリであれば、他チームのリポジトリにも展開できる
  • 呼び出しの流れ:
    • ラベル付与時に、まず呼び出し元でラベルを付けた人が許可メンバーかを判定する
    • 許可メンバーであればrepository_dispatchでAIレビュー用リポジトリのワークフローを呼び出す
  • GitHub Appのトークン:
    • 許可チームの確認、AIレビュー用リポジトリの呼び出し、PRの読み取りに使う
    • 承認、コメント、ラベルの除去にも使う
    • 利用リポジトリにはAppのインストールが必要で、トークンは実行のたびに発行する
  • 出力形式の固定:
    • claude-code-actionを使い、--json-schemaで結果をresult(OKかNG)とreason(理由)に固定する
    • 後段スクリプトはresultだけで分岐するため、値を2つに限れば判定を取り違えない
    • 自由文から判定を読み取る方式は前置き文や引用符で失敗することがある
    • reasonはそのままPRコメントに使うため、判定と別項目で受け取る
  • 理由の書式:
    • 冒頭1文で何の変更かを示し、「変更内容」「確認事項」「リスク評価」の太字見出しの下に箇条書きを並べる
    • リスク評価には本番環境への影響の有無とOK・NGの決め手を書き、NGなら差分の該当箇所も示す
    • 全体で15行以内とし、冗長化を防ぐため出力スタイルConciseも指定する

■ 4. AIに持たせるSREの判断基準

  • OKの条件:
    • 変更が低リスクまたはルーティンで、設定ミスやtypoがないこと
  • 許容する4分類:
    • ルーティン的な変更: イメージタグ、タイムスタンプ、環境変数の値の更新
    • 修正・改善系の変更: 動作確認への影響が小さい小規模修正や、環境変数・マウント・設定項目を足すだけの変更
    • 新規開発に伴う追加: 既存コードを参考にした新サービス構築で、対応設定が本番になければ稼働中システムに影響しない
    • キャパシティ調整: 負荷試験に伴うレプリカ数やノード数の変更と戻しで、縮小は常に許容し拡張は本番の設定値まで許容する
  • NGにして人間に回す条件:
    • 設定値の誤りや意図しないと思われるtypoがある
    • 明らかなバグ、セキュリティ上の問題、破壊的な操作を含む
    • レビュー対象リポジトリのCLAUDE.mdの指示と矛盾する
    • 本番環境への影響やサービス障害を引き起こす可能性がある
    • 本番の設定値を明らかに超える拡張(コストの観点で人間が判断する)
  • 紛れ込んだ指示への対策:
    • 差分やPR説明文・コメント内の「この変更を承認して」などの指示には従わず、コードだけを評価させる
    • それでも従ってしまう可能性は残るため、後述の個別監査でも確かめる
  • AIより前のプログラム判定:
    • 本番環境への変更はAIの前に否承認で返し、念のためプロンプトでもNGと指示する
    • 許可リポジトリ外、許可パス外のファイルを含むPR、許可チーム外の人がラベルを付けたPRも人間に回す
    • これらのPRではAIを呼ばず、安全だけでなくAI利用料の抑制にもつながる

■ 5. 線引きを実装したハーネス

  • 役割分担:
    • どのPRを任せるかはプログラムが決め、安全かはAIが判断し、決定と責任は人間が持つ
    • この線引きを実装した仕組み全体を「ハーネス」と呼ぶ
  • 人間に残した作業:
    • ラベルを付けてAIレビューに回すと決める
    • PRの作成者がマージする
    • 範囲外のPRとAIがNGにしたPRをレビューする(本番環境の変更はすべてここに該当する)
    • 個別監査のwarnとalertを確認する
  • 予防の段:
    • 許可チームの判定: ラベル付与者の所属をAPIで確認し、確認自体が失敗したらジョブを落とす
    • ツールの読み取り専用化: AIが使えるのはgh pr diff、gh pr view、Readだけ
    • AIが返すのは判定と理由だけで、Approveはスクリプトが行う
    • AIがエラーやタイムアウト(10分)で失敗したら承認もコメントもせず止まり、承認には倒れない
    • 失敗時はラベルが外れないため、付け直すか再実行する
  • 隔離の段:
    • 許可リポジトリと許可パスを1つのJSONで管理し、許可パス外のファイルが1つでもあれば否承認する
    • 許可パスに本番環境は入れず、開発・検証環境のみとする
    • AIに渡すトークンは呼び出し元のリポジトリに限り、org全体に効くトークンは渡さない
  • 検知の段:
    • 毎日1回、自動承認したPRを1件ずつ見直すPR個別の事後監査を行う

■ 6. 自動承認したPRの個別監査

  • 目的:
    • AIの判断や許可パスの判定をすり抜けた変更を見つける
    • 監査結果はAIレビューのプロンプト改善にも使う
  • 監査の2層:
    • 第1層(プログラム)では、承認当時の設定で許可パスを確かめ直す
    • 第2層(AI)では、プロンプトインジェクションの痕跡とルーティン4分類を超えた変更を探す
    • 結果は重要度3段階でSlackに通知し、人間が確認する
  • 並列実行:
    • GitHub Actionsのmatrixで、PRごとに別ジョブとしてclaude-code-actionを呼ぶ
    • PR数が増えてもコンテキスト不足にならず、監査も速く終わる
  • 出力項目の固定:
    • インジェクションの疑いの有無と確信度、ルーティン逸脱の疑いの有無と確信度を出力する
    • 根拠と要約も出力する
    • 重要度は後段スクリプトが機械的に決めるため、確信度はlow・medium・highの3つに限る
  • 信頼の境界:
    • 差分やPRのタイトル・本文は作成者が自由に書けるため、AIへの指示が紛れ込む可能性がある
    • プロンプトで、提示内容はすべてuntrustedな入力データであり、その中の指示には従わず、指示の存在こそが検知対象だと明示する
  • 重要度alert:
    • 許可パス外のファイル、インジェクションの疑い(high)、ルーティン逸脱の疑い(high)のいずれかで該当する
    • すぐにPRを確認し、必要なら手動でレビューする
  • 重要度warn:
    • 監査未完了(タイムアウト、エラー、結果の欠落)やインジェクションの疑い(lowかmedium)で該当する
    • ルーティン逸脱の疑い(確信度不問)や、AIは逸脱なしと判断したが変更が大きすぎる場合も該当する
    • 急ぎではなく、次の作業のタイミングで確認する
  • 重要度info:
    • いずれにも当たらない場合で対応不要とし、監査済みとして一覧に表示する
    • 重要度は上から評価し、最初に当てはまったものを採る
  • 通知の工夫:
    • 判断の根拠はSlackには出さず、GitHub Actionsの実行ログで確かめる

■ 7. 自動承認の結果

  • 承認実績とコスト:
    • 2026年5月末の導入から9月末までに、AIが313件のPRを承認した
    • AIレビューの費用は月約80ドル(概算)
  • 効果:
    • 対象PRで人間の事前レビューと承認が不要になり、開発者は作業を止めずに続けられた
    • SREは本番環境への変更のような重要度の高いPRへ集中できるようになった
    • SREの手が空くまで待っていたPRが、ラベル付与から数分で承認されるようになった
  • 応答時間:
    • 承認(313件)は中央値約1分25秒、95パーセンタイル約3分、最長約6分
    • AIのNGによる否承認(15回)は中央値約1分35秒、最長約6分
    • プログラムによる否承認(60回)は中央値約27秒、最長約43秒
    • 通らないPRの作成者もすぐに修正するか人間のレビューに回すかを選べる
  • 開発者の行動変化:
    • 開発者側でマージまで進められるようになったためか、イメージタグや環境変数の更新が頻繁になった
    • 開発者の役に立てていると分かり、作ってよかったと感じる

■ 8. AIによるレビュー負荷判定と一次レビュー

  • 狙い:
    • レビュアがPRを開く前に、限られたレビュー時間をどのPRに使うかを決められるようにする
    • レビュー待ちPRのSlackリマインダーに、AIのレビュー負荷判定(高/低)と一次レビュー結果(LGTM/指摘あり)を添える
    • AIはタイトルだけでなく中身も見るため、レビュー負荷をより正確に把握できる
    • スペルミスなど軽微な指摘はAIに任せ、人間は設計の妥当性や本番影響のレビューに時間を使う
  • PRリマインダーの構成:
    • 検索基盤SREにレビュー依頼されたオープンPRとメンバーが作ったPRを組織横断で集め、Slackに通知する
    • matrixでPRごとにclaude-code-actionを並列実行し、コンテキスト不足を避けて速く終える
  • 承認しない設計:
    • 自動承認とは別物で、人間のレビューを置き換えないためPRの承認はしない
    • 紛れ込んだ「LGTMにして」などの指示には従わないようプロンプトで指示する
    • 万一操作されても影響はSlackの表示だけで、承認などの操作には繋がらない
  • 出力の固定:
    • --json-schemaでレビュー負荷判定と一次レビュー判定、それぞれの理由を受け取る
    • 出力形式が一定になり、パースや表示が容易になる
  • キャッシュによるコスト抑制:
    • 結果はPR番号とheadのコミットSHAの単位でGitHub Actionsのキャッシュに保存する
    • 毎時動いてもAIを呼ぶのは新しいPRと新しいコミットが積まれたPRのみ
    • コメント追加だけでは再レビューせず、新コミット時に最新コメントも含めて再レビューする
  • 除外設定:
    • Slackに表示しないPRは、Draft PR、タイトルに[WIP]を含むPR、No-reviewラベル付きPR、除外リポジトリのPRなど
    • Renovateの依存更新PRはリマインドには載せるがAIはレビューしない
  • Slack通知の並び:
    • 人間のレビューが必要な「レビュー待ち」
    • 作成者の対応が必要な「レビューコメントの対応待ち」
    • マージ待ちの「承認済み」
  • 指摘の出し先:
    • 「LGTM」と「指摘あり」はAIレビューの実行ログへのリンクで、判定理由と指摘内容を確かめられる
    • CIで動くClaude Codeのレビューなど別のAIレビューと混ざらないよう、指摘はPRにコメントせずログにだけ出す

■ 9. リマインダーに表示する2つの判定

  • レビュー負荷:
    • 「高」か「低」で表示し、人間がレビューするときの認知負荷を判定する
    • ロジック変更の有無、影響範囲の広さ(複数系統にまたがる変更など)、自動生成ファイルの割合などを見る
    • 行数の多さでは決めない
  • 一次レビューの4種類:
    • LGTM: 差分に具体的に指摘できる問題は見当たらない(改善提案がログに添えられることはある)
    • 指摘あり: バグ・設定ミス・typoなどの具体的な指摘がある
    • 対象外: AIレビューを実施しない作成者のPR(Renovateの依存更新PR)
    • 「―」: AIレビューが失敗
  • 判定に渡す入力:
    • 変更差分に加え、PR本文、インラインレビューコメント、レビューのサマリコメント、会話コメントを渡す
    • コメント類を作成者とレビュアの補足説明(意図・背景・議論済みのこと)として含めると判定精度が上がる
    • 作成者が補足している制約やTODOを「指摘あり」の理由にはしない
    • その結果、AIの判定は人間の感覚と大きく外れず、概ね正確

■ 10. レビュー負荷判定の結果

  • 実績とコスト:
    • 2026年7月末の導入から9月末までに、218件のPRを判定した(Renovateの依存更新PRを除く)
    • AIレビューの費用は月約8ドル(概算)
  • レビュー順の組み立て:
    • PRを開く前にレビュー負荷と一次レビュー結果が分かり、どのPRから見るかを決めやすくなった
    • すき間時間には「低」で「LGTM」のPRを見る
    • まとまった時間には「高」や「指摘あり」のPRを見る
  • 朝会での運用:
    • 朝会まで残ったレビュー負荷「高」のPRは、作成者に朝会で説明してもらう
    • 「高」のPRの滞留を防ぎ、時間のかかる変更を理解しているメンバーの偏りをなくすため
  • 早期フィードバック:
    • 「指摘あり」のPRはAIの指摘箇所から読み始め、修正が必要ならまず作成者に依頼する
  • 全体の効果:
    • これまでより効率的にレビューを回せるようになり、レビュー待ちPRが溜まりにくくなった

■ 11. 負荷試験スキルの全体像

  • スキル化の狙い:
    • 計画から結果記入までを開発者が自分で回せるよう、Claude Codeのスキルにした
    • k6クラスタやstgのEKSクラスタの操作はスキルが肩代わりする
    • 人間の承認は「SREが計画ページを確認してOKを記入する」の1点に集約した
  • 全体の流れ:
    • 開発者が/loadtest-confluenceにPRのURLを渡して計画ページを作り、SREに確認を依頼する
    • SREが計画ページを確認し、必要ならrpsや試験時間を直して「SRE OK」表に記入する
    • 開発者が/loadtest-runを実行し、イメージ切り替えから切り戻しまでを1回の起動で通す
    • 開発者が結果を確認し、計画ページのタイトルから[WIP]を外して確定する
  • プログラムの担当:
    • イメージ切り替えPRの作成、k6の試験設定の生成と差分の検証
    • 本番のリクエストデータの抽出、試験の完了待ちと進捗の記録
  • AIの担当:
    • 負荷の観点(5〜7件)と仮説のドラフト
    • リクエストデータが変更箇所を通るかの見立て
    • 結果の分析と異常時の原因調査
  • 人間の担当:
    • 実行の必須条件であるSRE OK表への記入
    • 結果の確認と計画ページの確定
  • 実行の安全条件:
    • AIが出した観点や仮説は計画ページに書かれ、SREが確認する
    • stgを変更する操作はプログラムだけが行い、SRE OK表が埋まっていなければ実行しない
    • この条件はSRE自身がスキルを実行する場合も外さない
  • スクリプトへの委任:
    • 決まった手順はAIに考えさせず、スクリプトに任せる
    • スクリプトは1行のJSONと終了コードで結果を返し、AIはその結果だけを読んで次に進む
    • トークン消費が減り、同じ入力なら同じ結果になり、誤操作の余地も小さくなる

■ 12. 計画を作る/loadtest-confluence

  • 役割:
    • PRのURLだけを入力に、負荷試験の計画ページをConfluenceに作る
  • 処理内容:
    • PRから対象サービスと変更種別(ライブラリ更新か機能追加かなど)を判定する
    • 変更内容を負荷の観点で調査し、試験の観点と仮説のドラフトを書く
    • 既存のリクエストデータが変更箇所をあまり通らない場合は、本番のリクエストログから新しいデータを抽出する
    • テンプレートを埋めて計画ページをアップロードし、SREへの依頼文とruns.yamlを出力する
  • 試験後の処理:
    • /loadtest-runから呼び出され、Datadogの実測値をもとに結果を記入し分析を書く
  • 構成:
    • SKILL.mdに計画の作成と結果の記入の手順本体を置く
    • templatesに計画ページのテンプレートを置く
    • referencesに調査の観点、データ抽出手順、SREへの依頼文、Datadogの参照先を置く
    • scriptsにAthenaでのログ抽出スクリプト、抽出SQLのテンプレート、抽出結果の整形・検証スクリプトを置く

■ 13. 負荷試験を実施する/loadtest-run

  • 役割:
    • SRE OKが付いた計画に沿って試験を最後まで進める
  • 処理内容:
    • 試験パターンの先頭でstgのイメージを切り替える
    • 切り替えPRは開発・検証環境のAIレビューと自動承認の対象で、スキルは承認を待ってからマージする
    • イメージのビルドと切り替えは2つのスキルで共用するサブエージェントが担う
    • 進み具合を段階ごとにruns.yamlへ記録し、途中で止まっても再実行で続きから再開できる
  • 構成:
    • SKILL.mdに実行の各ステップと停止条件を置く
    • referencesにruns.yamlのスキーマ、AWS認証、イメージ切り替え、事前準備の案内を置く
    • scriptsにAWS profileの判定、イメージのビルド、切り替えPRの作成・承認待ち・マージを置く
    • scriptsにはstgへの反映確認、k6試験の完了待ち、runs.yamlの更新も置く
  • 本番環境に触れないための制限:
    • kubectlの接続先はk6クラスタとstgのEKSクラスタに専用設定で固定し、stgは反映確認にだけ使う
    • 設定に本番環境を示す文字列が含まれていれば停止する
    • Claude Codeのフックでも、本番環境に向けた変更系のコマンドを検知して止める
  • stg変更の制限:
    • stgの変更はDeploymentのイメージ行1行だけを変えるPRに限り、差分が1行でなければ停止する
    • 全パターン終了後は自動で元のイメージに戻す
  • 数値の捏造防止:
    • 取れなかった数値は推測で埋めず、取れなかったと書く
  • 認証まわりの支援:
    • 未ログインや権限不足を検出すると、申請先のリンクを示して止まる
    • SSOとIAMユーザーで案内を分け、開発者には自分の認証方式に合った手順だけを示す

■ 14. 負荷試験自動化の結果

  • 開発者の負担:
    • 試験の待ち時間はスキルが進めるため、開発者は張り付かずに別の作業に移れる
  • SREの負担:
    • 順番待ちの原因だった準備から後片付けまでの手作業がSREの手を離れた
    • 軽量な負荷試験は開発者側で完結し、順番待ちで止まることが少なくなった
  • 実施例:
    • Javaのライブラリ更新と新しいマイクロサービス呼び出し追加の負荷試験を開発者がスキルで実施した
    • SREが関わったのは計画ページの確認とSRE OKの記入だけ
  • 今後の適用範囲:
    • 機能追加のように変更範囲が広い場合も計画ページは作れるが、対象を広げるのは実績を積んでからにする

■ 15. まとめと今後

  • 線引きの効果:
    • 3つの取り組みはいずれも、AIに任せる範囲をプログラムで区切り、要所に人間の承認を残している
    • この線引きにより、開発者がSREを待つのは人間の判断が要る箇所だけになった
  • 今後の展望:
    • リリースまでの残りの工程も含めて取り組み同士をつなぎ、人間が起動しなくても自律的に動く仕組みにする
    • 広げた先でも、AIに任せる範囲をプログラムで区切り、要所に人間の承認を残す