/note/tech

AIがAIを育てる恐怖のループ。Anthropic自ら「いったんAI開発停止」と業界に提案

要約:

■ 1. 再帰的自己改善の概要

  • AIシステムが自律的に後継モデルを開発するプロセスを「再帰的自己改善」と呼ぶ
  • 2024年以降、AIによるAI開発速度が劇的に向上している
  • モデル開発の基盤となるソースコードの大部分をAI自身が記述するまでに至っている

■ 2. Anthropicにおける現状

  • 2026年5月時点で、Anthropicのコードベースにマージされるコードの80%以上をClaudeが記述
  • エンジニアの役割は自らコードを書くことから、Claudeが書いたコードの指揮とレビューへ移行
  • この体制転換により、2026年第2四半期における1日あたりのコードマージ量は2024年比で8倍に増加

■ 3. コード品質と自動化の効果

  • Claudeが生成するコードの品質は現在、人間と同等のレベルに到達
  • 1年以内に人間のレベルを完全に上回ると予想
  • マージ前に自動化されたClaudeレビュアーがバグ・セキュリティ欠陥を検査
  • 過去のインシデントを引き起こしたバグの約3分の1を本番環境への到達前に防止

■ 4. 人間の役割の変化と課題

  • 役割の変化:
    • AI開発における99%の地道な作業はすでに自動化されつつある
    • 人間の役割は「どの問題に取り組むべきか」「どの結果を信頼するか」という研究の方向性や評価へ移行
  • 新たなボトルネック(アムダールの法則):
    • AI開発の高速化により、人間によるコードレビューが追いつかなくなる問題が生じている
  • 社会的懸念:
    • AI開発の急激な加速により、社会構造や連携に関する研究が技術の進歩に追いつかなくなる恐れがある

■ 5. Anthropicの立場

  • 他社も検証可能な形で足並みを揃えられるのであれば、AI開発を意図的に減速または一時停止する用意があることを表明

MEMO: