/note/tech

AI slop コードレビュー

要約:

■ 1. AI slop PRの増加と背景

  • AI coding agentの利用自体は問題ないが、クオリティの低いAI生成PR(AI slop)が増加している
  • ScalaコンパイラのようなニッチなプロジェクトでもAI slop PRが増加しており、JSやPythonのフレームワークではさらに深刻と推測される

■ 2. AI slop PRのレビュー上の問題点

  • 変更品質の低さ:
    • 変更が局所的・対処療法的であり、根本的な解決ではなく特定入力への個別対応などが多い
  • PRオーサーの態度:
    • 「PR作成まで対応した、後はメンテナ次第」というスタンスの人が多い
    • AIっぽいという主観だけでクローズすると炎上リスクがあるため、対応に困る
  • コミュニケーションの透明性欠如:
    • レビュー後も人間がAIにバケツリレーするだけで、レスポンスが遅く透明性が低い
    • モデルやプロンプトが不明なため、間接的にAIと会話しているような状態になる
  • 議論なしのコード変更:
    • 設計方針の質問に対して、議論なしに突然コード変更で返答してくる
    • レビュイーに一貫した意思がなく、設計合意前に実装を変更してしまう
  • コンテキスト管理の不足:
    • レビュー内容をそのままAIに渡すだけのため、レビューを重ねるごとに方針がブレていく
    • 議論の流れをAIに渡していないため、直近のコメントのみを参照している可能性がある
  • 注目獲得目的の利用:
    • issueを早く対応してほしい人が、メンテナの注意を引くためにAI contributionを行う構造がある

■ 3. AI banへの理解とメンテナの負担

  • ZigプロジェクトなどがAIをbanする判断は理解できる
  • AI使用のban自体が目的ではなく、AI slopへの対応コストが高い点が問題
  • レビューによる教育効果がなく、自分でやり直す方が効率的でもPRを勝手にcloseすると物議を醸す

■ 4. OSSのあり方の変化

  • 今後は信頼されたユーザーのみがPR作成可能で、それ以外はissueで議論してgoが出たらPR作成可能という形になっていく可能性がある