■ 1. AI slop PRの増加と背景
- AI coding agentの利用自体は問題ないが、クオリティの低いAI生成PR(AI slop)が増加している
- ScalaコンパイラのようなニッチなプロジェクトでもAI slop PRが増加しており、JSやPythonのフレームワークではさらに深刻と推測される
■ 2. AI slop PRのレビュー上の問題点
- 変更品質の低さ:
- 変更が局所的・対処療法的であり、根本的な解決ではなく特定入力への個別対応などが多い
- PRオーサーの態度:
- 「PR作成まで対応した、後はメンテナ次第」というスタンスの人が多い
- AIっぽいという主観だけでクローズすると炎上リスクがあるため、対応に困る
- コミュニケーションの透明性欠如:
- レビュー後も人間がAIにバケツリレーするだけで、レスポンスが遅く透明性が低い
- モデルやプロンプトが不明なため、間接的にAIと会話しているような状態になる
- 議論なしのコード変更:
- 設計方針の質問に対して、議論なしに突然コード変更で返答してくる
- レビュイーに一貫した意思がなく、設計合意前に実装を変更してしまう
- コンテキスト管理の不足:
- レビュー内容をそのままAIに渡すだけのため、レビューを重ねるごとに方針がブレていく
- 議論の流れをAIに渡していないため、直近のコメントのみを参照している可能性がある
- 注目獲得目的の利用:
- issueを早く対応してほしい人が、メンテナの注意を引くためにAI contributionを行う構造がある
■ 3. AI banへの理解とメンテナの負担
- ZigプロジェクトなどがAIをbanする判断は理解できる
- AI使用のban自体が目的ではなく、AI slopへの対応コストが高い点が問題
- レビューによる教育効果がなく、自分でやり直す方が効率的でもPRを勝手にcloseすると物議を醸す
■ 4. OSSのあり方の変化
- 今後は信頼されたユーザーのみがPR作成可能で、それ以外はissueで議論してgoが出たらPR作成可能という形になっていく可能性がある