/note/tech

人間のエンジニアは、コードを書くAIに代替されない

要約:

■ 1. 外れた放射線科医の代替予測

  • ヒントンの予測:
    • 2016年、ヒントンは放射線科医を崖から飛び出したコヨーテに例えた
    • 5〜10年以内に深層学習の性能が放射線科医を凌駕するのは明白と主張
    • 医学部は放射線科医の養成をただちにやめるべきと主張
  • 予測に反する現実:
    • 2025年の放射線科医の平均給与は前年比9%増の57万ドル
    • ある求人サイトには常時4000件以上の募集があり、採用まで平均130日を要する
  • 外れた原因:
    • テクノロジーの失敗ではなく、経済学の初歩的な2つの概念の見落とし
  • 誘発需要:
    • サービスのコストが下がると、需要はむしろ拡大することが多い
    • 道路を拡張するとかえって渋滞が激しくなる現象と同じ構造
    • 画像診断が安価かつ迅速になった結果、市場そのものが拡大した
    • 放射線科医の生産性向上と同時に、放射線科医への需要も高まった
  • 補完性:
    • 『予測マシンの世紀』によれば、予測のコストが下がると補完財の価値が高まる
    • 画像診断AIの補完財は人間の判断、責任、最終承認
    • スキャン画像を見ることは診断そのものではない
    • 医師免許と名声を持ち、法的責任を負う人間が診断結果に署名する必要がある
    • 最終承認はトランザクションコストではなく、それ自体が商品
    • ヒントンは「画像を読み取る作業」と「放射線科医としての医療行為」を混同した
  • 教育としての最終承認:
    • 研修医は承認権限を持つ放射線科医の下で画像を読む
    • 責任を担保する仕組みが若手育成の仕組みとしても機能している
    • 効率化のために一方をカットすれば、もう一方も同時に失う

■ 2. テック業界が繰り返す同じ過ち

  • コーディングとエンジニアリングの混同:
    • テック業界のリーダーは「コードを書く作業」と「システムを構築するエンジニアリング」を混同している
  • メタの組織再編:
    • 2026年5月20日、全従業員の約10%にあたる約8000人の削減が報じられた
    • 残った従業員のうち約7000人がAI関連分野へ配置転換される
    • 第1四半期の売上高は563億ドルであり、業績悪化による削減ではない
  • 業界全体の動向:
    • アマゾンは2026年第1四半期に1万6000人を削減
    • オラクルは同年3月に数千人規模の削減を開始
    • マイクロソフトは希望退職を実施
    • 経営陣の共通ロジックは、AIでコーディングが安価になるため必要人員が減るというもの
  • コード生産とシステム構築の違い:
    • コードを生産することと信頼性の高いシステムを構築することは同じではない
    • AIは人間より速く低コストでコードを生むが、人間の数値化できない貢献は代替できない
    • コードのアウトプットは測りやすいが、良質なコードを見極める判断力は数値化できない
    • 顧客が求めているのは単なるコードではなく、ソフトウェアを通じた解決策
  • 最適化の誤り:
    • 人間のエンジニアへの投資を減らしAIに過度に依存することは典型的な最適化の誤り
    • AIの技術特性上、この誤りは瞬く間に拡大していく

■ 3. 発見しにくいコーディングのエラー

  • 放射線医療との比較:
    • コーディングにおけるAIのエラーは放射線医療より発見も管理もはるかに困難
    • 放射線医療の診断ミスは特定の患者にただちに実害を及ぼし、責任の所在も明確
    • そのため放射線医療ではエラーの原因特定と修正がしやすい
  • コーディングのミスの表面化:
    • 影響が表面化するのは何年も経ってから
    • その頃にはコードを書いた人やプロンプトを入力した人は退職し、状況も忘れられている
    • 悪質なコードでもローンチ時点では正常に動いているように見える
    • 欠陥が露呈するのは修正、統合、セキュリティ強化、拡張が必要になった時
  • 規律する仕組みの欠如:
    • 航空機器や医療機器などの狭い分野を除き、FDAのような規制機関が存在しない
    • 資格試験も、粗悪なコーディング決定を律する法的責任の枠組みも存在しない

■ 4. スローモーションのコモンズの悲劇

  • 短期的な合理性:
    • 若手育成やAIのアウトプット検証の人員削減は短期的には合理的に映る
    • 自社で育てた専門家が競合に引き抜かれるリスクを考えればなおさら
  • 長期的な帰結:
    • 誰も人を育てなくなり、次世代の判断力を備えた人材が姿を消す
    • 数年後に複雑な課題が押し寄せた時、システムを構築できる人材も、コードの良し悪しを判断できる人材も残っていない
  • 目に見えない2つの負債:
    • 能力の負債は、人材育成のパイプラインが細ることで生じる
    • 判断の負債は、残ったエンジニアが手を動かさなくなり感覚が鈍ることで生じる
    • どちらも損益計算書には表れないが、複利で膨らんでいく

■ 5. リーダーが取り組むべき3つのステップ

  • ステップ1: AIの利用実績と人間の責任の可視化:
    • ソフトウェアの来歴を記録するフレームワーク「SLSA」を活用すべき
    • 出荷する全モジュールに、どのAIツールがコードに触れたかをメタデータとして記録する
    • 誰がアウトプットをレビューし、誰が最終承認したかも記録する
  • 報道写真の先例:
    • キヤノンはC2PAに準拠した画像の信頼性を担保するシステムを立ち上げた
    • ロイター通信はキヤノンやスターリング・ラボと画像認証ワークフローの実証実験を行っている
    • 写真の加工・生成が安価かつ迅速になった現代では、信憑性の証明が重要なガバナンスの役割を果たす
  • ステップ2: 実名による最終承認の義務化:
    • AIが生成したプロダクションコードには、人間の実名による最終承認を義務づける
    • 最終承認は責任の所在を明確にすると同時に教育の機会にもなる
    • リリースのたびにベテランと若手のエンジニアをペアにすべき
    • これにより生産性向上の圧力下でも人材育成のパイプラインを守れる
  • ステップ3: 責任とコストに直結するエスカレーションルール:
    • AI関連インシデントが頻発した場合、より厳格なレビュー要件を課す
    • あわせて上位役職者の実名承認と構造化されたポストモーテムを義務づける
    • 長期的には保険会社や規制当局もこのロジックを後押しする
    • 繰り返されるAI関連の生産トラブルはサイバーリスク保険料やコンプライアンス義務に反映させる
    • 目的は処罰ではなく、過失のコストを高めて人間を雇うほうが安い選択肢にすること

■ 6. 意図的な非効率性の組み戻し

  • 3つの仕組みの共通点:
    • AIが排除しようとする「意図的な非効率性」を、あえてシステム内に組み戻す点
    • コモンズの悲劇に直面するシステムでは、持続可能性の担保に意図的な非効率性が不可欠
  • 外部化されたコスト:
    • AIによる生産性向上は、資本に目に見える短期的なリターンを約束する
    • 失われる能力や経験のコストは、労働者、顧客、未来のリーダーへ転嫁される
    • 意図的な非効率性は、外部化されたコストを再びシステム内部で負担させるメカニズム

■ 7. 稀少になったものの変化

  • 放射線医療の教訓:
    • 教訓はAIが役に立たなかったことではなく、何が稀少になったかが変わったこと
    • 稀少な資源は画像を読み取る能力ではなく、社会的・法的な責任を伴う判断力
  • ソフトウェア業界の分岐:
    • ソフトウェア業界もいま同じ試練に向かっている
    • 本質を理解する企業は、AIを使ってエンジニアの専門性を拡張していく
    • 理解しない企業は、アウトプットの自動化と引き換えに、正しさを判断するシステム自体を解体したことに数年後に気づく

MEMO: