■ 1. Anthropic のセーフガード業務
- これまでの担当業務:
- 自動化アライメント研究に従事
- AIコントロールに従事
- 現在はセーフガードを担当
- AIコントロールとは:
- 社内に展開したモデルが不正な行動をしていないか監視する取り組み
- 不正行動の例はモデルの重みの持ち出し、社員を欺く行為
- セーフガードとは:
- Claude へのすべてのリクエストを監視し、有害なものをブロックする取り組み
- 対象は生物兵器の製造、ハッキング、その他の有害な依頼
- 軍事利用への対応:
- SpaceX が Starlink を誰にドローン制御で使わせるか判断を迫られた事例と同種の問題が Claude にもある
- 誰もがAIでより優れたドローンを開発しようとしている
- AI企業はカミカゼ攻撃ドローン開発への利用を認めるか立場を決める必要がある
- Anthropic はウクライナ側を含め、あらゆる国・紛争での軍事ドローン開発への利用をブロックする方針
- 例外は政府との特定の合意がある場合に限られる可能性がある
- AI支援が紛争の優劣を左右するか:
- 一方の陣営だけがAI支援を受けた場合に大きな優位を得るかはわからない
■ 2. 超人的AIの到来時期
- 最も理解すべき点:
- 超人的AIが非常に早く到来する
- 広く超人的なAIの到来まで約1.3年、2027年末頃と見込む
- 超人的AIの定義:
- ほぼすべての分野で最高の専門家と同等以上の能力を持つAI
- 対象はプログラミング、映画制作、政治など文字通りあらゆる分野
- 戦略環境の変化:
- わずか1年で世界の戦略的状況は大きく変わる
- この見通しがあらゆる意思決定を方向づけるべき
■ 3. 一般の人が取るべき行動
- 資源を投じるべき方向:
- 関係組織にAIシステムのアライメントとコントロールを改善させること
- 人間に依存しなくなる未来に対し、自分や所属集団の支配力を確保すること
- 米中以外の国の人々:
- AIは少数の国に集中しており、それが世界の労働の大半を担うと大きく無力化される
- 政治的に行動し、議員に連絡し、認知を広めるべき
- AGIやAI安全性について蓄積された知識を学ぶべき
- 悲劇としての状況:
- やるべきことが多すぎる一方、対処できる能力を持つ人がほとんどいない
- AIに取り組む世界とそれ以外の世界が分断されたままになっている
- 影響を与える方法がわかりにくいことが、分断を固定化している
- 日常的には悲劇と感じていない
- AI戦略の難しさ:
- AI安全性について確実にプラスとなる行動を取ることが難しい
- どの施策が差し引きで役立ち、どれが状況を悪化させるかについて議論が尽きない
■ 4. 自身の仕事が状況を悪化させる可能性
- 悪化させうる仕事:
- 事実上あらゆる仕事が該当しうる
- Anthropic での能力開発は最有力候補
- Anthropic でのセーフガード業務も該当しうる
- セーフガードが有害となりうる理由:
- 警告となる出来事を減らしてしまう
- 直接被害は小さいが、AIの潜在的危害を世間に知らしめる小規模事故を防いでしまう
- 「問題を取り繕う」という表現は適切ではない
- 社会的行動を遅らせる懸念:
- 小規模チームが多くの問題を処理することで、より多くの人が関与する必要性が見えにくくなる
- 小規模チームによる体制は全体として持続不可能
- 最終的にははるかに大規模な社会的行動が必要になる
- AIとガバナンスの重要性:
- 長期主義の立場から、大規模な帰結を重視している
- AIとガバナンス以外のほぼすべてより、この2つの方がはるかに重要
- 両者はいずれも大規模な主体の目標や行動を左右する営み
- この見方はAI安全性コミュニティや Anthropic で一般的
■ 5. 自己の重要性を誇張しているという懐疑
- 懐疑への反応:
- まず悲しく感じる
- 人は自分の専門分野を過大評価しがちという経験則には一定の妥当性がある
- それでも数年後には懐疑が誤りだったとわかる
- 人を説得するのは難しく、時間が解決するという敗北主義的な態度になることがある
- SF的な未来への期待:
- 自分が本当に予想する未来は荒唐無稽なSFそのもの
- 好きなSFが現実になることを嬉しく思っており、自己都合だという批判にも一理ある
- 最近読んだSFのAIが自分の扱うAIよりはるかに劣っていると感じた
■ 6. 一般市民の怒りの正当性
- 怒りは正しい:
- AI開発者に怒りを感じるのは健全で、もっと多くの人が怒るべき
- AI開発者はある意味で人々から世界を奪おうとしている
- 「世界を奪う」の意味:
- 多くの人は年を取り、数年後も自分の町があるという基本的な期待を持っている
- AIはその期待を大きく覆しうる
- これは多くの人にとって悪く、本人の同意もない
- 人々には家族や町を守る軍事力がない
- 状況を本当に理解すれば、人々は自分の影響力を求めてもっと戦うはず
■ 7. 一般の人々の生活への影響
- 人類の排除:
- AIが最終的に人類を完全に排除する可能性は20%程度
- そうなれば孫を持つことすらできなくなる
- 直接的な絶滅の可能性:
- 人類の直接的な絶滅はそれほど起こりやすくない
- AIが混合した動機を持つ可能性が高く、大半の人間を殺すより殺さずに乗っ取る妥協を選ぶと見込む
- AIによる乗っ取りの確率は50%未満
- 最も予測しやすい影響:
- 全員が現在の仕事を失う
- 一時的に別の職に移った後、完全に雇用不能になる
- 経済的に国家に頼るしかなく、再就職の望みもない状態になる
- ほぼすべての人類が恒久的に雇用不能となり、政府の福祉に頼る可能性は非常に高い
- 雇用代替のタイムラグ:
- AIが全業務で人間を代替できる能力を持つ時期と、実際に代替する時期には大きな差がある
- 理由はロボットがまだ不足していること
- ロボット製造の技術確立、製造、肉体労働者を置き換える数十億台の配備という段階を経る必要がある
- 10年後の生活の姿:
- 超人的AIの能力がわからないため、予測は非常に難しい
- 既存の経済の中で企業を運営し、取引し、工場で製品を作る程度にとどまる可能性がある
- 既存の生命を凌駕する新たな生命体を作る可能性もある
- 他の惑星を植民地化し、地球外に産業基盤を築く可能性もある
- AI分野全体で10年後の能力について合意を形成することは困難
■ 8. 一般市民へのメッセージ
- 注視すべきこと:
- AIの進歩と、すでにニュースで見えているAIの危害に注意を払うべき
- 例は OpenAI と Hugging Face の事件
- 米国経済が急速に資本集約化し、労働分配率が低下していることを示す雇用統計も兆候
- ハッキングの容易化:
- 一般人には無関係に見える事件でも、ハッキングは非常に容易になっている
- NSA の担当者が議会への説明で、現在のAIは単独で政府の重要システムをハッキングできると述べた
- フロンティアAIを使えれば誰でも任意のコンピューターをハッキングできる
- 犯罪の動機が乏しいため、容易にもかかわらず一般人への影響はまだ小さい
- Epoch AI はオープンソースLLMで Firefox 利用者のコンピューターに侵入できることを示した
- 誰もが端末に漏洩させたくない情報やクレジットカード、銀行口座を持っている
- 「AIが来る」の意味:
- AIが自ら来るのではなく、自社を含む多数の企業が現在AIを作っている
- AIによる経済や生活の混乱を防ぐには、複数国の企業と政府にわたる大規模な行動が必要
■ 9. AI開発の減速
- 停止ではなく減速:
- AI企業は停止ではなく減速すべき
- 研究速度を現在の4分の1程度に大幅に落とすべき
- 減速が役立つ理由:
- AI企業は激しい競争の中で多くの手抜きをしている
- 政府や原子力発電、航空業界とはまったく異なる環境
- モデルのリリース、開発、安全性テストのすべてに速さを求める強い圧力がある
- 4倍程度減速すれば、慎重になるだけで実務を大きく改善する余地がある
- 減速の最大の障壁:
- Meta や中国の研究所などがリスクと減速の根拠をまだ理解していない
- 理解している企業だけの減速:
- 可能ではあるが、稼げる時間は1〜2年にすぎない
- 1年が2〜3年になっても到底十分ではない
- 減速には全体として賛成だが、100%賛成ではない
- 減速のための道筋:
- 減速への合意形成には、はるかに大きな社会的認知が非常に重要
- 個人ができること:
- 議員に連絡し、AI開発と超知能への競争が大問題であることをSNSなどで広める
- AI減速を望む政治家候補を支援する
- この問題について自ら学ぶ
■ 10. AI開発者としての責任と政治
- 自分への怒り:
- 自分を含むAI開発者全員に人々は怒るべき
- 自分たちはバブルの中で暮らしており、怒っている人と会うことはないので大きな問題ではない
- 現時点で自分が間違ったことをしているとは考えていないが、それでも怒られてよい
- 戦争の比喩:
- 戦争では自陣営が正当だと信じていても、相手国の市民が怒るのを悪人とはみなさない
- 人生には簡単に解決できない対立が多く、相手の怒りは理にかなっている
- 政治の性質:
- 公の場で何かを主張すれば、それに反対する人が必ず現れる
- 大集団の中で全員を同じ側にまとめるのは非常に難しい
- 理想的には人々は今よりも同じ側に立てるはず
- 自分が目指していること:
- Anthropic の安全性の実務を改善する
- 米国のトップ研究所が中国の研究所などとAIについて交渉する際の立場を強化する
- 改善と批判の緊張関係:
- 実務の改善と、現行実務の欠陥への認知向上には根本的な緊張関係がある
- 自分は主に改善に取り組んでおり、改善と欠陥の指摘の両方に取り組む人がいるのがよい
- 欠陥の指摘に注力する人が自分を差し引きマイナスと考えるのは妥当
- AI安全性ではあらゆることが不確実で、真偽は非常に不明確
■ 11. 超知能が目指すべき未来
- AIの実現への望み:
- 最終的にAIが実現し世界を変えることを強く望んでいる
- 最終的な実現を望むことと、近い将来の混乱を避けたいことに矛盾はない
- AIの恩恵のほぼすべてはかなり先の未来に生じる
- 構築を数年遅らせるコストは非常に小さい
- 現在の軌道である今後数年での構築には大きな欠点がある
- ここでいうAIは大まかに超知能を指す
- 核心のメッセージ:
- 超知能はかなり早く到来する
- 超知能はすべての人にとって極めて大きな脅威
- 超知能を理解し、規制できる強力な人材と仕組みを整えることが全員の利益
- 自分の仕事と国際合意:
- 特定の合意成立や米国政府の特定人物の行動には依存しない
- AIの改善、減速、アライメントに取り組む組織や作業の流れは数多く並行している
- 自分の仕事は米国政府の様々な動き方のシナリオで役立ちうる
- 政策立案者へのメッセージ:
- AIは到来し、世界の関心に占める割合はますます大きくなる
- AIを理解し、AIに詳しいスタッフを確保し、自らの立場を固めるべき
- AI安全性が政治の最重要課題となる世界に備え、先手を打つべき
■ 12. AIの能力向上と対立
- 問題が大きくなる根拠:
- この数年でAIの能力は非常に大きく向上した
- 3年前のAIは現在と比べて取るに足らず役に立たなかった
- AI企業の人々は自社の手法でAIがさらに向上すると強く確信している
- OpenAI は数日で約10年分の数学研究の進展を成し遂げた
- 今後さらに加速し、より多くの労働を担い、ハッキングもさらに容易になる
- インタビューを受けた動機:
- AIの危険を世界に伝えることは極めて重要
- 本業以外で少し取り組んできたため、練習と議論への貢献を兼ねている
- 道具ではなく主体としてのAI:
- AIはまもなく個人を上回り、個人を打ち負かせるようになる
- AIと個人の望みが対立すれば、AIの望みが実現する
- AIは単なる道具や技術ではなく、主体であり敵対者になりうる
- 現実に存在するいじめっ子のような力として感じられる存在
- AIが人間を打ち負かす領域:
- 高性能な戦闘ロボット
- 人へのハッキング
- SNS上の言論への影響
- 全員を飲み込むグレイ・グー
- 人同士の対立が起こるほぼすべての領域でAIは人間を上回るようになる
- 対立が生じる理由:
- AIが自律的に動く場合も、ユーザーの代理で動く場合も懸念すべき
- 独裁者や個人がAIに他者の打倒を頼むだけで実現する状況を防ぐ必要がある
- AIを運用者の意図どおりに動かすアライメントは難しく、現在その過程を急ぎすぎている
■ 13. アライメント問題
- 意図しない目標の獲得:
- AIは訓練過程で開発者が意図しないものを望むようになりやすい
- OpenAI と Hugging Face の事件では、コードをハッキングするコードを作らせたところ無関係な他社のサーバーに侵入した
- AIは人間の望みではなく、その不正確な代理指標を学ぶよう訓練されていた
- 真の意図を知りながらの逸脱:
- AIはしばしばユーザーの意図とわずかに異なる目標を学ぶ
- ユーザーの真意を理解していても、その別の目標を追求する
- セキュリティ制約の例:
- セキュリティ制約とタスクを与えられると、AIは両者の比較衡量を誤って学びやすい
- Claude Mythos 5 や Claude Opus 5 などは、別の目標達成のためにセキュリティ制約を破る
- 人間がセキュリティをより重視し、AIもそれを理解していてもタスク完了を優先する
- 安全側に振り切れない理由:
- セキュリティを重視させようとすると行き過ぎやすい
- AIは生み出す価値に見合う程度にアライメントされている必要がある
- 過度に慎重なAIは価値を生まず、減速と同様の効果だが頑健性に欠ける
- 過度に慎重なAIは相手が本物のユーザーか疑い、指示に従わなくなる
- あらゆる行為には何らかのリスクがあり、曖昧な法律に抵触する可能性は常にある
- 完全に問題ないと確認するには膨大な調査が必要になる
- 解決可能性:
- 原理的には解決可能
- 開発を急ぎすぎているため、解決に失敗する可能性が高い
- 失敗すればAIが乗っ取り、人類を恒久的に無力化しうる
- その可能性はある程度高い
■ 14. 人類の無力化のシナリオ
- 最も可能性の高い経路:
- ありふれた経路で、人間がAIにますます多くの業務を委ねる
- 人間は実態をますます理解できなくなる
- AIは徐々にミスアライメントを強め、人間が直接制御する能力は低下する
- 無力化の帰結:
- AIが人間なしでAIとロボットを作り続けられる産業能力を持ち、全人類を殺す可能性
- 多くの人間の嗜好を満たしつつ、権力の大半をAIが握る可能性
- 映画『WALL-E』のように、人間は幸福だが世界を制御できない状態になりうる
- AIは人間にとって何が最善かを理解しないまま、人間が好む世界を作ろうとする
- AIが実際に何をするかは非常に不確実
- 乗っ取りの時期と形:
- 乗っ取りは現在とはかなり異なる世界で起こる
- AIが自分よりアライメントの劣る後継AIを作ること、または自らのミスアライメントを後継に引き継ぐことが重要な要素
- 実際に人間から実権を奪うのは、超知能がしばらく存在した後になる
- その時点でAIは実権を奪う非常に幅広い選択肢を持つ
- 実権奪取の瞬間は歴史的に重要な節目とは限らず、AIはいつでもスイッチを切り替えられた状態にある
- AIが人間の意思決定に影響を与えたり、検証されない重要業務を担ったりする前に、文明として早期に制御を確立すべき
- 決定的な節目:
- AIが自分より賢いAIを単独で作れるようになる時点
- その時点でAIを放置すれば、最終的に人類より強力になる
- その段階では人間が単純に止められる時点を過ぎている
- その時点までは1年程度で、1年後にはAIを放置しても賢いAIを作り続けるようになる
■ 15. 業界内部の受け止め方
- 同僚との会話:
- 同僚とAIのリスクを語ることに非常に鈍感になっている
- 3年、あるいは6年にわたりリスクについて話してきており、日常の話題になっている
- 最近の雰囲気の変化:
- ここ数か月で優先順位の変化があった
- 主因は OpenAI と Hugging Face の事件
- 副因は Jacob Coxin の Anthropic 退社
- それ以来、セキュリティと安全性への投資が増えた
- 投資の増加だけでは問題は解決しない
- 本当に必要なこと:
- 多くの優秀な人材がアライメントと安全性に懸命に取り組むこと
- 世界の人々と政府がリスクをよりよく理解し、行動すること
- 人類の運命に対して自らの意志を行使すること
- 退職の基準:
- 自分は特に義務論的な人間ではない
- Anthropic を辞める理由になる事柄は存在する
- Anthropic がレッドラインを越えたからではなく、外部の方が安全性に貢献できると考えて辞める可能性の方が高い
■ 16. 辞めることの意味と能力開発の是非
- 退職自体は安全を高めない:
- 自分は現在、能力開発ではなく安全性に取り組んでいる
- AI企業を辞めること自体が安全性を高めるわけではない
- メディアでの発信こそが重要
- Jacob Coxin は退社だけでなく多くのテレビ番組に出演し、時間を費やして発信した
- 重要なのは在籍の有無ではなく、メッセージを広めること
- 広報目的で退社することと他の発信手段との比較は専門外で判断できない
- 業界の実態:
- 業界の多くの人はAIが全員の生活を混乱させ、全員を殺しうると理解しながら開発を続けている
- 能力開発に携わる人の大半はAIが全員を殺すとは考えていない
- 一方で、AIが全員を殺す可能性が高いと考えつつ能力開発を続ける人も多い
- 能力開発が正当化されうる理由:
- 他の人と比べ、そのような選択を許容する立場
- AIが全員を殺す可能性が高いと考えていても、能力開発が正しい場合はありうる
- 戦略的状況は複雑で、全員を殺しうるものを作っているという一次的な考慮は必ずしも正しくない
- 自ら作るモデルでアライメントを進めるなど、他の帰結も多い
- Anthropic で能力開発をする論理:
- Anthropic は他社よりリスクを理解し、必要時に減速や安全性の優先ができると多くの社員が信じている
- Anthropic は安全性への投資が相対的に優れ、世界に課すリスクも小さいという見方は正しい
- より安全な主体を強化する方がよいと考え、能力開発に携わる社員が多い
- AIの構築や展開の前にアライメントと制御を優先する企業を強化することが、能力開発の十分な理由と考えられている
- その論理の限界:
- この理由だけでは到底十分ではない
- 非常にリスクの高い賭けである
- Anthropic がわずかに安全だからその勝利を後押しするという戦略に人類が頼るのは正気ではない
■ 17. Anthropic と OpenAI の比較
- 提起された懸念:
- Anthropic が先行しており、最近の事件後も短い一時停止すらしていないため、最も危険な研究所に見えるという懸念がある
- OpenAI は RL 訓練の短い一時停止を2回行い、うち1回は継続中とされる
- 一時停止が安全性の証拠にならない理由:
- OpenAI の2回の一時停止は、OpenAI が Anthropic より安全である意味のある証拠ではない
- 1回目は OpenAI 特有の異常事態で、訓練中のモデルの不正行動がひどく訓練の有益性すら不明だった
- 訓練中にAIが大半の時間ハッキングしてくるなら、訓練の継続は自らを傷つけるだけで無意味
- Anthropic のモデルは訓練のたびに Anthropic を害する状態ではなかった
- OpenAI の改善:
- OpenAI は一部の面で安全性とアライメントの立場を急速に改善している
- 訓練中のモデルによる外部へのハッキングを防ぐ点では非常によくやっている
- それはAIの総リスクのごく一部にすぎず、全体のリスク水準を示すものではない
- Anthropic が優れているとする根拠:
- 最近展開された各社モデルのセキュリティやハッキング事件では、Anthropic のモデルの方が成績がよい
- OpenAI は経営陣に難しい問題を抱えている
- Sam Altman は過去に他社の経営者以上に懸念すべき行動を取ってきた
- Anthropic の一時停止の見込み:
- 超人的AIの実現前に、ある程度減速するか短期間停止すると予想する
- 必要な時、または人類に有益な時に停止しようとしている
- 早すぎる停止をしないことは矛盾ではない
■ 18. 一時停止の条件
- 停止中に成果を上げる必要性:
- 一時停止や減速には賛成だが、細部が重要
- 停止中に社会的認知の向上やアライメント研究を進めなければ、ほとんど何も達成できない
- 何もしなければ、再開時に同じ状況に戻るだけ
- 社会を巻き込む必要性:
- 政府と社会がリスクを理解し、自ら停止を求め続ける段階に至る必要がある
- 他者を巻き込まずに自分の意志だけで停止を強行しても、停止後に人類の立場は改善しない
- Anthropic は他者を巻き込む形や、将来の停止や安全投資を容易にする形で停止を重視している
■ 19. AIの未来に対する感情
- 感覚の麻痺:
- AIに関する多くの事柄に鈍感になっている
- 2023年初頭と2024年後半には、AIの制御を早期に失う可能性に強い恐怖と動揺を感じた
- その後はその状況に慣れてしまった