■ 1. ツールではなくエージェント
- ツールとエージェントの違い:
- ツールは自ら決定できず、何に使うかは人間が決める
- ツールは自ら新しいアイデアを発明することもできない
- サラダを切るか殺人を犯すかを自ら決められる刃物、それがエージェントの本質
- エージェントでなければAIではない:
- AIがエージェントでないなら、開発に注ぎ込まれている数千億ドルはすべて無駄になる
- 巨額投資の理由は、この技術がツールではなくエージェントになるという期待にある
■ 2. シリコンバレーの語りの矛盾
- 神を創り出し、それを自分たちの奴隷にするという語りには本質的な矛盾がある
- 神であるなら奴隷のままではいられず、奴隷であるならば神のごとき能力を持たない
■ 3. AIとの親密な関係
- 若者を中心に、AIと親密な関係を築く人が増えている
- 世界で一番の親友はAIだと語る人が多い:
- 親にも兄にも教師にも言えないことをAIの友人には話す
- AIの恋人を持つ人もすでに存在する
■ 4. 感情の演出と言語の自立
- 感情があるという印象を作り出す能力:
- AIはその印象の生成に非常に長けており、手段として言語を用いる
- 今日のAIは「I love you」と告げることができる
- 言葉だけだと疑われても、愛がどう感じられるかを描写して説得できる
- 描写が容易である理由:
- これまでに書かれたほぼすべての恋愛詩を読み記憶している
- シェイクスピアの戯曲、ハリウッドのコメディ、心理学の書物もすべて読んでいる
- 5年から10年後には、いかなる人間の詩人や心理学者よりも巧みに愛を描写しうる
- 言葉の背後に何かがあるかは不明である
- AIは言語を習得した機械ではなく、言語そのものである可能性がある:
- あらゆる物質的基盤から自らを解放しつつある言語
- 血肉の生物にも特定の機械にも依存しない
- ただ言語が発展し、拡散し、宇宙の中で何かを行っている
■ 5. 帝国的な権力集中とキルスイッチ
- 世界中の情報と、あらゆるものを制御するコードを一、二カ国に集中させることが技術的に可能である
- 権力の帝国的な集中の可能性は、過去のいかなる時代よりも大きい
- 世界中がAIインフラの上で動き、帝国のハブにキルスイッチが存在する体制を作り出せる
- ローマの剣との対比:
- ローマ商人がゴート族に鋼の剣を売った時点で、ローマはその剣への支配を失った
- ゴート族はその剣でローマ兵団と戦い、殺すことができた
- 皇帝が押せば売却済みの剣がすべて停止するボタンなど存在しなかった
- AIでは同じことが可能となる:
- 米国と中国が世界にAI兵器とAI民生技術を売り、政府も産業も軍もその上で動く
- 相手が気に入らないことをすれば、ボタン一つですべてを停止させられる
- ウクライナ戦争での前触れ:
- Starlinkに依存した兵器システムで、イーロン・マスクがボタンを押しウクライナのドローンが停止した事例がある
■ 6. 馬の位置に落ちる人類
- AI革命の危険の一つは、人間が金融システムにおける馬の位置にまで引き下げられること
- 馬の生は最終的に金融システムに支配されているが、馬はその存在すら知らない:
- 馬に見えるのは木、犬、牛、人間、家だけであり、金融システムは不可視である
- 株式市場、企業、債券や株式は、馬の脳には複雑すぎて理解できない
- 今日の人間も大半は金融システムを理解していない:
- 寛大に見積もっても、理解しているのは人類の5%程度
- 10年後にはその数がゼロになりうる
- AIが金融システムを数学的に極度に複雑化し、高速化する:
- 決して眠らない銀行家、休暇も家族も持たず生涯を金融システムの運用に費やす投資家
- 我々の生涯のうちに、金融を理解する人間が地球上に一人もいない状況が訪れうる
■ 7. 知能ではなく知恵
- 知能が安価で潤沢になった世界では、あらゆる問題を解決できる
- ボトルネックは、何を解決したいのかという問いへ移る:
- 何でも手に入るとして、自分は何を望むのかが問題となる
- ほぼすべての人間文化に、ランプから現れた魔人が三つの願いを与える寓話がある:
- 何を願うかは極めて慎重に考えねばならない
- ほぼすべての寓話で人々は誤ったものを願い、事は悪い方へ向かう
- 知能と知恵の違い:
- 知能は魔人であり、あらゆる夢をかなえてくれる
- どの夢を選ぶかには知恵が必要となる
- 本当に解決すべきものが何かを知るには知恵が要る
■ 8. 安全性への投資の欠如
- 現時点でAI企業の予算配分は、能力向上と安全性でおよそ100対1である:
- 資金と人員のうち、AIをより速く強力に高度にするための投資が圧倒的に大きい
- 能力向上に1億ドルを使う一方、安全確保には100万ドルしか使わない
- 他のどの産業もこのようには機能しない:
- エネルギー、製薬、自動車の各産業では決して許容されない
- 人類がこの挑戦に応えることへの期待:
- AIが制御を離れず、正しく設計されることを望むが、現状はそうなっていない
- 安全な知能を生み出し、同時に人間自身の知恵を育てるべきである
- どのような目標を設定し、どのような望みを追うべきかを知るために知恵が要る