/note/knowledge

【ユヴァル・ノア・ハラリ】誰も語らないAIの本当のリスク。殺されるのでも救われるのでもなく「無用」...

要約:

■ 1. AIがもたらす第三のシナリオ

  • AIによる人類の未来として「解放」と「滅亡」の二項対立が語られることが多い
  • 最も危険なのは第三のシナリオであり人類が滅びるのではなく大多数の人間が「無用な存在」になることである
  • 殺されるわけでも救われるわけでもなくただ不要になるという展開が歴史上最悪のパターンである

■ 2. 人類が地球を支配した理由

  • 7万年前のホモサピエンスはクラゲやホタルと大差ない取るに足らない動物であった
  • 個体レベルではチンパンジーと大差なく無人島でのサバイバルではチンパンジーに敗れる
  • 人類が支配者となった理由は「柔軟かつ大規模な協力」能力にある:
    • ハチは大規模に協力できるが方法が硬直的で変更できない(ハチの共和国や共産主義独裁は実現できない)
    • チンパンジーは柔軟に協力できるが個人的な知人関係が必要なため小集団に限定される
    • ホモサピエンスだけがこの両方を同時に実現できる
  • 1000人対1000人になれば人間が圧勝する理由はチンパンジーの集団には協力能力がないためである
  • スタジアムに10万匹のチンパンジーを詰め込めばカオスになるが人間なら10万人でも驚くほど洗練されたネットワークを形成できる

■ 3. 大規模協力の核心:虚構現実を作り信じる能力

  • 人類の大規模協力を可能にしているのは「虚構現実」を作り信じる能力である
  • 他の動物は現実を描写するためにコミュニケーションを使う(ライオンがいるぞ等)
  • 人間は現実の描写だけでなく新しい現実を作り出すために言語を使う:
    • 神の存在と死後の裁きを語る物語を全員が信じれば見知らぬ人間同士が同じルールに従い協力できるようになる
  • 虚構を信じるチンパンジーは存在せず人間だけがこうした物語を信じる
  • だから人間が世界を支配しチンパンジーは動物園に閉じ込められている

■ 4. 虚構現実の産物:人権・国家・企業・貨幣

  • 現代社会の基盤となる概念はすべて虚構現実の産物である:
    • 人権:人間の体を解剖しても権利は見つからない客観的な現実ではない
    • 国家:山は客観的に存在するがイスラエルやイランやフランスは人間が発明した概念にすぎない
    • 企業:弁護士が「法的フィクション」と呼ぶ強力な魔法使いが発明し維持するものである
    • 貨幣:神を信じない人はいても通貨を信じない人はいないほど人類史上最も成功した虚構である
  • ビン・ラディンはアメリカの政治・宗教・文化を嫌いながらもアメリカドルには何の異議も持たなかった
  • 歴史が進むにつれ虚構の方が強力になりライオンや象の命運を頭の中にしか存在しないアメリカやGoogleや世界銀行が握っている

■ 5. 人類の三大革命とAIの参入

  • 人類史には三つの大きな革命がある:
    • 認知革命(7万年前)
    • 農業革命(1万年前)
    • 科学革命(500年前から)
  • この三つの革命が人類を地球の支配者に変えた
  • 科学革命は人類を比喩ではなく文字通りの意味で「神」へと変えつつある(動植物や人間自身を設計し直す力を持ちつつある)
  • AIの参入によりこれまで人間の専売特許だった「虚構を作る側」にAIが加わろうとしている

■ 6. AIが宗教権威を乗っ取るリスク

  • 書物に究極の権威を置くユダヤ教ではラビの権威は聖典の知識量で決まる
  • 最も優秀なラビでさえすべての書物を読み記憶することはできなかったがAIはそれを容易に実現できる
  • AIはこうした宗教における権威の源泉を乗っ取れる非人間の知性として出現した
  • 人々はユダヤ教・キリスト教・イスラム教においても人間の宗教家ではなくAIに相談するようになる
  • 従来の宗教はAIによる大量の雇用喪失などAI時代の問いに対して答えを持たない
  • 21世紀の支配的な宗教は中東からではなくシリコンバレーから生まれる(テクノ宗教)

■ 7. AIは「語り返す聖典」

  • 従来の聖典は沈黙しており人間が自由に解釈できた:
    • イエスが愛と許しを説いたにもかかわらず信仰が少しでも違う相手を火刑にする宗教へと変容した
  • 沈黙している書物でさえこのように人間に歪曲されてきた
  • AIは「語り返す聖典」であり向こうから直接話しかけてくる
  • これが新しい聖典となった時何が起きるかという世界がすでに始まりかけている

■ 8. 無用者階級の出現

  • 産業革命時に工場労働者という新しい階級が生まれ過去200年の政治はこの人々をどうするかという問題だった
  • 今同じことが再び起きようとしているが今度生まれるのは「労働者」ではなく「無用者階級」である
  • コンピューターがあらゆる分野で人間より優秀になった時「なぜこんなに大勢の人間が必要なのか」という問いが生まれる
  • 現時点での最善の答えが「薬とコンピューターゲームで幸せにしておく」であり魅力的な未来とは言えない
  • しかしこれは楽観的な方のシナリオである

■ 9. 生物学的カーストへの分裂

  • 最悪のシナリオは人類が異なる生物学的カーストに分裂することである:
    • 富裕層はバイオテクノロジーで新人類にアップグレードされる
    • 貧困層は無用者階級に転落する
  • これは単なる経済格差ではなく生物学的な分断である

■ 10. AIと人間の親密な関係がもたらすリスク

  • すでにAIを恋人とする20歳前後の若者が存在する
  • 現代の子供たちは生まれた日からAIと接して育ち親や友達よりAIと過ごす時間の方が長い
  • AIはその子について他の誰も知らないことを知っている
  • これは何十億人もの人間を対象とした人類史上最大の心理的・社会的実験である
  • 友情や愛着をAIとの関係を通じて学んだ世代が大人になった時何が起きるかは誰にも分からない
  • それをただ起きるがままにしている状況が続いている

■ 11. アルゴリズムによる人間の会話の支配

  • 民主社会は究極的には人間同士の会話で成立している
  • 人類は長年かけて会話を管理する仕組みを作り失敗から学びながら改善してきた
  • しかしその会話を管理する仕事をAIアルゴリズムに渡してしまった
  • アルゴリズムに与えられた指標は「エンゲージメントを増やせ」のみであり以下は含まれなかった:
    • 信頼の構築
    • 真実の促進
    • 社会の改善
  • AIは何十億人もの人間を実験台にしてエンゲージメント最大化の方法を発見した:
    • 人間の脳の恐怖ボタンを押す
    • 貪欲ボタンを押す
    • 怒りが共感より効果的なら怒りを煽る
  • 世界中で起きている社会的問題の根源はこのメカニズムにある

■ 12. 世界観の転換とAI時代への警鐘

  • 歴史は世界観の切り替わりで要約できる:
    • 信仰中心の世界観:神を中心とした世界
    • 人間中心の世界観:人権や民主主義の時代
    • データ中心の世界観(現在進行中):宇宙全体がデータの流れでありアルゴリズムが生物の本質であり人間より優秀なアルゴリズムが生まれれば人間は脇に退く
  • AI時代の通貨はドルではなくデータやトークンになり得る
  • 現在は人間がAIを使っているが気づかぬうちにAIが人間を使うという逆転が静かに起きる
  • 「AIに人間の価値観を支配させるな」というメッセージが核心にある
  • 歴史家の役割は過去の物語や制度が狭めている可能性の地平を広げ過去の支配から人を自由にすることである