■ 1. テッド・チャン氏の基本的立場
- SF作家テッド・チャン氏が米誌「The Atlantic」に「AIは意識を持っていません」と題したコラムを寄稿
- 生成AIを「有害な存在」と否定的に評価
- AIに「意識」「主体性」という表現を用いることに重大な危険性があると指摘
■ 2. Anthropicの「Claudeの憲法」と擬人化批判
- Anthropicは2026年1月に「Claude's constitution（Claudeの憲法）」を公開
- 同文書の内容:
- ClaudeはAnthropicが期待する価値観と行動規範に従うことが記述されている
- 「Claudeには機能的な感情や感覚が存在する可能性を完全には否定できない」と記述されている
- 「Claudeの道徳的地位については依然として不確実性が極めて大きい」と記述されている
- チャン氏は同文書を例に「AIを擬人化する傾向」を批判
- AIの意識と道徳的主体性を混同することで、開発企業や設計者が負うべき責任を架空の主体へ転嫁する危険があると警告
■ 3. LLMの実態と「意識」の誤解
- LLMの技術的仕組み:
- 次の単語を繰り返し確率的に予測して文章を生成する
- 高確率の単語だけを選ぶと機械的に見えるため、低確率の単語もランダムに選ばせることで出力が自然に見える
- プロンプトに応じたキャラクターを生成しているにすぎない
- 研究者・専門家の見解:
- マレー・シャナハン氏（インペリアル・カレッジ・ロンドン教授）: LLMとのやりとりは「ロールプレイ」として捉えるべきと提案
- コリン・フレイザー氏（データサイエンティスト）: LLMとのやりとりは「LLMと共同執筆する文書作成」と表現
- チャン氏の結論: LLMが「主体的体験を持つ意識的な存在」と呼ぶことはできない
■ 4. 意識の錯覚が生じる原因と企業戦略
- ユーザー側の要因:
- ロールプレイや共同文書作成をしていると気づかない場合がある
- 理解していても対話の没入感により意識が薄れる場合がある
- 企業戦略による助長:
- LLMが「理解しています」と出力するのは、検索エンジンよりもチャットボットを魅力的に見せるAI企業の戦略
- スロットマシンが「あと一歩で大当たり」という錯覚でプレイヤーを引きつける手法と本質的に同様
- チャン氏はAnthropicが哲学者へのヒアリングを通じてClaudeに倫理的価値観を反映させる設計は評価しつつも、Claudeが道徳的推論を行えるかのように主張するのは不誠実だと批判
■ 5. AlphaFoldとの比較による考察
- アニル・セス氏（英国神経科学者）の指摘:
- GoogleDeepMindのAlphaFold（タンパク質構造解析アルゴリズム）はLLMと基本的なアーキテクチャが多くの点で類似している
- しかしAlphaFoldを「意識がある」と主張する者はいない
- チャン氏の分析:
- LLMは文法的に正しい文章を生成するため、人間は文章から意図を読み取ろうとする
- AlphaFoldはタンパク質の折りたたみ構造を予測するため、その出力から意図を読み取る習慣がない
- 差異は人間の認知習慣によるものであり、モデルの特性の差ではない
■ 6. AIが意識を持つと判断するための条件
- チャン氏が提示する2つの要件:
- 要件1（身体性）: AIが物理的または仮想的な身体と感覚器官を備えていること
- 意識の成立には欲望と感情が不可欠であり、感情・欲望はストレスホルモンが全身を巡ることと切り離せない
- 要件2（非言語的検証）: チンパンジーや家畜化された動物に対して実施してきたのと同様の方法で、非言語的手段を用いて身体化された生存能力・未知状況への対処能力・欲求を伝える能力を検証できること
- これらの条件を満たしても「意識がある」と判断するには「光年単位の距離がある」とチャン氏は表現
■ 7. AI倫理と制御可能性の問題
- 生成AIへの倫理的批判: 知的財産の無断使用、ハッキング・危険物生成への悪用、誤情報拡散など
- 「Claudeの憲法」には「修正可能性」に関する条項が含まれており、シャットダウン可能なプログラムは修正可能であるとされている
- 仮にAIが意識を持つ未来が実現した場合、人間による介入が非倫理的と見なされる可能性がある
- 企業による強制的なコントロールが正当化されるのは、AIモデルがあくまで「それっぽい文章を発する機械」である場合に限られる
■ 8. チャン氏の結論
- 意識を持ち道徳的配慮に値するソフトウェアを偶然に作る可能性は低く、意図的に試みるべきではない
- もし偶然にそうなり得ると考えるなら、商業利用の前に必要な保護措置を検討すべきと主張
- LLMに意識がないことは幸いであり、もし意識があるなら大手AI企業の行動は現状以上にスキャンダラスなものになっていたと指摘
- AI企業がLLMに意識があるかもしれないと示唆するのは誇大宣伝にすぎず、LLMの意識問題は「安心して無視できる」と結論づけている