/note/science

デジタル生命体は創るべきではないと私は考えます。

苦しみを知る新たな存在のカテゴリーは、必要ないと思うのです。

ドミニク・チェン テッドさんの小説の大ファンですので、インタビューできて光栄です。私は、インタラクションデザインの研究をしており、とくに人間―微生物―コンピュータの関係に焦点を当てています。

今日は、テッドさんの創作プロセス、言語、AI開発における倫理的問題について、お話をお聞かせください。

札幌で開催されたALIFE2023(国際人工生命学会)カンファレンスでのテッドさんと神経科学者アニル・セスとのセッションを拝聴しましたが、そこで、テッドさんは、小説「ソフトウェア・オブジェクトのライフサイクル(The Lifecycle of Software Objects)」に触れつつ、「ディジエント(デジタル生命体)[★01]の教育」について議論されていました。

テクノロジーの世界、とくにAIや仮想キャラクターでよくある安易な擬人化について、テッドさんは批判的でした。私はそのテーマにとても関心があります。というのも、小説の中で主人公のアナは自分が育てたディジエントたちに公正な生活環境を実現しようと奮闘しますが、その彼女の態度についてのテッドさんの描写に感動したからです。

アナのディジエントに対する態度と、テッドさんが批判した企業が行う擬人化との違いは何でしょうか?

テッド・チャン いまのチャットボットとは違って、小説に登場するディジエントは実際に主観的な体験を持っているということです。たとえば、リアルな犬とバーチャルな犬の違いに似ています。生身の犬を飢えさせれば、犬に大変な苦痛を与えることになります。しかし、バーチャルな犬に「餌」をあげなくても、犬は何の苦痛も感じないでしょう。

企業は、くんくん鳴いて苦しんでいる犬のアニメーションを作って、それを見ている私たちの感情的な反応を操ろうとするかもしれませんが、所詮、作りごとにすぎません。

小説に登場するディジエントたちは、肉体的にも感情的にも苦痛を味わいます。人々は、生身の動物たちの肉体的・感情的苦痛を軽くしてあげたいと思うのと同じように、デジタル生命体の苦痛も軽くしてあげたいと思うようになります。

しかし現在のところは、アニメーションと音声ファイルがあるだけです。私がいうところのデジタル生命体は、まだ存在していません。

ドミニク 小説に登場するデジタル生命体のジャックス[★02]は、肉体的・精神的に苦しむことができたからこそ、アナとの間に、真の絆ができたようにも思えます。では、私たちは、企業がテクノロジーによって人々を操作するのを防ぐために、デジタル生命体に苦痛を導入することを検討すべきなのでしょうか?

テッド アナとジャックスの絆は、実際の飼い主と犬の関係と同じくらいリアルでした。そのリアルさはむしろ、霊長類学者と彼によって育てられたチンパンジーとのつながりと同じくらい、と言った方がいいかもしれません。

デジタル生命体は創るべきではないと私は考えます。苦しみを知る新たな存在のカテゴリーは必要ないからです。

ドミニク なるほど。これはIT業界に対する痛烈なメッセージですね。

テッド 理論的には、喜びと苦しみの両方を体現できるデジタル生命体を創ることは可能です。しかし、それよりも苦しみを回避することの方が、はるかに優先されるべきことだと思います。

今、人間は動物たちに信じられないような苦しみを与え続けています。動物は、血と肉でできた生身の存在ですから、彼らが苦しんでいるのは、見てすぐにわかります。ところがデジタル生命体は、生身の身体ではないですから、多くのひとは、その苦しみを見すごしてしまうでしょう。だから、もし私たちがデジタル生命体を創ったとしたら、私たちは彼らに多大な苦痛を与えてしまうことになります。

ドミニク ある意味、小説に登場するアナとデレクの悲しい状況は、私たちの社会が避けなければならない悲劇といえますね。

テッド 誤解のないようにいいますと、これはまったくもって仮説的な考察です。目下私たちが直面しているのは、企業が、デジタル生命体のアニメーションや音声ファイルを使って、私たちの感情的な反応を操り、お金を巻き上げようとしていることです。アニル・セス[★03] にも言いましたが、それも由々しき問題ですが、小説でとりあげたこととはまったく別問題ですね。

哲学的な観点から見ると、デジタル生命体の苦しみという問題は、私にとっては興味深いものです。しかし、現実的な観点に立てば、まだ当分の間、心配する必要はないでしょう。 「テクノロジーがつねによい」という前提を疑うこと。

ドミニク ありがとうございます。では次に、『ニューヨーカー』誌に最近掲載されたテッドさんのエッセイに関連して、さらに現実的な観点からこの問題を考えてみたいと思います。このエッセイでテッドさんは、AIが資本主義を強化し、富の不平等を増大させる可能性を指摘しつつ、AIがそのような「難問」を回避するための方策として使われていると論じています。

そのエッセイの最後の方で、テッドさんは次のように書いています。

科学技術者たち(テクノロジスト)にとって、もっとも向き合いたくない難題は、つねにテクノロジーは多ければ多いほどよいという前提を疑うこと。そして、彼らが今まで通りビジネスを続ければ、いずれはテクノロジーが解決してくれるという信念を疑うことだ。

私たちテクノロジーについて研究する者は、テッドさんのこのメッセージを真摯に受け止めるべきと思います。でもビジネスコンサルタントのそれとは異なる、AIエージェントの望ましいかたちとはどのようなものか。テッドさんはどう思われますか?

テッド いま引用してくれたエッセイで、私が言いたかったことは、AIというテクノロジーによって労働者が犠牲になり、資本が強化されていく、という問題です。

私の疑問は、そういう状況に対して、逆に、労働者に力をつけさせるために、どんなふうにテクノロジーを活用すればいいのだろうか、ということです。働く人々の生活を向上させるために、AIを活用する方法はないだろうかーーそういう問いです。その正解は、私にはわかりません。

ドミニク 労働者と、ディジエントを育てる人々とは、状況が異なりますね。

テッド まったく違います。労働者としての人々を無力化するためにテクノロジーを利用する方法もあれば、消費者としての人々からより多くの価値を引き出すためにテクノロジーを利用する方法もあります。その例は、仮想ペットやロマンチックなチャットボットのようなカテゴリーですね。

ドミニク つまりそれは、こういうことでしょうか。「ソフトウェア・オブジェクトのライフサイクル」の中で、仮想カンパニーのブルー・ガンマ社がディジエントを使ってビジネスをするという最初の決断は、結局のところは間違いだということですね。それは非常に興味深いです。

それに関連していうなら、たとえば、ChatGPTが労働者の職場で果たす役割は、どのようなものになるでしょうか?

テッド 現時点では、ChatGPT は、人間に取って代わるほどの信頼性はありません。実際のところ毎日のように、ChatGPT が問題を起こしたというニュースが報道されていますよね。 すぐに結果の出る、テクノロジーによるソリューションという考え方が、 私たちは好きなんですね。

ドミニク 私たちの社会は、働く人々の力になるようなテクノロジーを開発できるでしょうか? そのためには、何が必要でしょうか?

テッド 核心に迫る問いですね。

「どんな問題もテクノロジーで解決できる」という考え方を、テクノロジー評論家のエフゲニー・モロゾフは「テクノ・ソリューショニズム」[★04] と名付けました。

企業がその考え方を受け入れる理由は明らかです。テクノロジーによるソリューションは、商品化して販売できるからです。

しかし、そのソリューションが政治的な意図を含む場合はどうでしょうか?

たとえば、労働者の組合結成を支援するソリューションはあるでしょうか? もし、そのようなソリューションがあったとした場合、それは誰でも商品として販売して利益を得ることができるものでしょうか?

ドミニク なるほど。それは必要な視点であり、私たちの社会にも応用できますね。テクノ・ソリューショニズムの問題は、企業側だけでなく、私たち「顧客」側にとっても関わってくることです。

この話題で思い出したのは、アニル・セスとの対談における、人々の欲望(デジタル生命体や「完全言語」に対する)についての、テッドさんの発言です。

テッド はい。消費者としての私たちは、すぐに結果がでるテクノロジーによるソリューションという考え方が好きなんですね。

ドミニク 同感です。「ソフトウェア・オブジェクトのライフサイクル」のようなSF小説を読むと、テクノロジーで解決できないジレンマに直面させてくれるので、ソリューショニズムを乗り越える一助になるものと私は信じます。

テッド 社会問題というのは、個人が単独で解決できるものではありません。たとえば、バーチャルな恋人を購入することは、孤独な男が一人でもできます。しかし、孤独をなくすために社会を再構築することは、単独では不可能ですね。 優れたSFは、自明ではない未来を想像するものです。

ドミニク テッドさんは、SF小説と批評エッセイという2つのタイプの文章を、どのように書き分けているのでしょうか。

というのは、小説の中でも社会風刺をして、エッセイでもそれと同じぐらい強烈な風刺をされていますね[★05]。小説と批評エッセイをどのように区別されているのでしょうか? それらは相互に関連しているのでしょうか?

テッド エッセイは最近始めたばかりなので、いまはまだ、距離感をはかっているところです。

ドミニク エッセイで取り上げたトピックをベースにして、新しい小説を構想されるのかなと、私は想像していました。

テッド 小説を書くモチベーションは、エッセイを書くのとはまったく違います。私の小説は、ストーリーを伝えて、読者の感情的な反応を呼び覚ますことが、メインのモチーフです。

ドミニク エッセイでは、読者にどのような反応を期待していますか?

テッド とくに何も期待はしてなかったし、私のエッセイがこれほど注目されるとは、思いもよらなかったのです。

ドミニク どんな反応に驚きましたか?

テッド シリコンバレーのやり方にはガッカリしていますが、その欠点を私よりうまく指摘している人は、他にもたくさんいるはずです。

にもかかわらず、私の書いたエッセイについて、インタビューをしたがる人がいたことが驚きでした。予想もしていませんでした。

ドミニク それは、SF作家であるテッドさんの指摘が正鵠を射ているため、技術者や研究者よりも影響力が大きいからだと思います。

ところで、学術界におけるSF小説の役割について、テッドさんはどう思われますか? 私は教師として、SFプロトタイピングを使って、生徒たちに短編のディストピア小説を書くように指示して、批評的な視点を養ってきました。

学者や学生が、SFを読んだり書いたりすることに対して、テッドさんは何を期待しますか?

テッド 優れたSFは、自明ではない未来を想像するものだと思います。これは多くの場面で役に立つスキルです。

SFは次に来る質問を投げかけるべきだと、SF作家のシオドア・スタージョンは言いました。最初の質問は簡単です。しかし、次の質問を考えるのは難しいことなのです。

ドミニク まったくその通りです。そのスキルとは、学者が批判的な研究を行うためにも必要なものです。小説を読んだり書いたりすることで培われる、非自明性を疑うスキルですね。

では、最後の質問です。

テッド どうぞ。

ドミニク ALIFE2023で、テッドさんは、小説家・記号学者のウンベルト・エーコの「完全言語」という概念について話されました。「完全言語」というアイデアに対して、多くの人が根強い衝動を抱いているが、それは実現不可能な夢だ、と。そこで思い出したのは、テッドさんの小説「あなたの人生の物語」に書かれた「ヘプタポッドB」です。地球外生命の「ヘプタポッド」が使う書き言葉のことです。

自然言語を人工的コミュニケーションの基礎技術の一つとして考えた場合、言語を進化させて、より緊密な人工的コミュニケーションを作り上げるというアイデアを、思いつくことはできるものでしょうか? (これは前述の、テクノロジーの労働組合を組織するというテッドさんのアイデアにも関連しています)

テッド 言語は静的なものではなく、成長するものです。どの言語も潜在的に、無限の表現力を持っていますから、お互いの関係を改善するための新しい言語は必要としません。時の経過にしたがって、私たちの文化は新しいアイデアを生み出し、それを既存の言語で表現する方法を確立していきます。必要なことはすべて、既存の言語で実現できます。

ドミニク ありがとうございます。テッドさんがALIFE2023で発言されたように、人生経験が圧縮できないのと同様、言語の成長も圧縮できないということですね。

そろそろこのインタビューも終わりにしましょう。お忙しいなか、インタビューに応じていただき、本当にありがとうございました! テッドさんの回答から多くのことを学びました。とても感謝しています。

テッド こちらこそ、ありがとう。それでは、良い午後を!

ドミニク ありがとうございました! おやすみなさい。