AIに死はなくクオリアもないから善人にも悪人にもならない。世の中に役立つ何かを自ら生み出そうとはしないし、独裁者にもなれない。生きて創造しようという心がない以上、「人間のもつ設計技術能力を獲得」して機械である自分を発展させていくことはできない。
つまり、汎用AIには行動するモチベーションが無いのではという指摘。
技術開発に特化した自動生産システム的なものを想定するなら、確かに強いAIなど不要で、「技術開発」という課題に特化した単機能AIで十分ではある。
甘利氏は同書の中に「人工知能が自分で新しい技術開発をしてその産業化を行えば、あとは加速度がついて技術が爆発的に進展し、人間はいらなくなるという。この時期が2045年という予測」があると触れ、「私はこのシナリオを信じない」と書いている。
AIが意識に目覚めて強いAIとして活動することはないというスタンス。
例えば前出の西垣氏は「真の汎用人工知能には意味解釈の機能がもとめられる」が意味解釈とは「相手の心の内容」を「意図や文化的価値観をもとに推定する」ことであり、それは「人間社会における多様な言語的なコミュニケーションの繰り返しを通じて動的に形成されていく」からAIには不可能と説明する。
この辺りは強化学習で解決できそうな気もするが。
AI研究の若手リーダーである松尾豊東京大学大学院准教授は『人工知能は人間を超えるか』（角川EPUB選書）の中で「人間＝知能＋生命」とし、「知能をつくることができたとしても生命をつくることは非常に難しい」、「自らを維持し、複製できるような生命ができて初めて、自らを保存したいという欲求、自らの複製を増やしたいという欲求が出てくる」と述べ、「生命の話を抜きにして、人工知能が勝手に意思を持ち始めるかもと危惧するのは滑稽」と断じている。
知性体であることの条件に、生命（有限の寿命）が必須要素かどうかさえ不明な気もするが。
欲求は確かに重要だと思うが、そもそものハードウェアが異なる存在に人間と同様の欲求が生じるかは疑問だし、むしろ人間とは全く別種の欲求が生じる可能性を考慮すべきでは。