ChatGPTやGPT-4等の本質は,巨大Transformerをスケーリング則(データ量,計算量,モデルサイズに従い性能上昇が続く)を背景に大規模学習することですが,計算量はほぼ限界ライン 実はデータ量も2026年にWebデータ枯渇の試算(https://arxiv.org/abs/2211.04325 )があり,AIの進化は落ち着く可能性が
機械学習における学習資源の枯渇が来る - mrsekut-p
もう再来年には学習するネタが尽きるのである。ネットに転がってるデータをかき集めて大規模な学習データを作る手法はもう限界が目に見えてるのだ。
すでに現在の大規模言語モデルによる生成AIは様々な国家試験を優秀な成績で突破するくらいの能力はある。それだけでも人間の知力をすでに越えたと言ってもそう間違ってはいないだろう。だが所詮は学習内容に基づき経験則で答えてるだけで、現物と取っ組み合いをするようにして生み出す知の産物を勝手に生み出してくれるわけではない。そうした活動の大きな武器にはなるであろうが、所詮は道具でしかないのである。
つまり生成AIによって出力されたものは、けっきょく自分がレビューしたり修正したりしないといけないのである。いまも毎日のように仕事でも AI にコードを生成してもらってるが、そのまま使えることなんてほとんどない。書けるけどめんどくさいなあと思うようなものを任せたり、知らないライブラリや部品の使い方を知るために使っている。よく知らないプログラム言語なんかだと基本的な書き方もすぐわかるのでありがたい話である。雛形程度なら割と任せられるのでだいぶ楽になったなとは思うが、それでもまだハルシネーションに騙されて遠回りするハメになったりもする。便利だがまだまだ乗りこなすのは難しい道具だ。