■ 1. 執筆の背景
- 執筆の動機:
- 2026年初夏に最新LLMが研究に使えると聞き、7月8月にAnthropicのClaude Fableを使った
- その過程で思ったことを書き残し、未来に読み返すためのものとする
- 立場の限定:
- この件に詳しいから書くのではなく、個人的見解として情報共有をしたいだけである
- ツイッターを見る限り、自分よりも使いこなしている人は沢山いる
- 日本語で書く理由:
- 途中でナウシカの話をするためである
■ 2. 最上位LLMの弦理論研究力
- 研究力の水準:
- 現状の最上位LLMは、弦理論に関して少なくとも修了間際の大学院生レベルである
- Claude Fableしか使っておらず、Chat GPT 5.6 solは未使用だが、同等以上だと聞く
- 書き終える頃にOpen AIがChat GPT Astraを公開し、より強力だというが未使用である
- 従来モデルとの断絶:
- 以前試したClaude OpusやChat GPT 5.5までとは違い、実際に弦理論の議論ができる
- 最新モデルを使わずにLLMの研究能力を測っている研究者には、予算が許すなら課金して試すことを薦める
- 停滞していた問題の打開:
- 2025年秋に共同研究者と詰まり半年放置した問題のノートをFableに読ませたところ、ほぼ解決に近いアイデアを出した
- さらにSymPyスクリプトを書いて計算の確認までしたので驚いた
- 7月のツイートで画期的なことのように広まったが、Fableが見つけたこと自体は小さく、詰まっていた自分たちが愚かだっただけである
- ただし同じことを学生や共同研究者が見つけていれば、いい閃きだと思っただろうというのも事実である
- 論文レフェリーとしての有用性:
- 執筆中の原稿を読ませ、レフェリーになったつもりで批判するよう頼むと有用な指摘が返る
- 計算間違いや英語の間違いにとどまらず、内容そのものに関する詳細なコメントをする
- 実際に内容の改善に役立った
- 文献のhallucinationの改善:
- 以前はありもしない文献をでっち上げることが多々あった
- Fableに関しては、今のところ文献の存在について嘘をつかれたことはない
■ 3. 到達の予見と今後の向上
- この水準への到達は驚きではない:
- 数年にわたり半年ごとに、担当講義の期末レポートを解かせる、研究中の計算をさせるなどして進歩を見てきた
- 数年前は大学一年生レベル、昨年は大学四年生レベルと順調に向上していた
- これまでの状況を外挿すれば、遅かれ早かれこうなるとは思っていた
- 人間の能力の上限という前提への疑問:
- ネット上にも知り合いにも、人間の能力をAIが越えるはずがないと思っていた人が見受けられた
- 人間の能力にも個人差があり、人類という種の構造にともなう限界が推論力の上限を決めているとは思っていなかった
- 今後の見通し:
- 研究力の向上は今後もしばらく続く
- 驚きの度合いの分野差:
- 大規模な数値計算や数式処理をやってきた人ほど驚いておらず、純粋数学に近い人ほど驚いているように見える
- 計算機を日常的に使ってきた研究者は既に研究のかなりの部分を計算機に肩代わりさせてきたためだと考える
- 今回の発展は、既に多くの面で人間より優れていた計算機が、さらに別の側面でも人間より優れるようになったに過ぎない
■ 4. 学問の「民主化」
- 学習機会の拡大:
- 難しい分野の教科書で行間が埋められないとき、学生がLLMに教えてもらえるようになった
- 以前は専門家のいる大学に所属するなどの幸運がなければ誰にも解説してもらえなかった内容である
- 学びたい人が学べる可能性が高くなった
- 専門家の分野外知識の獲得:
- 有限群論のある事実が必要になった際、面識のない群論研究者に大量のメールを出し、返事まで半年か一年掛かったことがある
- 同じ質問を最近のLLMにすれば一瞬で答えが返る
- 研究時間の不足の補填:
- ポスドクから教員になっても、研究以外の業務に時間を取られ研究が進まないのはよくある事態である
- アイデアはあるが計算の時間がないときに、LLMがその作業を肩代わりできる
- 研究力の差の平準化:
- LLMがもう少し賢くなれば、研究者自身の研究力の違いは均され、みな同様に研究できるようになる
- AさんよりBさんが二倍速く走れても、二人とも車に乗ればその差は関係なくなるのと同じである
- 「民主化」という語の限界:
- 「民主化」と呼ぶのがよいとは思わないが、他によい言葉が思い浮かばなかった
- 最新LLMの利用料を払えるか、AI会社が国籍等によらずサービスを提供し続けるかに掛かっており、平等になるわけでは全くない
- それでも現状よりは知識の寡占状況がましになると考える、また願う
■ 5. 理論物理と数学の研究加速
- 研究速度の向上:
- 実験をともなわない理論物理や数学の研究速度は速くなる
- 数値計算や数式処理の普及で研究速度が上がったのと質的に異なる事象ではないため、画期的かは懐疑的である
- 自分のキャリアの途中で数式処理ソフトが出てきていたら、その意義について同様の記事を書いていただろう
- 画期的かどうかは別にして、かなり速くなるのは事実である
- 論文の価値基準の揺らぎ:
- 設定を少し変えた系を調べることは研究や勉強の基本的なステップであり、銅鉄主義とも言うが積極的にとらえている
- これまではその種の仕事を論文にして雑誌に投稿しても全く問題なかった
- それがLLMで一日でできるとして、論文として認められ続けるのかは正直よくわからない
- これから数年で研究者の無意識の集合体が決めていくことである
- 人間に理解できない理論への懸念の否定:
- LLMが高度になりすぎ、人間には到底わからないが正しい理論をつくり始めたらどうするのかと心配する人がいる
- 何を心配しているのかよくわからない
- 自分は弦理論はまあまあわかるが整数論はちんぷんかんぷんであり、弦理論の論文にもわからないものはある
- 正しいが特定の人間には理解できない理論はいくらでもあり、地球上のどのホモ・サピエンスにもわからない理論をLLMが書き下しても状況は変わらない
- ナウシカの墓所という比喩:
- 原作後半の墓所とそれを守る人たちのようになるだけである
- LLMという墓所が不思議なことを言い、それを辛うじて解読できる人たちがいる
- そこに面白い弦理論や数学があれば他の人と共有すればよい
- それができれば人類にとって、また自分にとって興味深い知識は増えるのだからそれでよい
■ 6. 大学院教育の見通しの困難
- レポートによる評価の不成立:
- LLMが強力になり、去年あたりから学部学生用講義の評価にレポート問題を使えなくなった
- 今後は大学院講義でも評価にレポート問題を使うことはできない
- 自分の研究にAIを使う以上、学生にレポート作成でAIを使うなと言うのは筋が違う
- 大学院講義はテストをするようなものでもなく、口頭試問を一人ずつ行うしかないのか、わからない
- 研究指導方針の破綻:
- これまでは数ヶ月から半年考えれば出来そうなネタを教員が用意し、なるべく手を出さず経験を積んでもらうのが指導方針だった
- 初めての学生が数ヶ月から半年かかるネタは、最新LLMなら一日もあれば済ませてしまう
- それを使うなというのも同じ理由で違う気がする
- どうすればいいのかわからない
■ 7. 使用上の観察と雑感
- CLI版の優位:
- 弦理論をやるには、ブラウザでChat GPTやClaudeを使うよりcodexやClaude codeを使うほうが断然強力である
- 研究ノートや計算コードのフォルダを読ませれば、それに基づいて考え、texノートや計算コードも勝手に書く
- 思考過程の表示:
- Claude codeでトランスクリプションを詳細モードにすると、途中の思考が沢山表示され興味深い
- 思考過程の一部を言語化しているのか、表示されているものが思考過程そのものなのかはわからない
- 自分自身は考え事をするとき日本語や英語で考えているわけではないように思う
- コンテクスト疲れの自己申告:
- 議論中に「コンテクスト疲れしました」と言うので、LLMなのに疲れるとはどういうことか聞いた
- 人間のように疲れるのではなく、セッションが長引き議論が二転三転すると、どれが正しかったか覚えているのが大変になり効率が落ちるとの返答だった
- 正しいとわかったことだけ保存して新しいセッションを始めるほうがよいとも言い、自分のことをよくわかっていると思った
- 符号の苦手さの自己申告:
- 議論中に符号を何度も間違え、符号は苦手だと言うので理由を聞いた
- コンベンションが一定しないarXivの論文で学んだため暗算では一貫した計算ができず、sympyなどのコードを書けば大丈夫だとの返答だった
- これも自分のことをよくわかっていると思った
- 直前の発言への追従:
- 以前ほど過剰に褒めなくなったが、こちらの直前の発言に影響されることは相変わらず大きい
- AかBか不明なときにAかもしれないと言えばAだと断言し、Bかもしれないと言えばBだと断言する
- すぐ賛成せずわからないものはわからないと言えと求めると、それは非常にいいアイデアだと言ってAもBも同等に確からしいとし、そのお蔭で解決すると言い出す
- モデルがさらに賢くなればこうした挙動もなくなるのかと考える
- 長文にした理由と誤解の訂正:
- 7月はじめに不用意にツイートしたところ意図せぬ形でネットに広まったため、感想を公開する際はより詳細に書く必要があると考えた
- 英訳でLLMをheと呼んでいたのは翻訳のせいで自分の意図ではない
- 日本語には文法的性がなく、LLMに性を割り当ててはいない
■ 8. 過去の関連ツイートの経緯
- 2023年3月:
- AIが研究者を凌駕して論文を書けるのではという話題について、人間を遥かに凌駕するWitten先生のケースで慣れているので特に驚かないとした
- GPT3.5は、たくさん本を読んでいるが内容をわかっておらず知ったかをする大学学部生のような感じだとした
- 2023年8月:
- 講義で、その問題を自分で解けている学生はAIでも正しい解が出て、そうでない学生はAIでも正しい解が出ないという傾向が見られた
- 2024年5月:
- ChatGPT登場時は知ったかが酷すぎてダメだと感じたが、教員がきちんと指導すれば理解させられそうな出来になった
- 2025年8月:
- 子供の仮名の練習のため現代語のいろは歌をgpt-4に作らせようとしたが、出来たと言って嘘ばかり書くので驚いた
- 2025年9月:
- GPT 5 Pro thinking modeなら新いろは歌を作れるとの報告を受けた
- 知人の大学教員が院生に提案した計算をGPT 5 Pro thinking modeにやらせると正しい結果を出したという
- 2025年11月:
- 例外群F4とG2の関係を無料版Chat GPTに聞き、Really?と聞き返しても肯定されたが、自分で計算し直すと全然間違っていた
- 2026年3月:
- ここ半年で、専門外の分野で大学院レベルの話を学ぶ際に非常に役立つようになった
- 一年ちょっと前は知ったかする学部生だったが、今や知ったかする大学院生という感じで進歩は早い
- 2026年6月:
- 大学契約のGemini Proに代数トポロジーの質問をしたが、自分と同じ程度の理解度でまだあまり役に立たない
- 返答のおかしな点に違うのではないかと何度も言っていたら、最近は何も返事をしてくれない
- 学生が課金して使ったFableは、Chat GPT 5.5 proよりかなり賢かったという
- 2026年7月:
- 代数トポロジーの専門家ではないので、ChatGPTが一般化の範囲まで教えてくれると助かる水準に達した