/note/tech

Verifiability

要約:

■ 1. AIと歴史的先例の比較

  • AIは様々な歴史的先例(電気、産業革命など)と比較されてきた
  • 最も強力な類似性はAIを新しいコンピューティングパラダイムとして捉えることである
  • なぜなら両者は根本的にデジタル情報処理の自動化に関するものだからである

■ 2. Software 1.0時代の特徴(1980年代のコンピューティング)

  • 1980年代に雇用市場へのコンピューティングの影響を予測する場合、タスク/仕事の最も予測力のある特徴は「指定可能性(specifiability)」であった
  • 指定可能性とは、機械的に情報を定型的で簡単に指定できるアルゴリズムに従って変換しているだけかどうかである
  • 例:タイピング、簿記、人間計算機など
  • 当時、これはその時代のコンピューティング能力が手作業で手動で書くことを可能にしたプログラムのクラスであった
  • 筆者はこの手書きプログラムを「Software 1.0」と呼んでいる

■ 3. Software 2.0時代の特徴(AI時代)

  • AIによって、これまで手作業では書くことができなかった新しいプログラムを書くことができるようになった
  • 方法:
    • 目的(例:分類精度、報酬関数)を指定する
    • 勾配降下法を介してプログラム空間を探索し、その目的に対してうまく機能するニューラルネットワークを見つける
  • これが筆者が以前のブログ投稿で述べた「Software 2.0」である
  • この新しいプログラミングパラダイムでは、注目すべき新しい最も予測力のある特徴は「検証可能性(verifiability)」である

■ 4. 検証可能性の定義と条件

  • タスク/仕事が検証可能であれば、直接的にまたは強化学習を通じて最適化可能である
  • ニューラルネットは極めて優れた動作をするように訓練できる
  • これはAIがどの程度何かを「練習」できるかということである
  • 環境は以下の条件を満たす必要がある:
    • リセット可能(resettable):新しい試行を開始できる
    • 効率的(efficient):多くの試行を行うことができる
    • 報酬可能(rewardable):行われた特定の試行に報酬を与える自動化されたプロセスが存在する

■ 5. 検証可能性と自動化の関係

  • タスク/仕事が検証可能であればあるほど、新しいプログラミングパラダイムにおける自動化に適している
  • 検証可能でない場合、以下のいずれかに依存する必要がある:
    • ニューラルネットの汎化の魔法から生じることを期待する(指を交差させて祈る)
    • 模倣のようなより弱い手段を使う

■ 6. LLMにおける進歩の「ギザギザした」フロンティア

  • 検証可能なタスクは急速に進歩する:
    • トップエキスパートの能力を超える可能性も含む
    • 例:数学、コード、動画視聴に費やされた時間、正解のあるパズルのように見えるもの
  • 他の多くのタスクは比較的遅れている:
    • 創造的なタスク
    • 戦略的なタスク
    • 現実世界の知識、状態、コンテキスト、常識を組み合わせるタスク
  • これがLLMの進歩における「ギザギザした(jagged)」フロンティアを推進している

■ 7. まとめ

  • Software 1.0は指定できるものを簡単に自動化する
  • Software 2.0は検証できるものを簡単に自動化する