/note/tech

謎の超小型AI「HRM」、たった2700万パラメータで巨大なOpenAI o3やClaude 3.7を蹴散らす

■ HRMの概要

  • 名称: Hierarchical Reasoning Model(HRM)
  • 特徴: わずか2700万パラメータの超小型AI。
  • 開発元: シンガポールのSapient Intelligenceと清華大学。

■ HRMの構造と機能

  • 構造: 人間の脳の階層的処理にヒントを得ており、以下の2つの再帰的モジュールで構成されています。
    1. 高レベルモジュール: 抽象的な計画を立案。
    2. 低レベルモジュール: 詳細な計算を高速で実行。
  • 利点: この構造により、標準的な再帰型ニューラルネットワークが抱える早期収束の問題を回避し、計算深度を大幅に増加させている。

■ 実験結果

  • トレーニング: わずか1000件のトレーニングデータを使用し、事前学習やChain-of-Thought(CoT)といった手法は不使用。
  • ベンチマーク: AGIを評価するベンチマーク「ARC-AGI-1」と「ARC-AGI-2」で優れた精度を達成。
  • 得意なタスク: 数独パズルや迷路探索など、既存のAIにとって困難なタスクで高い正答率を記録。

■ 結論

  • 示唆: このモデルは、大規模なLLMに匹敵、あるいはそれを凌駕する可能性を示唆している。