■ 1. Jeffの概要
- Jeffとは:
- Jevと同じリクエスト形式でコードに組み込める小型で高速な意思決定モデル
- JevはChatGPT共同開発者のディオゴ・アルメイダ氏がCEOを務めるTypeSafe AIが開発した意思決定モデル
- ゼロショット分類の採用:
- 分類項目ごとのトレーニングなしで選択肢の中から答えを選べる
- ローカル環境での高速動作:
- 8億パラメーターのモデルはRTX PRO 6000搭載PCで1判断当たり約22ミリ秒
- M4 Max搭載Macでも1判断当たり約28ミリ秒で意思決定が可能
- 3種類のベースモデル:
- Qwen3.5 0.8B、Qwen3.5 2B、Gemma 4 E2Bをベースに追加学習
- 各モデルはHugging Faceで公開
- ライセンス:
- コードはMITライセンス
- モデルの重みはApache 2.0で公開
■ 2. トレーニング環境とデータ
- トレーニング環境:
- RTX PRO 6000を1台搭載したワークステーションで実施
- 8億パラメーターのモデルは約2時間、20億パラメーターのモデルでも約3時間半
- トレーニングデータの生成:
- 2台のDGX Spark上で動作するオープンモデルのQwen3.8-Flash-Nextで作成
- テストはMacBookで実施
- クラウドとクローズドモデルの不使用:
- クラウドGPUは使用していない
- トレーニングデータにクローズドモデルの出力は含まない
- クローズドモデルはトレーニングデータのサンプル品質チェックにのみ利用
■ 3. ベンチマーク比較
- 使用したベンチマーク:
- BIG-Bench Hard(BBH): 高度な論理推論能力や多段階の思考能力を測定
- Financial PhraseBank: 金融・経済テキストの感情分析能力を測定
- JudgeBench: AIの能力を客観的かつ厳格に測定
- RAGTruth: ハルシネーションの検知精度を測定
- WinoGrande: 常識的な推論能力を測定
- JevBench: TypeSafe AIが作成した意思決定モデル向けベンチマーク
- Overall: JevBench以外の5つをまとめた総合評価
- 比較結果:
- ベンチマークの種類によってはJevに匹敵するパフォーマンスを発揮
■ 4. Jeffの限界
- 推論能力の差:
- Jevはより大きなモデルで動作するため、推論パフォーマンスではJeffは及ばない
- Jeffは推論を行わないモデル
- 小型モデルの役割:
- 迅速かつ的確に意思決定を行うためのもの
- この程度のパラメーターサイズのモデルに多段階の推論を期待すべきではない
- 20億パラメーターモデルの課題:
- ゲームプレイ時の意思決定パフォーマンスが8億パラメーターのモデルより劣る
- 原因はリスク回避傾向の強さ
- この点はさらなる調査が必要
■ 5. 開発元との関係と類似モデル
- TypeSafe AIとの関係:
- Jevとの互換性をうたうが、TypeSafe AIとは一切関係がない
- 同社による承認も受けていない
- トレーニングコード:
- オープンソースのAutoJevをベースに作成
- 類似モデルKev:
- Qwen3.5およびQwen3.8をベースに作成されたJev風の意思決定モデル
- 自分でトレーニング・実行が可能