ChatGPTやBardなどで利用されているチャットAIは、トレーニングだけでなく動作させるのにも数十～数百GBのVRAMなど非常に高いマシンスペックを要求するのが一般的です。そうした状況を変えるべく、GPU不要でチャットAIを動作させるライブラリ「GGML」の開発が進められています。
GGMLの特徴は下記の通り。
- Cで記述
- 16bit floatをサポート
- 4bit、5bit、8bitの整数での量子化をサポート
- 自動微分
- 「ADAM」「L-BFGS」という最適化アルゴリズムを搭載
- Appleシリコンへの対応＆最適化
- x86アーキテクチャではAVXおよびAVX2を使用
- WebAssemblyとWASM、SIMDによるウェブのサポート
- サードパーティーへの依存性なし
- 動作中にメモリを使用しない
- ガイド付き言語出力をサポート
しゅごい