/note/tech

「Jetson Orin Nano」の開発者キットはエッジでトランスフォーマーモデルが動く

2022年9月開催の「GTC September 2022」で発表されたJetson Orin Nanoは、AI処理性能が275TOPS(1TOPSは毎秒1兆回の演算性能)に達する「Jetson AGX Orin」と同じAmpereアーキテクチャを採用した“Orin世代”の製品となる。これまで、最大275TOPSのJetson AGX Orin、最大100TOPSの「Jetson Orin NX」が発表されていたが、より安価なエントリークラス製品として設定されたのが最大40TOPSのJetson Orin Nanoとなる。

これまで「Jetsonシリーズ」のエントリークラス製品と言えば、99米ドルと安価にAIモジュールの性能を試せる「Jetson Nano」が知られている。Jetson Orin Nanoは、AI処理性能20TOPSのメモリ容量4GBモデルと、40TOPSの8GBモデルがあり、価格はそれぞれ199米ドル、299米ドルとなっている。Jetson Nanoと比べて価格は2~3倍になったものの、AI処理性能は40~80倍に向上している。

Jetson Nanoをはるかに上回るJetson Orin NanoのAI処理性能の活用法としては、ジェネレーティブAIとして急速に活用が広がりつつある「ChatGPT」にも用いられたトランスフォーマーモデルをエッジデバイスで動作可能な点に注目が集まっている。取り扱うパラメーターの多さから、トランスフォーマーモデルはクラウド上での動作が前提とされているが、Jetson Orin Nano開発者キットを活用すればエッジデバイスにおけるトランスフォーマーモデルの活用を検討できるようになるという。

エッジでGPTが動かせるのも面白いけど、とりあえずローカルでGPTを動かす母艦にできると色々助かる。