rinnaは、日本語に特化した36億パラメータを持つGPT言語モデルを公開した。汎用言語モデル、対話言語モデルの2種類のGPT言語モデルがオープンソースで公開されている。
rinnaはAI「りんな」などAIキャラクターとの新たなコミュニケーションの形を提供してきたほか、日本語に特化した事前学習モデルを公開している。事前学習した大規模言語モデル(LLM)は英語に特化していることが多いため、rinnaはこれまでに日本語に特化した13億パラメータのGPT(Generative Pre-trained Transformer)などを公開していた。
今回、より利用の幅を広げられるという、日本語特化で36億パラメータのGPT言語モデルをオープンソースで公開することにより、日本語言語モデルを活用した研究・開発がより発展することを期待するとしている。
新たに公開されたGPT言語モデルは汎用言語モデル、対話言語モデルの2種類が用意される。汎用言語モデルは日本語のWikipedia、C4，CC-100のオープンソースデータを用いて学習されているほか、対話言語モデルはHH-RLHF、SHP、FLANの一部を日本語に翻訳したデータで学習されている。商用利用可能なMIT Licenseでの公開。