Sparticle、大規模な日本語モデル（LLM）の開発の強化に着手
2023/12/7
Sparticle株式会社は、大規模な日本語モデル（LLM）の開発の強化に着手したと発表した。
同社は、Amazon Web Services（AWS）ジャパンによるLLM開発支援プログラムパートナーとして選出され、今回のLLM開発は、その一環だという。同社が開発した大規模言語モデル（Llama2-13B-Felo LLM）は、米国のMETAが開発したLlama2に基づいている。Llama2は3つの異なるサイズで提供されており、それぞれ7B、13B、70Bのパラメータを持っているが、今回は、日本語および英語データで事前学習を行なった7億パラメータ（7b）及び、13億パラメータ（13b）のベースモデルで、これらのモデルは、業務特化すれば、それぞれ7BはGPT2.0相当、13BはGPT3.5相当となるという。また、7bモデルは、オープンソースとして無料公開される。この新しいモデルは、日本語に特化した自然な会話や文章生成の能力を高めることを目指しており、7bモデルは、入出力の長さとして8,192トークンに対応しており、日本語の文章として約4,096文字を一度に処理することができるとのことだ。
出典元：プレスリリース
Llama2-13B-Felo LLMの7Bおよび13Bのバージョンは、2023年11月中旬から外部検証を可能にする予定で、2024年1月に両バージョン共、リリースを予定しているとのことだ。
