オルツ、新たな大規模言語モデル「LHTM-OPT」を開発

大規模パラメータの大規模言語モデルは膨大な計算リソースとエネルギーを必要とするため、環境に対する負荷の増大が懸念されている。そのため、現在は軽量でありながら大規模モデルと同等の精度を実現するための小規模パラメータモデルの研究が活発化しているという。このアプローチは、大規模言語モデルから重要な知識を抽出して、新たに有用なモデルを開発することから「知識蒸留」と表現されており、計算リソースの削減やエネルギー効率の向上に寄与する試みだ。同社は、このような社会課題を解決する生成AI開発に積極的かついち早く取り組み、小規模パラメータモデルである「LHTM-OPT」の開発に成功したとのことだ。同社が提供する大規模言語モデル「LHTM-2」は、パラメータ数が膨大で調整の自由度が非常に高く設定されている。それに対して、「LHTM-OPT」は、そのパラメータを小規模GPUマシンでも実行可能であり、実用に最適化された軽量型モデルだ。