PKSHA、日本マイクロソフト支援のもと新たな大規模言語モデルを開発

2022年11月のChatGPTの登場により、生成AIの進化が加速し、国内外でも様々なモデルの研究・開発が進んでいます。PKSHAは、日本マイクロソフトから学習用インフラの提供及び技術支援を受け、以下の特徴を持つ新たなLLMを開発したという。

既に公開されているLLMは、基盤となるアーキテクチャに「Transformer」を使用しているケースが主流ですが、本モデルは、その後継といわれるRetNetを使用する世界初(※2)の日英モデルとのことだ。RetNetは、マイクロソフトの研究開発機関であるMicrosoft Researchによって開発され、学習速度、長文入力時の推論速度やメモリ効率が優れている上に、従来と同等以上の精度を持つことが示されているとのことだ。メモリ効率に優れるということは、従来モデルよりも少ないGPU(※3)で運用することが出来、コスト面でも優れているという。このアーキテクチャを使用することで効率的な長文理解と優れた回答速度を両立する日英対応のLLMを実現するとのことだ。
モデルのパラメータ数としては、コンタクトセンター等における実装を視野に、出力精度と運用コストのバランスに優れた70億パラメータを採用、このモデルを活用することで、例えば日本語の新聞紙2ページ(※4)の情報量を入力した際に、精度を保ちながら従来モデルの約3.3倍の速度で出力することが可能となり、入力情報量が多くなるほど優位性が高まるとのことだ。また、モデルの開発にはMicrosoft Corporationによって研究開発された深層学習フレームワーク「DeepSpeed」を採用し、その強みである高い並列分散処理能力を発揮するためのLLM学習ノウハウとAzure上のGPUサーバー群が日本マイクロソフトから提供されているという。DeepSpeedの活用により効率的に学習を進め、プロトタイプモデルによる性能確認を早期に実現したとのことだ。

PKSHA Technologyは2012年創業当初より自然言語処理（NLP）の研究開発に注力し、コミュニケーション領域を中心にAIの社会実装を行っている。コンタクトセンターや社内ヘルプデスク領域等を中心に6,000件以上のAI活用の実績をもち、その領域において更なる高度化を実現するために本LLMの活用を進めていくとのことだ。活用に向け、お客様の課題を理解した上でビジネス現場への実装を前提にした上でモデルの構築を進めていることを特徴としているという。

【想定場面.1】コンタクトセンターにおけるリアルタイムのCRMを提供し顧客満足度の向上
コンタクトセンターにおいては、人員不足に加えて、サポート領域やチャネルの拡大、複数人員での複雑なサポート体制から、一人ひとりのお客様にとって満足度の高い対応をすることが難しくなっているという。個別のお客様の登録情報や対話履歴、その時系列をLLMが読み取りアドバイスする事で、オペレーターが個別最適な回答を簡単にできたり、専門性や複数の参考情報を必要とする問合せに対して、大量の規約や社内ドキュメントからLLMが高速に回答を導き出す事で、お客様をお待たせする事なく高度な回答をすることが可能になるとのことだ。

【想定場面.2】社内ヘルプデスク領域における従業員問合せの高度化
企業内のコミュニケーションにおいては、社内システムやツールの増加、業務の複雑化・多様化を背景に、社内問合せや情報検索の効率化が求められているという。既に、AIヘルプデスクにより社内問合せを自動化する仕組みは存在していますが、社内マニュアルや、過去の議事録、労働規定等、多岐にわたる情報をLLMが読み取りアドバイスすることで、情報検索や問合せにかかる時間を効率化するとのことだ。また、即時性の高い回答ができることから、今後はリアルタイムでの商談において、顧客のニーズを満たす商品をAIが即時に提案することや、営業資料から最適な情報を抽出するなどといったことも可能となり、営業職等のフロント業務での実用性が期待されているとのことだ。