Today's PICK UP

rinna、日本語に特化した36億パラメータのGPT言語モデルを公開

rinna株式会社は、日本語に特化した36億パラメータを持つ汎用言語モデルと対話言語モデルの2種類のGPT言語モデルをオープンソースで公開したと発表した。

◾︎背景

同社は「人とAIの共創世界」をビジョンに掲げ、人と人との間にAIが介在することによる豊かなコミュニケーションを通して、すべての人が自分らしい創造性を発揮できる社会の実現を目指しているという。このビジョンの実現に向け、AIりんなをはじめとしたAIキャラクターと人のテキスト・音声・画像を介した新しいコミュニケーションの形を提供してきた。また、誰もが気軽にAIを使える世界を目指す「AIの民主化」という考え方に共感し、研究成果を積極的に発表・公開してきた。これまでに日本語に特化したGPT・BERT・HuBERT・CLIP・Stable Diffusionなどテキスト・音声・画像に関する事前学習モデルを公開し、Hugging Faceでのモデルダウンロード数は累計160万を超え、多くの研究・開発者が利用しているとのことだ。
出典元：プレスリリース

◾︎概要

2018年にOpenAI社から提案されたGPT（Generative Pre-trained Transformer）は、高速な学習が可能なTransformer構造と大量のテキストを学習データとして利用できる自己教師あり学習により、テキスト生成において技術的なブレイクスルーをもたらしたという。その後もGPTは進化を続け、OpenAI社が2022年にサービスを開始したChatGPTは一般のユーザーが広く利用するまでの技術革新となっている。ChatGPTは、汎用GPT-3言語モデルに対して対話形式でユーザーの指示を遂行するタスクを実現するようなfine-tuningと、生成されたテキストに対して人間の評価を再現する報酬モデルのスコアを導入した強化学習により構築される。

GPTのような大規模言語モデルを学習するためには大量の計算資源が必要となり、誰でも気軽に学習できるわけではないため、多くの研究機関や企業が事前学習した大規模言語モデルをオープンソースで公開することで発展に貢献している。しかし、オープンソースの大規模言語モデルは英語に特化していることが多く、日本語言語モデルの選択肢は十分にあるわけではないという。同社はこれまでに日本語に特化した13億パラメータのGPTなどを公開し、多くの研究・開発者が利用しているが、今回、より利用の幅を広げられるよう日本語に特化した36億パラメータを持つ汎用言語モデルと対話言語モデルの2種類のGPT言語モデルをオープンソースで公開する。これらのモデル公開により、日本語言語モデルを活用した研究・開発がより発展することを期待するとのことだ。

◾︎特徴

特定のドメイン特化ではない汎用GPT言語モデル（rinna／japanese-gpt-neox-3.6b）と、汎用GPT言語モデルを対話形式の指示遂行ドメインにfine-tuningした対話GPT言語モデル（rinna／japanese-gpt-neox-3.6b-instruction-sft）を学習し公開した。これらのモデルには以下の特徴がある。

・汎用言語モデルは、日本語のWikipedia・C4・CC-100のオープンソースデータを用いて学習されている。対話言語モデルは、HH-RLHF・SHP・FLANの一部を日本語に翻訳したデータを用いて学習されている。

・汎用言語モデルのperplexityは8.68を達成している。8.68 perplexityとは、GPTが次の単語を予測するときに単語の候補数を8.68に絞られていることを意味する。

・対話言語モデルのインターフェースは、対話形式を採用しユーザーが利用しやすいように設計している。

・事前学習済みのモデルは、Hugging Faceに商用利用可能なMIT Licenseで公開されている。

・ユーザーは、2種類のモデルから利用者の目的に応じて最適なモデルを選択することができる。さらに、特定の利用目的に対して性能を最適化させたい場合には、fine-tuningやin-context learningにより精度向上を目指すことができる。

人気記事

AIの思考を人間が助ける。AI領域で人気の職種「プロンプトエンジニア」とは何か

AIの思考を人間が助ける。AI領域で人気の職種「プロンプトエンジニア」とは何か

プロンプトエンジニアという言葉をご存知でしょうか。英語圏では2021年頃から盛り上がりを見せている職種の一つで、中国でも2022年の夏頃からプロンプトエンジニアの講座が人気を呼んでいます。今回は、プロンプトエンジニアとは何か、どうトレーニングすればよいのかについて、日本国内でプロンプトエンジニアの採用と教育を実施している株式会社デジタルレシピ 代表取締役の伊藤 新之介氏に解説していただきました。
ChatGPTを仕事にどう使う？ 【「ChatGPTのビジネスにおける活用法と限界」ウェビナーレポート】

ChatGPTを仕事にどう使う？ 【「ChatGPTのビジネスにおける活用法と限界」ウェビナーレポート】

知りたいことや聞きたいことをテキストで入力すると、あらゆることについて人間のような文章で回答してくれる対話型AI「ChatGPT」が日本を含め世界中で話題になっています。誰でも無料で利用できるため、「早速使った」という人も多いかもしれません。しかし、とりあえず使ってみたものの「実際に普段の仕事で活用するにはどうすればよいのか」「ChatGPTの普及で何が変わるのか」などの疑問を抱いた方もいるのではないでしょうか。そこで本記事では、国内最大7万人超のAI・データ人材プラットフォームを運営する株式会社SIGNATEが2023年3月7日に開催し、代表取締役社長CEOの齊藤 秀氏が登壇したウェビナー「ChatGPTのビジネスにおける活用法と限界」の内容をもとに、ChatGPTの最前線をレポートします。
中国EV市場を席巻する、三大新興メーカーを徹底分析。脅威の中国EVメーカー最新事情・後編【中国デジタル企業最前線】

中国EV市場を席巻する、三大新興メーカーを徹底分析。脅威の中国EVメーカー最新事情・後編【中国デジタル企業最前線】

中国企業の最新動向から、DXのヒントを探っていく本連載。今回は、ガソリン車に代わるモビリティとして期待が高まるEV（Electric Vehicle＝電気自動車）と、その核とも言える自動運転技術で世界をリードする中国の強さに迫ります。前編では「EV先進国」の名を欲しいままにしているその理由を、国の政策や技術の面から探ってきました。後編となる今回は、自動車産業に参入してきた新興メーカー3社を紹介するとともに、日本の立ち位置の考察、中国が抱える課題を話題に進めていきます。
「8割以上の精度で、赤ちゃんが泣く理由が判明」CES2021イノベーションアワード受賞。注目の日本発ベビーテック企業とは

「8割以上の精度で、赤ちゃんが泣く理由が判明」CES2021イノベーションアワード受賞。注目の日本発ベビーテック企業とは

テクノロジーの力で子育てを変えていく。そんなミッションを掲げ、泣き声診断アプリや赤ちゃん向けスマートベッドライトなど、画期的なプロダクトを世に送り出してきたファーストアセント社。「CES2021 Innovation Awards」を受賞するなど、世界的に注目を集めるベビーテック企業である同社の強さの秘密とは。服部 伴之代表にお話を伺いました。
メタバース覇権を握る、最有力候補！？ フォートナイトを運営する「Epic Games」 〜海外ユニコーンウォッチ #6〜

メタバース覇権を握る、最有力候補！？ フォートナイトを運営する「Epic Games」 〜海外ユニコーンウォッチ #6〜

「ユニコーン企業」――企業価値の評価額が10億ドル以上で設立10年以内の非上場企業を、伝説の一角獣になぞらえてそう呼ぶ。該当する企業は、ユニコーンほどに珍しいという意味だ。かつてはFacebookやTwitterも、そう称されていた。この連載では、そんな海外のユニコーン企業の動向をお届けする。今回は人気オンラインゲーム「フォートナイト」を運営する「Epic Games（エピック ゲームズ）」を紹介する。
【AI×音楽】AI作曲が可能となっても、作曲家の仕事は残る。「FIMMIGRM」が変える音楽の未来＜後編＞

【AI×音楽】AI作曲が可能となっても、作曲家の仕事は残る。「FIMMIGRM」が変える音楽の未来＜後編＞

AIによりヒットソングの特徴をふまえたオリジナル楽曲を作成するサービス「FIMMIGRM（フィミグラム）」。AIによる作曲サービスが盛り上がりを見せつつある昨今、音楽プロデューサーとしてYUKIや中島美嘉、Aimerなどのアーティストを手がけてきた玉井健二氏が開発に携わっていることで、大きな話題を呼んでいます。 FIMMIGRMの利用方法は、大量に自動生成された曲から好みの曲をジャンルごとに選択するGENRES（ジャンル）、ワンクリックでAIが曲を生成する ONE-CLICK GENERATE（トラック生成）、ユーザーの自作曲をもとにAIが曲を生成するGENERATE（トラック生成）、AIが生成した曲にプロの編曲家が手を加えるPRO-ARRANGED（プロアレンジ）の4パターン。AIにより専門知識不要で誰もが作曲できるようになる未来が間近に迫った今、音楽業界はどのように変化するのか？ 株式会社TMIKと音楽クリエイター集団agehaspringsの代表を務める玉井健二氏にお話を伺いました。
世界のMaaS先進事例7選。鉄道・バス・タクシーなど交通手段を統合したサブスクモデルも！

世界のMaaS先進事例7選。鉄道・バス・タクシーなど交通手段を統合したサブスクモデルも！

国内でMaaS（Mobility as a Service）実証が活発化している。新たな交通社会を見据え、既存の交通サービスの在り方を見直す変革の時期を迎えているのだ。 交通社会は今後どのように変わっていくのか。MaaSの基礎知識について解説した上で、海外のMaaSに関する事例を参照し、その変化の方向性を探っていこう。
メンタルヘルス後進国、日本。DXはメンタルヘルスに貢献できるのか

メンタルヘルス後進国、日本。DXはメンタルヘルスに貢献できるのか

欧米に比べ大きく遅れているといわれる日本のメンタルヘルスを取り巻く環境。事実、欧米ではカウンセリングを受診した経験のある人は52％にも上りますが、日本では6％という低水準。先進国のなかで突出した自殺者数についても、厚生労働省は深刻な状況と受け止めています。 そんななか、β版での運用を終え、2022年7月5日に正式ローンチされた「mentally（メンタリー）」は、日本では敷居の高いメンタルヘルスに関する相談が気軽に行えるアプリ。株式会社Mentally 代表取締役CEOを務める西村 創一朗氏は、自身も過去に双極性障害（※）を乗り越えた経験を持っています。メンタルヘルス市場はDXによりどう変化していくのか。インタビューを通して、日本のメンタルヘルス市場の未来を紐解きます。 ※ 双極性障害：活動的な躁（そう）状態と、無気力なうつ状態を繰り返す障害。
【海外レポートから読み解く】2025年、AIはここまで進化する

【海外レポートから読み解く】2025年、AIはここまで進化する

2022年7月に画像生成AI「Midjourney」がリリースされ、その後「Stable Diffusion」などのさまざまな画像生成AIが数多く登場するなど、大きな話題を呼びました。この数ヵ月の間、世界の人々のAIに対する捉え方は大きく変わったのではないでしょうか。 今後AIはどのような進化を遂げていくのか。今回は、国内外のAI事情に詳しい株式会社デジタルレシピ 代表取締役の伊藤 新之介氏に、海外のレポートから読み解くAIの進化について解説していただきました。
クリエイター支援プラットフォーム「Patreon（パトレオン）」〜海外ユニコーンウォッチ #9〜

クリエイター支援プラットフォーム「Patreon（パトレオン）」〜海外ユニコーンウォッチ #9〜

「ユニコーン企業」ーー企業価値の評価額が10億ドル以上で設立10年以内の非上場企業を、伝説の一角獣になぞらえてそう呼ぶ。該当する企業は、ユニコーンほどに珍しいという意味だ。かつてはFacebookやTwitterも、そう称されていた。この連載では、そんな海外のユニコーン企業の動向をお届けする。今回はクリエイターを支援するプラットフォームサービスを提供する「Patreon（パトレオン）」を紹介する。
「8割以上の精度で、赤ちゃんが泣く理由が判明」CES2021イノベーションアワード受賞。注目の日本発ベビーテック企業とは

「8割以上の精度で、赤ちゃんが泣く理由が判明」CES2021イノベーションアワード受賞。注目の日本発ベビーテック企業とは

テクノロジーの力で子育てを変えていく。そんなミッションを掲げ、泣き声診断アプリや赤ちゃん向けスマートベッドライトなど、画期的なプロダクトを世に送り出してきたファーストアセント社。「CES2021 Innovation Awards」を受賞するなど、世界的に注目を集めるベビーテック企業である同社の強さの秘密とは。服部 伴之代表にお話を伺いました。
AIの思考を人間が助ける。AI領域で人気の職種「プロンプトエンジニア」とは何か

AIの思考を人間が助ける。AI領域で人気の職種「プロンプトエンジニア」とは何か

プロンプトエンジニアという言葉をご存知でしょうか。英語圏では2021年頃から盛り上がりを見せている職種の一つで、中国でも2022年の夏頃からプロンプトエンジニアの講座が人気を呼んでいます。今回は、プロンプトエンジニアとは何か、どうトレーニングすればよいのかについて、日本国内でプロンプトエンジニアの採用と教育を実施している株式会社デジタルレシピ 代表取締役の伊藤 新之介氏に解説していただきました。
世界のMaaS先進事例7選。鉄道・バス・タクシーなど交通手段を統合したサブスクモデルも！

世界のMaaS先進事例7選。鉄道・バス・タクシーなど交通手段を統合したサブスクモデルも！

国内でMaaS（Mobility as a Service）実証が活発化している。新たな交通社会を見据え、既存の交通サービスの在り方を見直す変革の時期を迎えているのだ。 交通社会は今後どのように変わっていくのか。MaaSの基礎知識について解説した上で、海外のMaaSに関する事例を参照し、その変化の方向性を探っていこう。
中国EV市場を席巻する、三大新興メーカーを徹底分析。脅威の中国EVメーカー最新事情・後編【中国デジタル企業最前線】

中国EV市場を席巻する、三大新興メーカーを徹底分析。脅威の中国EVメーカー最新事情・後編【中国デジタル企業最前線】

中国企業の最新動向から、DXのヒントを探っていく本連載。今回は、ガソリン車に代わるモビリティとして期待が高まるEV（Electric Vehicle＝電気自動車）と、その核とも言える自動運転技術で世界をリードする中国の強さに迫ります。前編では「EV先進国」の名を欲しいままにしているその理由を、国の政策や技術の面から探ってきました。後編となる今回は、自動車産業に参入してきた新興メーカー3社を紹介するとともに、日本の立ち位置の考察、中国が抱える課題を話題に進めていきます。
Googleやビル・ゲイツも出資する“代替肉”スタートアップ「インポッシブル・フーズ」〜海外ユニコーンウォッチ#2〜

Googleやビル・ゲイツも出資する“代替肉”スタートアップ「インポッシブル・フーズ」〜海外ユニコーンウォッチ#2〜

「ユニコーン企業」ーー企業価値の評価額が10億ドル以上で設立10年以内の非上場企業を、伝説の一角獣になぞらえてそう呼ぶ。該当する企業は、ユニコーンほどに珍しいという意味だ。かつてのfacebookやTwitter、現在ではUberがその代表と言われている。この連載では、そんな海外のユニコーン企業の動向をお届けする。今回は欧米を中心に注目されている「代替肉」を扱う「インポッシブル・フーズ」を紹介する。
コロナ禍でラジオが復権！？ 民放ラジオ業界70年の歴史を塗り替えたradiko（ラジコ）の「共存共栄型 DX」とは

コロナ禍でラジオが復権！？ 民放ラジオ業界70年の歴史を塗り替えたradiko（ラジコ）の「共存共栄型 DX」とは

Clubhouseをはじめ、新勢力が次々と参入し、拡大を見せる音声コンテンツ市場。その中で、民放開始から70年の歴史に「大変革」を巻き起こしているのが“ラジオ”です。放送エリアの壁を取り払う、リアルタイムでなくても番組を聴けるようにするといった機能で、ラジオをデジタル時代に即したサービスに生まれ変わらせたのは、PCやスマートフォンなどで番組を配信する『radiko（ラジコ）』。今回は、株式会社radiko 代表取締役社長の青木 貴博氏に、現在までのデジタルシフトの歩みと将来の展望について、お話を伺いました。