Today's PICK UP

AIによる日本語の自然言語処理研究の促進を目指し、日本語に特化した大規模言語モデルがオープンソースとして公開

rinna株式会社は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開したと発表した。

■背景

rinna社は、MicrosoftのAI&リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開発企業。ディープラーニング技術を活用し、AIが文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表してきた。これらの最新技術は、同社が運営するAIチャットボット「りんな」や、会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボットである「AIキャラクター」の開発に応用され、企業のマーケティングなどに使われている。

今回、製品開発のための自然言語処理(NLP)の実験過程で、日本語に特化したGPT-2の大規模言語モデルを構築。日本語のNLP研究コミュニティに貢献するために、開発した言語モデルと、研究者が自分のマシンで実験結果を再現するためのトレーニングコードを、GitHub、およびNLPモデルライブラリHuggingFaceで、オープンソースとして公開する。

■日本語GPT-2モデルの機能

言語モデルは、言語データの機械学習をもとに、会話や文章の「人間が使う言葉らしさ」を確率としてモデル化したもの。優れた言語モデルとは確率を正確に推定できるものを指す。例えば、“確率(吾輩は猫である)>確率(吾輩が猫である)”と推定できるのが、言語モデルの能力だ。GPT-2は、単語レベルの確率の組み合わせから文の確率を計算する言語モデル(自己回帰言語モデル)。例えば、“確率(吾輩は猫である)= 確率(吾輩) x 確率(は|吾輩) x 確率(猫|吾輩,は) x 確率(で|吾輩,は,猫) x 確率(ある|吾輩,は,猫,で)”のような方法で推定を行う。この能力を使って、GPT-2は「吾輩は猫で」という接頭辞(Prefix)を与えられたとき、確率の推定から次にくる単語として「ある」を選択し、文章を自動生成できるという。

今回、rinna社が公開した日本語GPT-2モデルは、一般的な日本語テキストの特徴を有した高度な日本語文章を自動生成できる。ユーザー/研究者は、特定のテキストデータを微調整して、このモデルから独自のモデルを作成することも可能だ。

例えば、Prefixとして「誰も到達していない人工知能の高みへ、ともに」という文章が与えられたとき、特定のコンテキスト(デモ1:講演の感想、デモ2:書籍の紹介)で応答文を生成するように、微調整できる。

【デモ1】講演の感想のコンテキストで文章生成
出典元:プレスリリース
【デモ2】書籍の紹介のコンテキストで文章生成
出典元:プレスリリース

■rinna社の日本語GPT-2モデルの特徴

同社の日本語GPT-2モデルは、以下の特徴がある。

・トレーニングデータとして、CC-100のオープンソースデータを使用している。
・Tesla V100 GPUを用いて、70ギガバイトの日本語テキストを約1カ月の長期間にわたってトレーニング。その結果、このモデルの性能は約18 perplexityを達成した。モデルは十分にトレーニングされており、汎用性があると言えるという。
・ユーザー/研究者が簡単にアクセスできるように、開発したモデルをHuggingFaceに公開。また、研究者が自分のマシンで同社の結果を再現できるように、トレーニングコードをGitHubに公開している。
・今回公開したのは、GPT2-mediumと定義される中規模サイズのモデル。今後、パフォーマンスとコストのトレードオフに基づいてユーザー/研究者が最善の選択をできるよう、異なるサイズのモデルも公開する予定だという。また、異なるデータでトレーニングした新しいモデルの公開も計画しているとのことだ。

人気記事

新社長はベイシアをどう「尖らせる」のか。ベイシア社長 相木孝仁氏に立教大学ビジネススクール田中道昭教授が迫る【前編】

新社長はベイシアをどう「尖らせる」のか。ベイシア社長 相木孝仁氏に立教大学ビジネススクール田中道昭教授が迫る【前編】

ホームセンターのカインズにワークマン、東急ハンズなどをグループ会社に持つベイシアグループ。その中核をなすのが東日本をメインに展開する食品スーパー大手のベイシアです。広大なワンフロアの店舗で地域住民のニーズに応える圧倒的品揃えと価格を実現し、その動向は常に業界内での注目を集めています。今回の対談では、立教大学ビジネススクールの田中道昭教授と、今年7月にベイシアの新社長に就任された相木孝仁氏の二人が、新体制となったベイシアの独自戦略について意見を交わします。 前編は相木社長の経歴と社長就任までの経緯、ベイシアグループが標榜する「ハリネズミ経営」、高品質なプライベートブランド(PB)の開発および販売戦略、今後の出店戦略などについてお話をうかがいます。

【徹底解説】「X to Earn」とは何か。誰もがゲームや遊びで稼げる時代は来る!? DEA創業者に聞く<前編>

【徹底解説】「X to Earn」とは何か。誰もがゲームや遊びで稼げる時代は来る!? DEA創業者に聞く<前編>

YouTubeに代表される動画投稿サイトなど、個人が発信することのできるツールの出現により、好きなことをして稼ぐための選択肢は増えています。そして現在、ゲームや徒歩、勉強さらには睡眠をするだけで稼ぐことのできる「X to Earn」というムーブメントが生まれつつあります。「ゲームで遊んで稼ぐ」なんてことが本当に可能なのか? 多くの人が抱える疑問について今回お答えいただくのは、Digital Entertainment Asset Pte.Ltd.(以下、DEA)のFounder & Co-CEOの山田 耕三氏。インタビュー前編では「X to Earn」の仕組みと種類、今後の可能性など、未だ発展途上の新しい経済圏について根ほり葉ほりお話を伺いました。

変革を求められる小売業界。「スーパーを超えていく」ベイシアの小売DX戦略とは。ベイシア新社長 相木孝仁氏×立教大学ビジネススクール田中道昭教授【後編】

変革を求められる小売業界。「スーパーを超えていく」ベイシアの小売DX戦略とは。ベイシア新社長 相木孝仁氏×立教大学ビジネススクール田中道昭教授【後編】

ホームセンターのカインズにワークマン、東急ハンズなどをグループ会社に持つベイシアグループ。その中核をなすのが東日本をメインに展開する食品スーパー大手のベイシアです。広大なワンフロアの店舗で地域住民のニーズに応える圧倒的品揃えと価格を実現し、その動向は常に業界内での注目を集めています。今回の対談では、立教大学ビジネススクールの田中道昭教授と、今年7月にベイシアの新社長に就任された相木孝仁氏の二人が、新体制となったベイシアの独自戦略について意見を交わします。 後編は相木社長が抱く野望と「メガSPA & DX小売」の概要、ベイシアが従業員に求めるオーナーシップのあり方、そして小売DXの中核を占めるネットスーパーとeコマース戦略についてお話をうかがいます。

「8割以上の精度で、赤ちゃんが泣く理由が判明」CES2021イノベーションアワード受賞。注目の日本発ベビーテック企業とは

「8割以上の精度で、赤ちゃんが泣く理由が判明」CES2021イノベーションアワード受賞。注目の日本発ベビーテック企業とは

テクノロジーの力で子育てを変えていく。そんなミッションを掲げ、泣き声診断アプリや赤ちゃん向けスマートベッドライトなど、画期的なプロダクトを世に送り出してきたファーストアセント社。「CES2021 Innovation Awards」を受賞するなど、世界的に注目を集めるベビーテック企業である同社の強さの秘密とは。服部 伴之代表にお話を伺いました。

中国EV市場を席巻する、三大新興メーカーを徹底分析。脅威の中国EVメーカー最新事情・後編【中国デジタル企業最前線】

中国EV市場を席巻する、三大新興メーカーを徹底分析。脅威の中国EVメーカー最新事情・後編【中国デジタル企業最前線】

中国企業の最新動向から、DXのヒントを探っていく本連載。今回は、ガソリン車に代わるモビリティとして期待が高まるEV(Electric Vehicle=電気自動車)と、その核とも言える自動運転技術で世界をリードする中国の強さに迫ります。前編では「EV先進国」の名を欲しいままにしているその理由を、国の政策や技術の面から探ってきました。後編となる今回は、自動車産業に参入してきた新興メーカー3社を紹介するとともに、日本の立ち位置の考察、中国が抱える課題を話題に進めていきます。

日本5社目のユニコーンと報じられた「Opn」。世界を舞台に急成長を遂げるフィンテック企業の展望とは

日本5社目のユニコーンと報じられた「Opn」。世界を舞台に急成長を遂げるフィンテック企業の展望とは

伝説の幻獣である「ユニコーン」になぞらえて、企業価値評価額の高いスタートアップを評する言葉、「ユニコーン企業」。アメリカや中国でその数が増え続けている一方で、日本では未だ、少ない状況にあります。そんななか、2022年5月にシリーズC+ラウンドで1億2,000万ドルを調達し、日本5社目のユニコーンと報じられた企業があります。それが創業からグローバルを視野に事業を営み、東京やバンコクなどアジア6カ国を拠点とするフィンテック企業、Opn株式会社です。 さらに資金調達と同時に、ビジョンと戦略を刷新。無駄を削ぎ落し、鋭さの増した同社の成功を支える組織とプロダクトの強み、次に目指す世界について、創業者であり、代表取締役CEOを務める長谷川 潤氏にお話を伺いました。

世界のMaaS先進事例7選。鉄道・バス・タクシーなど交通手段を統合したサブスクモデルも!

世界のMaaS先進事例7選。鉄道・バス・タクシーなど交通手段を統合したサブスクモデルも!

国内でMaaS(Mobility as a Service)実証が活発化している。新たな交通社会を見据え、既存の交通サービスの在り方を見直す変革の時期を迎えているのだ。 交通社会は今後どのように変わっていくのか。MaaSの基礎知識について解説した上で、海外のMaaSに関する事例を参照し、その変化の方向性を探っていこう。

【記憶力は才能でも努力でもない】AIで記憶の定着を助けるアプリ「Monoxer」で日本の教育が変わる

【記憶力は才能でも努力でもない】AIで記憶の定着を助けるアプリ「Monoxer」で日本の教育が変わる

問題を解くことで記憶の定着化を図るアプリ「Monoxer(モノグサ)」。これまで必死に書いたり読んだりすることで闇雲に覚えていた学習を、よりスマートに記憶化させるということで、小中学校から高校、大学、専門学校、さらには塾、社会人教育など幅広い場に導入されています。AIがその人のレベルに合った問題とヒントを出してくれて、定着した後も定期的な反復練習で忘れることを防いでくれます。Monoxerを導入することで学習のスタイルはどう変わるのか? モノグサ株式会社の代表取締役 CEOを務める竹内 孝太朗氏に、記憶と学習の関係についてさまざまな視点からお話を伺いました。

NFTゲームが富の再配分に寄与する事例も。DEA創業者に聞く、「X to Earn」の可能性<後編>

NFTゲームが富の再配分に寄与する事例も。DEA創業者に聞く、「X to Earn」の可能性<後編>

YouTubeに代表される動画投稿サイトなど、個人が発信することのできるツールの出現により、好きなことをして稼ぐための選択肢は増えています。そして現在、ゲームや徒歩、勉強さらには睡眠をするだけで稼ぐことのできる「X to Earn」というムーブメントが生まれつつあります。「ゲームで遊んで稼ぐ」なんてことが本当に可能なのか? 多くの人が抱える疑問について今回お答えいただくのは、Digital Entertainment Asset Pte.Ltd.(以下、DEA)のFounder & Co-CEOの山田 耕三氏。インタビュー後編では、ゲームと金融の融合で生まれたGameFiの歴史、そのGameFiが実際に解決したフィリピンの貧困問題、Web3時代のゲームと社会の関係などについてお話を伺いました。

マンガアプリ世界NO.1。急成長市場の覇権を握る「ピッコマ」の戦略

マンガアプリ世界NO.1。急成長市場の覇権を握る「ピッコマ」の戦略

8万以上タイトルの人気マンガやノベルを取り扱い、累計ダウンロード数は3,000万を超える電子マンガ・ノベルサービスの「ピッコマ」。サービス開始は2016年4月という後発ながら、23時間待てば一話を無料で読める「待てば¥0」サービスを他社に先駆けて導入するなど、新しい試みを積極的に取り入れ業界トップに君臨しています。短期間でピッコマが躍進を遂げた理由から、従来のマンガに代わる新しい表現形式である「SMARTOON」の魅力、今後のグローバル展開について、株式会社カカオピッコマ常務執行役員の熊澤 森郎氏にお話を伺いました。

「8割以上の精度で、赤ちゃんが泣く理由が判明」CES2021イノベーションアワード受賞。注目の日本発ベビーテック企業とは

「8割以上の精度で、赤ちゃんが泣く理由が判明」CES2021イノベーションアワード受賞。注目の日本発ベビーテック企業とは

テクノロジーの力で子育てを変えていく。そんなミッションを掲げ、泣き声診断アプリや赤ちゃん向けスマートベッドライトなど、画期的なプロダクトを世に送り出してきたファーストアセント社。「CES2021 Innovation Awards」を受賞するなど、世界的に注目を集めるベビーテック企業である同社の強さの秘密とは。服部 伴之代表にお話を伺いました。

世界のMaaS先進事例7選。鉄道・バス・タクシーなど交通手段を統合したサブスクモデルも!

世界のMaaS先進事例7選。鉄道・バス・タクシーなど交通手段を統合したサブスクモデルも!

国内でMaaS(Mobility as a Service)実証が活発化している。新たな交通社会を見据え、既存の交通サービスの在り方を見直す変革の時期を迎えているのだ。 交通社会は今後どのように変わっていくのか。MaaSの基礎知識について解説した上で、海外のMaaSに関する事例を参照し、その変化の方向性を探っていこう。

Googleやビル・ゲイツも出資する“代替肉”スタートアップ「インポッシブル・フーズ」〜海外ユニコーンウォッチ#2〜

Googleやビル・ゲイツも出資する“代替肉”スタートアップ「インポッシブル・フーズ」〜海外ユニコーンウォッチ#2〜

「ユニコーン企業」ーー企業価値の評価額が10億ドル以上で設立10年以内の非上場企業を、伝説の一角獣になぞらえてそう呼ぶ。該当する企業は、ユニコーンほどに珍しいという意味だ。かつてのfacebookやTwitter、現在ではUberがその代表と言われている。この連載では、そんな海外のユニコーン企業の動向をお届けする。今回は欧米を中心に注目されている「代替肉」を扱う「インポッシブル・フーズ」を紹介する。

中国EV市場を席巻する、三大新興メーカーを徹底分析。脅威の中国EVメーカー最新事情・後編【中国デジタル企業最前線】

中国EV市場を席巻する、三大新興メーカーを徹底分析。脅威の中国EVメーカー最新事情・後編【中国デジタル企業最前線】

中国企業の最新動向から、DXのヒントを探っていく本連載。今回は、ガソリン車に代わるモビリティとして期待が高まるEV(Electric Vehicle=電気自動車)と、その核とも言える自動運転技術で世界をリードする中国の強さに迫ります。前編では「EV先進国」の名を欲しいままにしているその理由を、国の政策や技術の面から探ってきました。後編となる今回は、自動車産業に参入してきた新興メーカー3社を紹介するとともに、日本の立ち位置の考察、中国が抱える課題を話題に進めていきます。

Facebookも注目の「メタバース」とは何か? スマホ向けメタバース「REALITY」のDJ RIO氏に聞く

Facebookも注目の「メタバース」とは何か? スマホ向けメタバース「REALITY」のDJ RIO氏に聞く

Facebookが社名を変更し、中核事業に据えるほど力を入れる「メタバース」。2021年8月にはグリー株式会社が、今後2~3年で100億円規模の事業投資を行い、グローバルで数億ユーザーを目指すと発表しましたが、その中核を担うのが、グリー株式会社の子会社であり、これまでバーチャルライブ配信アプリを手がけてきたREALITY株式会社です。今回は、そんな同社の代表を務めるDJ RIO氏にインタビュー。そもそもメタバースとは何なのか。なぜこんなにも注目が集まっているのか。メタバースは、世界のあり方をどのように変えるのか。メタバース初心者のビジネスパーソンには必読のインタビューです。

デジタル戦略で生まれ変わるカインズ。ホームセンターからIT小売企業への変遷の軌跡【前編】

デジタル戦略で生まれ変わるカインズ。ホームセンターからIT小売企業への変遷の軌跡【前編】

生産労働人口の減少を受け、日本企業はいよいよ生き残りをかけたデジタル化に取り組まなければいけないと言われるフェーズに入ってきました。とはいえ、それができている企業とそうでない企業との差が激しくなっているのも現状です。 そんななか、ホームセンター大手カインズでは、40年かけて積み重ねてきたホームセンターとしてのあり方を見直し、IT小売企業として生まれ変わろうとしています。カインズでデジタル戦略本部長を務め、戦略の指揮をとる池照 直樹氏に、同社のデジタル戦略についてお話を伺いました。 前編は、カインズがどのようにしてデジタル化を実現させていったのか、具体的な取り組みを交えてお届けします。