Today's PICK UP

AIによる日本語の自然言語処理研究の促進を目指し、日本語に特化した大規模言語モデルがオープンソースとして公開

rinna株式会社は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開したと発表した。

■背景

rinna社は、MicrosoftのAI&リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開発企業。ディープラーニング技術を活用し、AIが文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表してきた。これらの最新技術は、同社が運営するAIチャットボット「りんな」や、会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボットである「AIキャラクター」の開発に応用され、企業のマーケティングなどに使われている。

今回、製品開発のための自然言語処理(NLP)の実験過程で、日本語に特化したGPT-2の大規模言語モデルを構築。日本語のNLP研究コミュニティに貢献するために、開発した言語モデルと、研究者が自分のマシンで実験結果を再現するためのトレーニングコードを、GitHub、およびNLPモデルライブラリHuggingFaceで、オープンソースとして公開する。

■日本語GPT-2モデルの機能

言語モデルは、言語データの機械学習をもとに、会話や文章の「人間が使う言葉らしさ」を確率としてモデル化したもの。優れた言語モデルとは確率を正確に推定できるものを指す。例えば、“確率(吾輩は猫である)>確率(吾輩が猫である)”と推定できるのが、言語モデルの能力だ。GPT-2は、単語レベルの確率の組み合わせから文の確率を計算する言語モデル(自己回帰言語モデル)。例えば、“確率(吾輩は猫である)= 確率(吾輩) x 確率(は|吾輩) x 確率(猫|吾輩,は) x 確率(で|吾輩,は,猫) x 確率(ある|吾輩,は,猫,で)”のような方法で推定を行う。この能力を使って、GPT-2は「吾輩は猫で」という接頭辞(Prefix)を与えられたとき、確率の推定から次にくる単語として「ある」を選択し、文章を自動生成できるという。

今回、rinna社が公開した日本語GPT-2モデルは、一般的な日本語テキストの特徴を有した高度な日本語文章を自動生成できる。ユーザー/研究者は、特定のテキストデータを微調整して、このモデルから独自のモデルを作成することも可能だ。

例えば、Prefixとして「誰も到達していない人工知能の高みへ、ともに」という文章が与えられたとき、特定のコンテキスト(デモ1:講演の感想、デモ2:書籍の紹介)で応答文を生成するように、微調整できる。

【デモ1】講演の感想のコンテキストで文章生成
出典元:プレスリリース
【デモ2】書籍の紹介のコンテキストで文章生成
出典元:プレスリリース

■rinna社の日本語GPT-2モデルの特徴

同社の日本語GPT-2モデルは、以下の特徴がある。

・トレーニングデータとして、CC-100のオープンソースデータを使用している。
・Tesla V100 GPUを用いて、70ギガバイトの日本語テキストを約1カ月の長期間にわたってトレーニング。その結果、このモデルの性能は約18 perplexityを達成した。モデルは十分にトレーニングされており、汎用性があると言えるという。
・ユーザー/研究者が簡単にアクセスできるように、開発したモデルをHuggingFaceに公開。また、研究者が自分のマシンで同社の結果を再現できるように、トレーニングコードをGitHubに公開している。
・今回公開したのは、GPT2-mediumと定義される中規模サイズのモデル。今後、パフォーマンスとコストのトレードオフに基づいてユーザー/研究者が最善の選択をできるよう、異なるサイズのモデルも公開する予定だという。また、異なるデータでトレーニングした新しいモデルの公開も計画しているとのことだ。

人気記事

Facebookも注目の「メタバース」とは何か? スマホ向けメタバース「REALITY」のDJ RIO氏に聞く

Facebookも注目の「メタバース」とは何か? スマホ向けメタバース「REALITY」のDJ RIO氏に聞く

Facebookが社名を変更し、中核事業に据えるほど力を入れる「メタバース」。2021年8月にはグリー株式会社が、今後2~3年で100億円規模の事業投資を行い、グローバルで数億ユーザーを目指すと発表しましたが、その中核を担うのが、グリー株式会社の子会社であり、これまでバーチャルライブ配信アプリを手がけてきたREALITY株式会社です。今回は、そんな同社の代表を務めるDJ RIO氏にインタビュー。そもそもメタバースとは何なのか。なぜこんなにも注目が集まっているのか。メタバースは、世界のあり方をどのように変えるのか。メタバース初心者のビジネスパーソンには必読のインタビューです。

【注目テーマ5選】今さら聞けない「メタバース」「NFT」「カーボンニュートラル」最新事情

【注目テーマ5選】今さら聞けない「メタバース」「NFT」「カーボンニュートラル」最新事情

「その変革に勇気と希望を」というコンセプトを掲げ、さまざまな企業のデジタルシフトに関する取り組みやサービスの背景をお届けするデジタルシフトタイムズ。その数ある記事の中から、編集部独自の観点で「まず読んでほしい!」記事を厳選する特集企画。今回は、デジタルシフトに纏わる注目テーマ別に、新たなビジネスを最前線で仕掛けている「スタートアップ」に関する記事を五つご紹介します。メタバースやNFT(非代替性トークン)、空飛ぶクルマ、カーボンニュートラル、キャッシュレスといった分野の実態はどうなっているのか? そして、どんな視点で市場を捉え、新しいビジネスが展開されているのか? スタートアップが見据える未来をお届けします。

世界のMaaS先進事例7選。鉄道・バス・タクシーなど交通手段を統合したサブスクモデルも!

世界のMaaS先進事例7選。鉄道・バス・タクシーなど交通手段を統合したサブスクモデルも!

国内でMaaS(Mobility as a Service)実証が活発化している。新たな交通社会を見据え、既存の交通サービスの在り方を見直す変革の時期を迎えているのだ。 交通社会は今後どのように変わっていくのか。MaaSの基礎知識について解説した上で、海外のMaaSに関する事例を参照し、その変化の方向性を探っていこう。

「8割以上の精度で、赤ちゃんが泣く理由が判明」CES2021イノベーションアワード受賞。注目の日本発ベビーテック企業とは

「8割以上の精度で、赤ちゃんが泣く理由が判明」CES2021イノベーションアワード受賞。注目の日本発ベビーテック企業とは

テクノロジーの力で子育てを変えていく。そんなミッションを掲げ、泣き声診断アプリや赤ちゃん向けスマートベッドライトなど、画期的なプロダクトを世に送り出してきたファーストアセント社。「CES2021 Innovation Awards」を受賞するなど、世界的に注目を集めるベビーテック企業である同社の強さの秘密とは。服部 伴之代表にお話を伺いました。

Googleやビル・ゲイツも出資する“代替肉”スタートアップ「インポッシブル・フーズ」〜海外ユニコーンウォッチ#2〜

Googleやビル・ゲイツも出資する“代替肉”スタートアップ「インポッシブル・フーズ」〜海外ユニコーンウォッチ#2〜

「ユニコーン企業」ーー企業価値の評価額が10億ドル以上で設立10年以内の非上場企業を、伝説の一角獣になぞらえてそう呼ぶ。該当する企業は、ユニコーンほどに珍しいという意味だ。かつてのfacebookやTwitter、現在ではUberがその代表と言われている。この連載では、そんな海外のユニコーン企業の動向をお届けする。今回は欧米を中心に注目されている「代替肉」を扱う「インポッシブル・フーズ」を紹介する。

日本初フリマアプリ創業者、フィンテックで第二の挑戦。「家計簿プリカ B/43」とは ?

日本初フリマアプリ創業者、フィンテックで第二の挑戦。「家計簿プリカ B/43」とは ?

元祖フリマアプリ「フリル(現ラクマ)」の創業者として知られる堀井 翔太氏が、二度目の起業に挑戦している。次なる舞台はフィンテック。プリペイドカードとアプリを組み合わせた支出管理サービス「B/43(ビーヨンサン)」は早くも若者を中心に人気を集め、2021年7月にはグローバル・ブレインやANRIなどから10億円の資金調達(2020年)にも成功したことを公表しています。フリマアプリをヒットさせた堀井氏が、なぜフィンテックで二度目の起業に挑んだのか。B/43で解決を目指すイシューとは。ユーザーに選ばれるプロダクトを生み出すための秘訣とは。新規事業開発者必見のインタビューです。

大手ゲーム会社も注目!今後のNFT市場をゲームが牽引する理由。

大手ゲーム会社も注目!今後のNFT市場をゲームが牽引する理由。

今年に入り、突如として注目度の高まった「NFT(非代替性トークン)」というキーワード。アート業界のバズワードとして認識している人も多いかもしれません。ところが実は、NFTはゲーム業界の未来、IP(知財)コンテンツの未来を考える上でも欠かせないキーワードであることをご存知でしょうか。そこで今回お話を伺ったのが、世界No.1を記録したNFTを活用しているブロックチェーンゲーム『My Crypto Heroes』(現在の運営はMCH社)を開発したdouble jump.tokyo株式会社の代表取締役 上野 広伸氏です。この新たなテクノロジーは、ゲームの世界にどのような変化をもたらすのでしょうか。そのポテンシャルに迫ります。

ナイキ、ディズニー、グッチも注目。大人気のゲーム版YouTube「Roblox」とは?

ナイキ、ディズニー、グッチも注目。大人気のゲーム版YouTube「Roblox」とは?

2021年3月10日に時価総額、約4兆円でニューヨーク証券取引所に上場したゲームプラットフォーム「Roblox(ロブロックス)」を知っているだろうか。月間ユーザーは1.6億人を超え、世界で大流行中のゲームプラットフォームだ。特に子どもたちに絶大な人気を誇り、アメリカでは16歳未満の子どもの約半数がプレイしていると言われている。 Robloxとは、なぜそれほどまでの人気を誇り、なにが魅力なのか。 Robloxの人気の秘密と、企業が今Robloxに注目すべき理由について、EntertainmentxFinancialをコンセプトに、投資を通じたエンタテインメント事業開発を支援する、EnFi株式会社の代表取締役 垣屋美智子氏にご説明いただいた。

マイクロソフトからの買収固辞、新規株式公開も!? コミュニケーションツール「Discord」とは何か 〜海外ユニコーンウォッチ #5〜

マイクロソフトからの買収固辞、新規株式公開も!? コミュニケーションツール「Discord」とは何か 〜海外ユニコーンウォッチ #5〜

「ユニコーン企業」ーー企業価値の評価額が10億ドル以上で設立10年以内の非上場企業を、伝説の一角獣になぞらえてそう呼ぶ。該当する企業は、ユニコーンほどに珍しいという意味だ。かつてはFacebookやTwitterも、そう称されていた。この連載では、そんな海外のユニコーン企業の動向をお届けする。今回はコミュニケーションツール「Discord(ディスコード)」を紹介する。

コロナ禍でラジオが復権!? 民放ラジオ業界70年の歴史を塗り替えたradiko(ラジコ)の「共存共栄型 DX」とは

コロナ禍でラジオが復権!? 民放ラジオ業界70年の歴史を塗り替えたradiko(ラジコ)の「共存共栄型 DX」とは

Clubhouseをはじめ、新勢力が次々と参入し、拡大を見せる音声コンテンツ市場。その中で、民放開始から70年の歴史に「大変革」を巻き起こしているのが“ラジオ”です。放送エリアの壁を取り払う、リアルタイムでなくても番組を聴けるようにするといった機能で、ラジオをデジタル時代に即したサービスに生まれ変わらせたのは、PCやスマートフォンなどで番組を配信する『radiko(ラジコ)』。今回は、株式会社radiko 代表取締役社長の青木 貴博氏に、現在までのデジタルシフトの歩みと将来の展望について、お話を伺いました。

Googleやビル・ゲイツも出資する“代替肉”スタートアップ「インポッシブル・フーズ」〜海外ユニコーンウォッチ#2〜

Googleやビル・ゲイツも出資する“代替肉”スタートアップ「インポッシブル・フーズ」〜海外ユニコーンウォッチ#2〜

「ユニコーン企業」ーー企業価値の評価額が10億ドル以上で設立10年以内の非上場企業を、伝説の一角獣になぞらえてそう呼ぶ。該当する企業は、ユニコーンほどに珍しいという意味だ。かつてのfacebookやTwitter、現在ではUberがその代表と言われている。この連載では、そんな海外のユニコーン企業の動向をお届けする。今回は欧米を中心に注目されている「代替肉」を扱う「インポッシブル・フーズ」を紹介する。

「8割以上の精度で、赤ちゃんが泣く理由が判明」CES2021イノベーションアワード受賞。注目の日本発ベビーテック企業とは

「8割以上の精度で、赤ちゃんが泣く理由が判明」CES2021イノベーションアワード受賞。注目の日本発ベビーテック企業とは

テクノロジーの力で子育てを変えていく。そんなミッションを掲げ、泣き声診断アプリや赤ちゃん向けスマートベッドライトなど、画期的なプロダクトを世に送り出してきたファーストアセント社。「CES2021 Innovation Awards」を受賞するなど、世界的に注目を集めるベビーテック企業である同社の強さの秘密とは。服部 伴之代表にお話を伺いました。

世界のMaaS先進事例7選。鉄道・バス・タクシーなど交通手段を統合したサブスクモデルも!

世界のMaaS先進事例7選。鉄道・バス・タクシーなど交通手段を統合したサブスクモデルも!

国内でMaaS(Mobility as a Service)実証が活発化している。新たな交通社会を見据え、既存の交通サービスの在り方を見直す変革の時期を迎えているのだ。 交通社会は今後どのように変わっていくのか。MaaSの基礎知識について解説した上で、海外のMaaSに関する事例を参照し、その変化の方向性を探っていこう。