SHOWROOM、悪質コメントを検知し投稿前にブロックするAI機能を開発

これまでは視聴者から悪質なコメントが投稿されると、別の視聴者やライバー自身が通報し、SHOWROOM監視チームがコメント確認後にブロック作業を行っていた。そのため、コメントに問題があった場合も監視チームの確認が完了するまでの間は表示された状態だった。しかし、コンテンツモデレーションAI機能を導入することで、誹謗中傷を中心とする悪質なコメントが視聴者によって書き込まれた際、AIがスクリーニング。問題がある場合には、投稿される前に自動でブロックすることができる。そのため、不快なコメントを、ライバーはもちろん、別の視聴者が目にする機会を大幅に軽減することが可能になるという。

今回のタイミングでは、その前段階として、AIがユーザーのかわりに通報を行う機能を実装。悪質なコメントをこれまで以上に早く確認し、投稿削除するまでのスピードを一層あげることが可能となるとのことだ。今後は、精度を上げながら、自動的にユーザーの悪質投稿を表示させない機能をリリースしていくという。

匿名での投稿をメインとするSNSで見受けられる誹謗中傷。社会問題になると共に、これをもとにした犯罪が近年急増している。SHOWROOMとしても、悪意のあるコメントにこれまで確固たる対応をとってきたが、監視チームの24時間体制のパトロール、ならびに視聴者から寄せられる通報をもってしても、悪意のあるコメントの投稿を事前に防ぐことは難しく、一時的にライバーや視聴者の目に触れてしまっていたという。互いの交流を楽しみにしているライバーと視聴者の時間を無駄にしたくない、楽しい体験の最中に不快な感情を与えたくない、そんな想いから誕生したのが本サービスだという。AIスクリーニングを駆使することにより、ライバーや視聴者の目に触れる前に投稿を削除。誹謗中傷によるダメージを限りなくゼロに近づけていく予定とのことだ。

ディープラーニングをコンテンツモデレーション機能に応用。従来のキーワード等の検出ではなく、文脈を含めてコメントをニューラルネットワーク上で抽象化し、即時にそのコメントの悪質性を判断。投稿前に自動削除することを可能としたという。膨大なコメントのデータを活用することで、高い確率で悪質コメントを検知することに成功したとのことだ。