Scrumy(スクラミー)は25日、同社代表取締役の笹埜健斗氏が、生成AI技術を活用して、SNSをはじめとしたネット上の誹謗中傷発言を検知・非表示にする誹謗中傷対策システムの開発に成功し、特許を出願したことを発表した。
SNSやオンラインツールは、人々の日々のコミュニケーションに不可欠な役割を担っている。ただ、近年はこうしたオンライン空間を通じた誹謗中傷発言が深刻な問題になっている。このような環境の元、AI技術を駆使して、安全なオンライン空間の確保に貢献するべく、ChatGPT(GPT-4)を用いた誹謗中傷への対策システムを開発した。本システムは、オンラインでの誹謗中傷発言をリアルタイムで検出し、即座に対処することを目的としている。その結果、オンライン空間でのユーザー体験を向上させ、コミュニティ全体の健全性を保つことを目指しているという。
本システムの特徴
今回開発に成功した誹謗中傷対策システムは、以下の4つの特徴を持っている。
①高度な自然言語処理能力:ChatGPTの最新AIモデルを用いて、日本語の微妙なニュアンスまで理解し、誹謗中傷を高精度で検出。
②文脈に合わせたフィルタリング:日本語独自の表現や俗語にも対応し、適切なコンテキストでの分析が可能。
③リアルタイム対応:オンライン上の会話をリアルタイムで監視し、問題のある内容を即座に識別。
④進化するアルゴリズム:ユーザーのフィードバックを組み込んで自己学習し、誹謗中傷検出アルゴリズムは継続的に改善される。
本システムの期待効果
本システムの普及や改善を通じて、オンライン上での誹謗中傷の数が削減されることで、ユーザーにとっては精神的な安全が確保され、コミュニケーション活動が活性化し、生産的な対話が促進されることを期待している。また、企業や団体においても、本システムを導入することで、自社のブランド価値を守ると共に、コミュニティ活動が活発になることを期待している。
本システムの学術発表に関して
2023年11月25日、26日の両日、慶應義塾大学湘南藤沢キャンパス(SFC)にて開催される「SFC EXPO 万学博覧会」の慶應SFC学会 第22回学術交流大会にて、本システムの発表を行った。