アイベリーは7日、ChatGPTを使用したチャットボットの品質検証を、従来よりも効率的に行うことが可能なツール「GPT・BOTチェッカー」を提供開始した。

ChatGPTベースのチャットボットは、一つの質問に対して様々な回答を生成する。そのため、その品質を確認するためには大量の質問と回答を試行する必要があり、それが大きな課題となっていた。「GPT・BOTチェッカー」は、この問題を解決する。大量の質問と回答をChatGPTが自動で実行し、その結果を統計的に分析する。

この工程は、工業製品の不良品発生率を分析する方法と同じ考え方に基づいている。統計学的な手法、特に標準偏差を使用することで、チャットボットの回答改善方向性を明示し、その改善を迅速に進めることを目指している。

ChatGPTをベースにしたchatbotは様々な用途で活用されており、その品質チェックは手作業で行われることが一般的。しかし、ChatGPTの回答は揺らぎを含むため、同一の質問でも異なる回答が生成され、それら全てのバリエーションを想定しての改善は困難。

重要なことは、ChatGPTが「明らかに間違った回答」をしないようにすること。それを達成するには、「誤った回答」を出現させるための大量の試行と、それに基づくプロンプトの改善が必要となる。しかし、この大規模な試行を手作業で行うのは難しく、時間もコストも膨大になる。

GPT・BOTチェッカーは、ChatGPTに質問・回答の大量試行を行わせる。

試行の過程でChatGPT自身が回答内容の品質を評価し、その品質を事前に設定した評価表を基に点数化する。これにより、ChatGPTが生成した各回答の品質を具体的な数値で評価し、「明らかに間違った回答」を特定できる。これらの「間違った回答」はプロンプトの改善に活かされ、この方法によるテストは品質チェックの労力を大幅に削減し、全体の開発工程を短縮することが可能になる。

関連URL

「GPT・BOTチェッカー」
アイベリー