[4L3-OS-38] ヒューマン・イン・ザ・ループAI

[4L3-OS-38-05] クラウドアノテーションのための人間とLLMのハイブリッド回答統合

〇李 吉屹^1,2 (1. 北海道大学、2. 山梨大学)

キーワード：クラウドソーシング、大規模言語モデル、ヒューマン・イン・ザ・ループAI

大規模言語モデル（LLM）がデータアノテーションタスクにおいてクラウドソーシングを超えられるかどうかが関心を集めている。いくつかの研究では、個々のクラウドワーカーとLLMの平均的なパフォーマンスを比較することでこの問題を検証している。しかし、最終的に収集されるアノテーションはクラウドワーカーの個々の回答ではなく、統合された回答である。そのため、クラウドの回答を統合するシナリオについては、さらなる研究が必要である。本研究では、カテゴリラベルとテキスト回答のアノテーションに焦点を当てた。一方で、クラウドのカテゴリラベルに対して、LLMをラベルの生成者として活用した。クラウドとLLMのハイブリッド統合手法を提案し、高品質なLLMのラベルを既存のクラウドデータに追加することで、統合ラベルの品質の向上を示した。一方で、クラウドのクローズドエンドテキスト回答に対して、LLMの統合者としての能力を評価した。生成者・統合者のマルチステージフレームワークに基づくハイブリッド統合手法を提案し、クラウドワーカーと回答の3つのリソースの組み合わせによって、さらに回答品質の向上を実験的に示した。