[3Xin2] ポスターセッション1

[3Xin2-19] 大規模言語モデルとポリシー探索を用いた対話テキスト自動拡張

〇牛尾 貴志¹、藤原 晴雄¹、加藤 博司¹、八木 豊² (1.株式会社博報堂DYホールディングス、2.株式会社ピコラボ)

キーワード：発話理解、テキスト拡張、大規模言語モデル、ベイズ最適化

近年，リモート会議アプリを通した音声対話データの集音が容易になり，対話解析が普及しつつある．その構成技術として発話をその意図で分類する発話理解（SLU）があり，教師あり学習に基づくモデルが高い精度を持つと報告されている．
教師あり学習では，対話ドメインに応じたデータが必要であるため，低リソースやクラスが不均衡な状況における過学習問題が生じ，その対策として学習サンプルを充実させるデータ拡張が広く用いられている．しかしながら，同義語置換などの従来のデータ拡張手法では，短い文章において，変換結果が元の文意と異なり，性能向上に寄与しないことも多い．
上記課題を克服するために，我々は大規模言語モデル（LLM）を用いた複数の対話データ拡張とその組み合わせの探索方法を提案する．具体的には，操作の組み合わせを拡張ポリシーとみなし，ベイズ最適化によるポリシー探索を行い，モデル性能を向上させる． 商談対話データセットを用いた実験の結果，提案手法は，教師あり学習及びLLM ゼロショット学習を用いたベースラインを超えることが示された．