14:20 〜 14:40
[1T3-GS-6-05] 汎用言語モデル学習のためのプロンプト最適化
[[オンライン]]
キーワード:文章生成、メタ学習、二段階最適化
近年、ChatGPTをはじめとした幅広いタスクに汎化できる汎用言語モデルを学習する方法として、タスクごとにプロンプトを付与しマルチタスク学習を行うinstruction tuningが注目されている。
これまで様々なプロンプトがinstruction tuningのために作成されているが、どのようなプロンプトがモデルの汎化性能向上に最適なのか明らかになっていない。
本研究では学習用プロンプトを二段階最適化により最適化するinstruction optimizationを提案し、instruction tuningに最適なプロンプトを明らかにする。
評価実験において、タスクの指示をプロンプトに用いる実験設定(zero-shot)では、二段階最適化によりプロンプトを多様化することが汎化性能向上に有効である一方、タスクの例示をプロンプトに用いる実験設定(few-shot)では、多様な種類の例示ではなく同一の例示を用いる方が有効であることが明らかになった。
これまで様々なプロンプトがinstruction tuningのために作成されているが、どのようなプロンプトがモデルの汎化性能向上に最適なのか明らかになっていない。
本研究では学習用プロンプトを二段階最適化により最適化するinstruction optimizationを提案し、instruction tuningに最適なプロンプトを明らかにする。
評価実験において、タスクの指示をプロンプトに用いる実験設定(zero-shot)では、二段階最適化によりプロンプトを多様化することが汎化性能向上に有効である一方、タスクの例示をプロンプトに用いる実験設定(few-shot)では、多様な種類の例示ではなく同一の例示を用いる方が有効であることが明らかになった。
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。