[3Xin2-53] 金融ドメイン特化のための大規模言語モデルのインストラクションチューニング評価
キーワード：大規模言語モデル、インストラクションチューニング、金融
特定のドメインに特化させた小型言語モデルは汎用的な大規模言語モデルの性能を超えることが報告され始めている．しかしながら，金融領域に特化したオープンソースの言語モデルは限定されており，本領域において十分な性能を持った言語モデルの評価は不十分である．そこで，本研究では，センチメント分析，識別，質問応答といった広範囲な金融領域のタスクを含むベンチマークセットを利用し，小型のチャットモデルを複数の条件でインストラクション・チューニングさせた場合の性能変化について評価を行った．損失関数の比較検証に加え，低ランク適応および量子化を用いてファインチューニング行い7Bモデルと13Bモデルを学習させた結果，継続事前学習や教師有りファインチューニングでは過学習が生じるにもかかわらず，各タスクの精度は向上し，インストラクションのテンプレートに影響を受けることが判明した．
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。