[4S1-GS-2] 機械学習：

[4S1-GS-2-01] 専門ドメインにおけるLLMの文脈理解の分析

〇緒方 陸¹、岡野 将大¹、大久保 順一¹、藤井 純一郎¹ (1. 八千代エンジニヤリング株式会社)

キーワード：機械論的解釈可能性、コンテキスト、専門ドメイン

大規模言語モデル(LLM)はlong-tailの知識に対して精度が低く，その解決策としてRetrieval-Augmented Generation(RAG)やFine tuningなどがある．一方評価タスクの違いなどの要因から，実用に値しないという報告もある．実用上はより複雑なタスクを解くことがあり，いかに文脈を捉えるかが必要となる．しかし，long-tailにあたる土木分野などの専門ドメインにおいて，LLMが内部でどのようにテキストを処理し，文脈を捉えられているかは明らかになっていない．専門ドメインにおいてLLMがどのように文脈を捉えるかを明らかにすることで，long-tailの知識に対する性能改善にも貢献できると考える．本研究では一般ドメインと専門ドメインの二つを対象に，まず両者の回答生成における不確実性を確認し，さらにLLMの各層の中間表現のエントロピーの変動を分析することで，専門ドメインのLLM内部処理過程の特徴を明らかにした．