[3M4-OS-7a] OS-7

[3M4-OS-7a-05] Visualization of preference learning datasets as layered graphs and its application to similar sample detection

〇Maki Furue¹, Masakazu Hirokawa², Keita Sakuma², Ryuta Matsuno², Takayuki Itoh¹ (1. Ochanomizu University, 2. NEC Corporation)

Keywords:LLM, Preference Learning, LLMOps

インストラクションチューニング後のLLMの出力を人間にとってより好ましくなるように調整するために，選好学習（Preference Learning）が通常行われる．しかしながら，選好学習に用いられる選好データセットは人の主観的な評価に依拠したものであるため，評価者の個人差やバイアスが内包されている可能性がある．そこで本研究では，ユーザー評価の信頼性を判断する足掛かりとして，選好データセットの多層グラフによる可視化とそれに基づく類似サンプル検出手法の提案する．今後の発展としては，これらの可視化・分析結果に基づき，ユーザー評価の信頼性判断を行うことで，運用中のユーザーから得られたフィードバックを踏まえてモデルの改善を効率化するLLMOps技術としての実応用を目指す．