13:45 〜 14:00
[G04-01] 教育研究用言語データ解析へのLLM利用
キーワード:大規模言語モデル(LLM)、質的研究、質的統合法(KJ法)
知識の定着度や参加者の満足度などを測定する際、アンケートでリッカート尺度のような数値的データだけでなく自由筆記や作業観察のメモなど言語的データを取得する場合も多く、そういった自然言語や経験の表現の形式をもつデータをを分析する手法を質的研究手法と呼ぶ。JpGUの教育セッションにおいても言語データの分析は実践されており、KHCoderを使った計量テキスト分析などは頻繁に使われている。一方で自然言語を扱うため、機械的処理が難しいと思われる分析手法も多く、技術習得へのハードル意識から質的分析アプローチには開拓の余地がある。近年は生成系LLMの拡がりにより質的分析をAIにより実践する例が増えてきており、教育現場においても分析に挑戦する敷居を下げる意味でも注目に値する。
本報告では報告者が自身が取得し別途従来の解析方法でもすすめている手法について、一部をLLMを利用することにより比較検討した。質的統合法(KJ法)ではテキストデータの分割の過程は人間により実施し、似たような意味を持つテキストのグループ分けやラベル張りといったテキストのまとめ作業をLLMに実施させた。テキストを過不足なくチェックしているかどうかといった人間側の指示による部分と、より効率よくテキストを集めようとする効率化についての部分で主導による実践とは差がでてきた。一方で大量のテキストを一度に確認し分類することで繰り返し実施可能であり、LLMと研究者の合議体制が構築可能である。
本報告では報告者が自身が取得し別途従来の解析方法でもすすめている手法について、一部をLLMを利用することにより比較検討した。質的統合法(KJ法)ではテキストデータの分割の過程は人間により実施し、似たような意味を持つテキストのグループ分けやラベル張りといったテキストのまとめ作業をLLMに実施させた。テキストを過不足なくチェックしているかどうかといった人間側の指示による部分と、より効率よくテキストを集めようとする効率化についての部分で主導による実践とは差がでてきた。一方で大量のテキストを一度に確認し分類することで繰り返し実施可能であり、LLMと研究者の合議体制が構築可能である。
