[4N3-GS-6] 言語メディア処理：

[4N3-GS-6-02] 述語項のPPMI３階テンソルを用いた常識推論

〇伍井 啓恭¹、乙村 浩太郎¹、内出 隼人¹、斉藤 辰彦¹、小路 悠介¹ (1. 三菱電機株式会社 情報技術総合研究所)

[[オンライン]]

キーワード：常識推論、自己相互情報量、３階テンソル

人は日常生活で獲得する暗黙的で多様な知識をもとに推論(常識推論)している．計算機で常識推論を実現するには，暗黙的かつ多様な常識データの獲得が必要である．このため，教師あり学習法では常識データの作成コストが問題となる．一方，常識を大規模テキストコーパスから教師なし(自己教師あり)学習する手法の有効性が知られているが，Large Language Model(LLM)を用いた手法ではfine-tuneしない場合に比較的精度が低いという課題がある．本研究では，大規模テキストコーパスから単語の３階のテンソルに常識データを情報量として獲得する手法を提案する．具体的には，単語の品詞情報を用いて仮の述語と項を抽出し，このPositive Pointwise Mutual Informationの値を3階のテンソルで事前学習する．コーパスとしてC4/jaの一部(日本語約100億語)を自己教師あり学習した．このモデルを常識推論ベンチマークセットJCommonsenseQAを用いて評価した結果，学習コーパス量が約60倍でパラメータ数10BのLLMの性能と同等レベルであったことを示す．