[4Xin2-45] 事前学習済み日本語BERTモデルにおける概念知識
キーワード：人工知能、自然言語処理、transformer
本稿では、事前学習済み日本語BERTモデルのFeed-Forward-network層において、概念に関する知識を保持するニューロンを特定する実験に取り組む。具体的には、事前学習を行った日本語 BERTモデルに単語穴埋めタスクを解かせる際にモデル内の重要な重みパラメータ（ニューロン）を特定し、その場所や重要性を比較対照実験により確認する。また、事前学習済み英語 BERT による先行研究の結果との比較も行い、特定の条件下で実験結果が異なることを示す。
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。