[2Win5] ポスターセッション2

[2Win5-05] 区分線形埋め込みを用いたDecoder型 Tabualr Transformerモデルの検討

〇戸﨑 泰誠^1,2、荒武 奈々瑛¹、岡本 有司¹、内野 詠一郎¹、小島 諒介^1,3、奥野 恭史^1,2 (1.京都大学、2.理化学研究所計算科学研究センター、3.理化学研究所生命機能科学研究センター)

キーワード：Tabular Transformer、区分線形埋め込み、生成モデル

非構造データが主流であるコンピュータビジョンや自然言語処理では深層学習とりわけTransformerが成功を収めている。近年、構造化されたテーブルデータを非構造化された文字列に変換し、大規模言語モデル(LLM)で用いられているTransformerに対して適用することにより、テーブルデータの生成が行われている。ここでテーブルデータとは、ラベル名とその値の組のシーケンスであり、文章と数値が混在する。こうした手法は大規模な計算コストがかかるため、実用的なテーブルデータの生成的なアプローチは道半ばである。そこで本研究では、文章と数値が混在するテーブルデータに対し、文章の埋め込みと数値の区分線形埋め込みを用いた新しいDecoder型Tabular Transformerを提案しその検証を行なった。提案モデルは、UC Irvineレポジトリーの米国の年収予測ベンチマークセットにおいて正解率0.856と既存手法(0.876)と同等程度の性能を示した。今後は、提案モデルとテーブルデータを文字列に変換する手法を活用した先行研究との比較を行う必要がある。