16:30 〜 16:50
[3J4-OS-3b-04] TransformerにおけるToken-Mixingの探索
キーワード：ニューラルアーキテクチャサーチ、Transformer、多層パーセプトロン
従来，入力データに対してChannel-MixingとToken-Mixingを交互に適用するTransformerモデルは，テキストや音声などの時系列データを対象として発展してきた．近年の研究により，このモデルは時系列情報を含まない画像処理の分野においても高い性能を発揮することが示されている．画像処理に向けたTransformerの改良モデルは様々に提案されており，特にToken-Mixingに関して，全結合層の構造を改善した手法が多く存在する．一方で，これらの構造は人手で設計されたものであり，扱うデータごとの特徴に基づいた設計には高度で専門的な知識が必要になる．そこで，本研究ではToken同士の関連性を学習し，Token-Mixingの構造を自動で獲得する手法を提案する．画像分類タスクでの実験において，提案手法で得られた構造は他のToken-Mixing以下のパラメータ数でありながら，より高い精度を達成している．また，我々は提案手法で得られた構造を可視化し，空間的に近いToken同士に着目する傾向があることを確認した．
講演PDFパスワード認証
論文PDFの閲覧にはログインが必要です。参加登録者の方は「参加者用ログイン」画面からログインしてください。あるいは論文PDF閲覧用のパスワードを以下にご入力ください。