[4I2-GS-7c] 画像音声メディア処理：音声認識と指示理解

[4I2-GS-7c-05] ゼロ資源状況におけるサブワード単位の獲得にむけて

グラフニューラルネットワークを用いた手法

〇高橋 舜¹、サクリアニ サクティ^1,2、中村 哲^1,2 (1. 奈良先端科学技術大学院大学、2. 理化学研究所革新知能統合研究センター)

キーワード：音声認識、低資源言語、教師なし学習、ゼロ資源、グラフニューラルネットワーク

ゼロ資源音声技術は限られた量の音声データから教師ラベルを利用せずに離散的な音響単位や言語学的記号を獲得することを目的とする．現在，ベクトル量子化に基づく離散オートエンコーダーによる手法が著しい性能を見せている．一方でこれらの手法は固定長の時間単位(タイムフレーム)における音響特徴量の離散的表現の学習に重きが置かれているため，獲得される表現はビットレートが非常に高いという問題がある．そこで本研究ではより抽象的な表現単位を獲得するため，VQVAEをベースとしたGNNによる新たな手法を提案する．VQVAEは音声データを予め決められた数の離散単位からなる系列データに変換する．われわれはVQ-VAEによって離散化された各音響単位をグラフにおけるノードとし，それらの遷移を辺として考える．そしてGNNsを利用して各ノードについて近傍の特徴量を畳み込み，ノードの特徴量に基づくスペクトラルクラスタリングを行う．本稿ではこの手法によって獲得される表現をABX誤り率及びビットレートの観点から評価し，その結果ABX誤り率を抑えつつ，ビットレートを半減させることに成功したことを報告する．