[1S4-GS-2] 機械学習：

[1S4-GS-2-01] TELU: GELUやSwishの代替となる高速な活性化関数の提案

〇谷口 尚平¹、松尾 豊¹ (1. 東京大学)

キーワード：活性化関数

近年の深層学習モデルでは、ReLUの代わりにGELUやSwishなどの滑らかな活性化関数が広く用いられている。そのような活性化関数は、ReLUよりもノイズへの頑健性などの観点で利点があることが知られているが、ガウスの誤差関数やシグモイド関数などの超越関数の計算を含むため、速度が遅い。本研究では、より高速かつ滑らかな活性化関数として、T Error Linear Unit (TELU) を提案する。TELUは、代数関数のみで計算できるため、関数の滑らかさを保ちつつ、GELUなどと比較して2倍程度高速に計算することができる。実験では、GPT-2の事前学習において、GELUをTELUに代替することで、高い性能を保ちつつ、より高速に学習ができることを示す。