[2A4-E-2] Machine learning: method extensions

[2A4-E-2-04] 強L 2正則化を用いたロジスティック回帰のための行列演算高速近似解

〇謝 澤柯¹、余 錦澤¹、鄧 燕平² (1. 東京大学、2. 早稲田大学)

キーワード：ロジスティック回帰

行列演算に基づく強L2正則化を用いたロジスティック回帰の2次近似解を提案します。 ロジスティック回帰モデルの学習は凸最適化であるため、研究者はそれを解決する効率的な手法（勾配降下法など）を持っています。 しかし、私たちの知る限りでは、行列演算の形での解決策は明らかにされていません。 一般的に言って、行列演算は最適化問題を解くよりも速くて便利です。 原則として、行列演算近似解は強L2正則化を持つロジスティック回帰にのみ適用できますが、L2正則化強度が実用的な範囲に設定されている場合でも、経験的分析ではかなり良い近似解として機能します。 この方法でも、優れたパラメータ初期化を効率的に生成できます。 数学的証明をこの論文に提示した。