マルチプルカーネル学習およびスパース加法モデルの統計的性質
統計科学セミナー
開催期間
2013.2.19(火)
16:00 ~ 17:00
16:00 ~ 17:00
場所
九州大学 伊都キャンパス 伊都図書館3F 大講義室1
講演者
鈴木 大慈 (東京大学)
概要
本発表ではマルチプルカーネル学習(MKL)の統計的性質を,様々な正則化項について議論する.MKLはGroup Lassoの各グループを再生核ヒルベルト空間に拡張した手法であり,L1-ノルムを正則化項とした正則化学習法とみなすことができる.拡張としてLp-ノルムやelasticnet型の正則化を用いた手法が提案されてきたが,興味深い事実として,多くの数値実験によってLp-MKLやelasticnet-MKLが普通のL1-MKLを精度の面で上回ることが多いことが示されてきた.本研究では様々な正則化項に対して速い収束レートを導出し,それをL1正則化と比較する.特に,真の関数がスパースな場合とスパースでない場合の二つに状況を考えて議論を進める.スパースな状況では真の関数の滑らかさがいかに収束レートに影響するかを示す.そして,エラスティック型の正則化が滑らかさを有効に利用できることを示す.次いで,真の関数がスパースでない場合は,全てのノルム型正則化に関して適用可能な収束レートを導出する.このバウンドは,等方的なノルムにおいてミニマクス最適である.導出された収束レートより,ヒルベルト空間の複雑さが正則化項の最適性に影響を与えることを見る.
17:00 ~ 19:00:最適化ワークショップの参加者も交えたフリーディスカッション