分野別セミナー

本講演では，無限次元勾配ランジュバン動力学を用いて深層学習の非凸最適化問題を解く手法を考察し，その汎化誤差を評価するための枠組みを提案する．既存の平均場理論やニューラルタンジェントカーネル (NTK) といった典型的な枠組みでは，大域的最適性を示すために横幅をサンプルサイズに合わせて無限大まで漸近させる必要があった．そのため，有限の横幅のニューラルネットワークの最適化を直接扱うことが難しく，最適化アルゴリズムによって得られる解の汎化誤差解析も一般論を展開しにくかった．本講演では，より自然な解析を実現するために深層学習のパラメータ学習をパラメータの初期値からの写像の学習とみなし，そのダイナミクスを無限次元ランジュバン動力学の観点から解析することでその大域的最適性および汎化性能の解析を行う．本枠組みを用いることで，横幅が有限の場合も無限の場合も統一的に扱え，汎化誤差のバウンド及び余剰誤差の速い収束レートが示せる．

参加方法：
下記のURLから９月２日までに参加登録をお願いします．承認されましたら，ZoomのURLが届きます．(承認に時間を要することがあります．ご容赦ください．)
分野別セミナー一覧