IMI Colloquium

2023年 7月 IMI Colloquium

日時：2023年7月12日 (水)
       16:45-17:45
場所：Zoomによるオンラインコロキウム
＊学外の方でご興味がある方はこちらへご登録ください。
https://forms.office.com/r/WwPWJTheZa
講師：早瀬　友裕　氏
クラスター株式会社　メタバース研究所　シニアリサーチサイエンティスト

講演タイトル  :  ランダム行列と深層神経回路
講演要旨：
機械学習において中心的役割を果たしているのが深層神経回路である。深層神経回路を理解する時、ランダム行列が現れることがある。特に、パラメータの初期化や学習ダイナミクスの理解において、頻繁にランダム行列が現れる。この講演では、このようなランダム行列と深層神経回路に関連するトピック、特に自由確率論、平均場、NNGP、NTKなどを概観する。

IMI Colloquium 開催報告

Random Matrices and Deep Neural Networks
■Abstract:
The central role in machine learning is played by deep neural networks. When understanding deep neural networks, random matrices often appear. In particular, random matrices frequently arise in the context of parameter initialization and understanding learning dynamics. In this lecture, we will provide an overview of topics related to random matrices and deep neural networks, with a focus on free probability theory, mean field theory, NNGP (Neural Network Gaussian Process), NTK (Neural Tangent Kernel), and others.