分野別セミナー

アブストラクト：観測データあるいは推論手続きにランダムな摂動を与えて反復実行し、得られた推定・学習の結果を集約する摂動・集約型の手法は、現代の統計科学を支える基本的な設計原理の一つである。例えば、高次元統計における変数選択では、乱数を変えて複数のノックオフ変数を生成し、それぞれに対する選択結果を集約する非乱択化ノックオフ法が強力な手法となっている。また、機械学習の予測では、ブートストラップやサブ／オーバーサンプリング等の再標本化により生成した複数のデータセットで学習したモデルの予測を集約するバギングが用いられる。一方、これらの手法はデータ生成過程に加えて摂動に関するランダムネスが存在するため、特にデータ数とパラメータ数が同程度であるような高次元での挙動は非自明である。また、高次元の推定・学習を反復するため一般に計算量が大きくなる傾向にある課題がある。そこで本発表では、まず（１）（非乱択化）ノックオフに基づく変数選択と予測のためのバギングに関する高次元での精密評価を行った研究を紹介する[1,2,3]。その後（２）ブートストラップ法に基づく変数選択法である安定性選択法の計算量削減のためのsemi-analytic stability selectionに関する研究 [4]を紹介する。最後に（３）アンサンブル学習に対する近似交差検証に関する最近の検討を報告する。これらは全て統計科学と統計物理学との類似性を活用したアプローチに基づいている。
[1] Takahashi, Takashi. "Role of bootstrap averaging in generalized approximate message passing." 2023 IEEE International Symposium on Information Theory (ISIT). IEEE, 2023.
[2] Takahashi, Takashi. "Replica Analysis for Ensemble Techniques in Variable Selection." Journal of the Physical Society of Japan 94.3 (2025): 031011.
[3] Takahashi, Takashi. "A Replica Analysis of Under-Bagging." Transactions on Machine Learning Research, 2024, https://openreview.net/forum?id=7HIOUZAoq5.
[4] Takahashi, Takashi, and Yoshiyuki Kabashima. "Semi-analytic approximate stability selection for correlated data in generalized linear models." Journal of Statistical Mechanics: Theory and Experiment 2020.9 (2020): 093402.