Mufan Li (Princeton) 氏による講演 [Deep Learning Theory Team Seminar]
イベント説明
Speaker: Mufan Li (Princeton)
Title: The Proportional Scaling Limit of Neural Networks
Abstract: Recent advances in deep learning performance have all relied on scaling up the number of parameters within neural networks, consequently making asymptotic scaling limits a compelling approach to theoretical analysis. In this talk, we explore the proportional infinite-depth-and-width limit, where the role of depth can be adequately studied, and the limit remains a great model of finite size networks. At initialization, we characterize the limiting distribution of the network via a stochastic differential equation (SDE) for the feature covariance matrix. Furthermore, in the linear network setting, we can also characterize the spectrum of the covariance matrix in the large data limit via a geometric variant of Dyson Brownian motions. Finally, we will briefly discuss ongoing work towards analyzing training dynamics.
(ハイブリッド開催用のzoom URLは講演開始直前に連絡します)
開催日
2025年5月20日14:00 ~ 2025年5月20日15:00
主催者・問い合わせ先
RIKEN AIP Public
開催場所
項目 | 内容 |
---|---|
場所 | 522号室 |
住所 | 〒113-8654 東京都文京区本郷7丁目3-1東京大学工学部14号館522号室 |
開催場所の地図
SNS・Bookmark
近隣のイベント
- 2025年1月6日 - 1月度【国家試験二等免許コース(初学者対象・日程調整型)】座学10時間+実技講習(10時間/屋外/ATTIモード) 350,000円(税込)
- 2025年1月5日 - ♪【銀座日曜会の会員限定先行予約】ミュージカル&トークライヴ「PSYCHEDELIC CATFISH ~ソワレ公演~」(REIZY COMPANY)
- 2025年1月5日 - ♪【銀座日曜会の会員限定先行予約】ミュージカル&トークライヴ「PSYCHEDELIC CATFISH ~マチネ公演~」(REIZY COMPANY)
- 2025年1月4日 - 【特別開催】AWS ハンズオン実践(Linux/CentOS編) キャリアパス・ワークショップ @秋葉原
- 2025年1月4日 - 【初心者向け】ちょっとだけサーバを作って動かしてみる勉強会
- 2024年12月28日 - Python短期集中講座【初心者を卒業しよう!!】
- 2024年12月26日 - Fun with English - もっと英語で話そう!(オンライン参加のみ)
- 2024年12月22日 - 【東京・目白】クリスマスマイクラデイ【12/22】
- 2024年12月22日 - 第96回 CoderDojo 調布
近隣の場所 (直線距離)
- アットビジネスセンター渋谷東口駅前 402号室 (7.9km)
- 新宿住友ビル47階 スカイルームRoom3 (6.6km)
- TOKYO L.O.C.A.L BASE (4km)
- アクセス渋谷フォーラム(スペースC) (7.8km)
- 大手町プレイス ホール&カンファレンス (2.8km)
- レッドハット株式会社 3F セミナールーム (8.6km)
- コワーキングスペース秋葉原 Weeyble (2.1km)
- お申し込みされた方にお知らせします (4.4km)
- LINEヤフー株式会社 紀尾井町オフィス (4.3km)
- 文化総合センター大和田(学習室・アリーナ) 部屋 学習室4 (8.4km)
- LINEヤフー株式会社 セミナー会場 & Zoom (4.2km)
- 522号室 (0m)
- FLAT BASE (6.1km)
- JPタワー TECラウンジ + ホール&カンファレンス カンファレンスB2 (3.5km)
- アシスト 市ヶ谷本社1階 セミナールーム (3km)
- Institut Français du Japon – Tokyo (1.8km)
- 534号室 (0m)
- 外苑前アイランドスタジオ (6.3km)
- 株式会社GxP (6.3km)