[ABI Team Seminar] Emanuele Rodolà: Model Merging - What, Why, and How
イベント説明
This talk will be held in a hybrid format, both in person at AIP Open Space of RIKEN AIP (Nihonbashi office) and online by Zoom. AIP Open Space: *only available to AIP researchers.
DATE, TIME & LOCATION
Friday May 9th, 11:30 - 13:30, RIKEN AIP Nihombashi Office, Open Space
TITLE
Model Merging - What, Why, and How
BIO
Emanuele Rodolà is a Full Professor of Computer Science at Sapienza University of Rome, where he leads the GLADIA AI group. His work in this field is supported by an ERC grant, a FIS grant, and a Google Research Award. In the past, he was a postdoctoral researcher at USI Lugano (2016–2017), an Alexander von Humboldt Fellow at TU Munich (2013–2016), and a JSPS Research Fellow at the University of Tokyo (2013), in addition to visiting periods at Tel Aviv University, Technion, École Polytechnique, and Stanford. He is a fellow of ELLIS and the only Italian AI researcher to be a fellow of the Young Academy of Europe. Professor Rodolà has received numerous awards for his research and plays an active role in the academic community, serving on program committees and as Area Chair for major conferences in AI and ML. His current research focuses primarily on neural model fusion, representation learning, ML for audio and music, and multimodal learning, with around 170 publications in these areas. His work has been featured in media outlets including Fortune, Wired, Italian national broadcast and newspapers.
ABSTRACT
In this talk, I will introduce the emerging field of model merging — the process of combining multiple neural networks into a single model without retraining. We'll begin with foundational concepts such as linear mode connectivity and task vectors, and explore two main settings: (1) merging models trained from scratch on the same task but with different initializations, and (2) merging models finetuned on different tasks from a shared pretrained base. I will then present a series of recent works of mine that expand the model merging toolkit. These include the use of cycle consistency in permutation-based merging, insights into how task vectors relate to gradients, SVD-based approaches for low-rank model combination, and the application of evolutionary algorithms to discover optimal merging coefficients. Throughout, we'll see how these techniques can be applied in real-world scenarios, from model compression in Computer Vision to state-of-the-art synthesis of LLMs for low-resource languages.
Join Zoom Meeting
https://riken-jp.zoom.us/j/93926004117?pwd=6mRDojOulf4N3RT040YswohR3x4INT.1
Meeting ID: 939 2600 4117
Passcode: duTtPsJ4Q3
開催日
2025年5月9日11:30 ~ 2025年5月9日13:30
主催者・問い合わせ先
RIKEN AIP Public
開催場所
| 項目 | 内容 |
|---|---|
| 場所 | 名称未設定 |
| 住所 | Nihombashi RIKEN AIP Openspace |
開催場所の地図
SNS・Bookmark
近隣のイベント
- 2025年5月3日 - 【土曜日・予約制】Nerima Base 模型工作室(高校生以下無料!)- Crafting Room Event
- 2025年5月3日 - 春のフェアー ヨシノ一人劇 昼の部
- 2025年5月3日 - 実践で学ぶPython速習講座【初心者を3.5時間で卒業せよ!!】
- 2025年5月3日 - 四季折々の自然を感じに御岳山へ!初級者向けトレイルランニングツアー(東京都)
- 2025年5月3日 - 野辺山 サロマ前 ゲートブリッジラン 約60 45 37 15キロ 約キロ7~8分 3800円
- 2025年5月3日 - ピーエスエス皇居健康ランニング令和7年5月3日大会
- 2025年5月2日 - 春のフェアー ヨシノ一人劇 夜の部
- 2025年5月2日 - 【金曜日・予約制】Nerima Base 模型工作室(高校生以下無料!)- Crafting Room Event
- 2025年5月1日 - Jerry Li (University of Washington) 氏による講演
近隣の場所 (直線距離)
- TIME SHARING 五反田プラザスクエアビル (7.8km)
- アンドパッド東京オフィス (4.9km)
- 慶應義塾大学 三田キャンパス 南校舎7F473教室 (4.5km)
- KINTOテクノロジーズ 室町オフィス (631m)
- PRONTO 大手町店 (850m)
- 永和システムマネジメント東京支社 (751m)
- 鉄板焼 香味由 (2km)
- 新宿近郊のレンタルスペース(調整中) (6.6km)
- 東京会場 IREM JAPAN セミナールーム (5.9km)
- IZAKAYA BAR おためし屋 (6.6km)
- レッドハット株式会社 (7km)
- Tokyo Innovation Base (1km)
- 東京ミッドタウン六本木 ミッドタウンホールB (4.3km)
- ウェンディーズ・ファーストキッチン 池袋北口店 (8km)
- LINEヤフー株式会社セミナールーム (3.4km)
- LINEヤフー株式会社 DINING (3.4km)
- Natuluck茅場町 新館 4階 会議室 (348m)
- 文化総合センター大和田(学習室・アリーナ) 学習室6(工作室) (7.3km)
- プライム・ストラテジー株式会社 (3.1km)