[ABI Team Seminar] Emanuele Rodolà: Model Merging - What, Why, and How
イベント説明
This talk will be held in a hybrid format, both in person at AIP Open Space of RIKEN AIP (Nihonbashi office) and online by Zoom. AIP Open Space: *only available to AIP researchers.
DATE, TIME & LOCATION
Friday May 9th, 11:30 - 13:30, RIKEN AIP Nihombashi Office, Open Space
TITLE
Model Merging - What, Why, and How
BIO
Emanuele Rodolà is a Full Professor of Computer Science at Sapienza University of Rome, where he leads the GLADIA AI group. His work in this field is supported by an ERC grant, a FIS grant, and a Google Research Award. In the past, he was a postdoctoral researcher at USI Lugano (2016–2017), an Alexander von Humboldt Fellow at TU Munich (2013–2016), and a JSPS Research Fellow at the University of Tokyo (2013), in addition to visiting periods at Tel Aviv University, Technion, École Polytechnique, and Stanford. He is a fellow of ELLIS and the only Italian AI researcher to be a fellow of the Young Academy of Europe. Professor Rodolà has received numerous awards for his research and plays an active role in the academic community, serving on program committees and as Area Chair for major conferences in AI and ML. His current research focuses primarily on neural model fusion, representation learning, ML for audio and music, and multimodal learning, with around 170 publications in these areas. His work has been featured in media outlets including Fortune, Wired, Italian national broadcast and newspapers.
ABSTRACT
In this talk, I will introduce the emerging field of model merging — the process of combining multiple neural networks into a single model without retraining. We'll begin with foundational concepts such as linear mode connectivity and task vectors, and explore two main settings: (1) merging models trained from scratch on the same task but with different initializations, and (2) merging models finetuned on different tasks from a shared pretrained base. I will then present a series of recent works of mine that expand the model merging toolkit. These include the use of cycle consistency in permutation-based merging, insights into how task vectors relate to gradients, SVD-based approaches for low-rank model combination, and the application of evolutionary algorithms to discover optimal merging coefficients. Throughout, we'll see how these techniques can be applied in real-world scenarios, from model compression in Computer Vision to state-of-the-art synthesis of LLMs for low-resource languages.
Join Zoom Meeting
https://riken-jp.zoom.us/j/93926004117?pwd=6mRDojOulf4N3RT040YswohR3x4INT.1
Meeting ID: 939 2600 4117
Passcode: duTtPsJ4Q3
開催日
2025年5月9日11:30 ~ 2025年5月9日13:30
主催者・問い合わせ先
RIKEN AIP Public
開催場所
項目 | 内容 |
---|---|
場所 | 名称未設定 |
住所 | Nihombashi RIKEN AIP Openspace |
開催場所の地図
SNS・Bookmark
近隣のイベント
- 2025年4月26日 - 実践で学ぶPython速習講座【初心者を3.5時間で卒業せよ!!】
- 2025年4月26日 - 【あみだす発酵アカデミー】春が旬!中国の発酵調味料 旨味たっぷり豆板醤作りクラス
- 2025年4月26日 - ピーエスエス皇居健康ランニング令和7年4月26日大会
- 2025年4月26日 - GW 初心者向け 大江戸線1周グルメラン 約10~30キロ キロ約7~8分 2800円
- 2025年4月26日 - 第82回・板橋月例チャレンジ
- 2025年4月25日 - 第4金曜日開催 オンライン/リアル【IT・ブログ・WordPress・Chat-GPT】グループレッスン
- 2025年4月24日 - ザ・コレクティブ Vol.6|Freelance Networking Event
- 2025年4月24日 - AIと最新テクノロジーで創る物流の未来! 物流DXをテーマに「AI孔明×AI/DXフォーラム」【ハイブリッド開催】
- 2025年4月22日 - 【会場開催】JJUGナイトセミナー「From Reactive Streams to Virtual Threads」4/22(火) 開催
近隣の場所 (直線距離)
- ビジョンセンター品川 3F 305 (6.8km)
- アットビジネスセンター渋谷東口駅前 402号室 (6.8km)
- 新宿住友ビル47階 スカイルームRoom3 (7.5km)
- TOKYO L.O.C.A.L BASE (7km)
- アクセス渋谷フォーラム(スペースC) (6.7km)
- 大手町プレイス ホール&カンファレンス (860m)
- 国立研究開発法人 産業技術総合研究所 臨海副都心センター別館10階会議室(別館1階受付までお越しください。) (6.9km)
- レッドハット株式会社 3F セミナールーム (7km)
- コワーキングスペース秋葉原 Weeyble (1.8km)
- お申し込みされた方にお知らせします (1.4km)
- LINEヤフー株式会社 紀尾井町オフィス (3.4km)
- 文化総合センター大和田(学習室・アリーナ) 部屋 学習室4 (7.3km)
- LINEヤフー株式会社 セミナー会場 & Zoom (3.4km)
- 522号室 (3.6km)
- FLAT BASE (5.3km)
- JPタワー TECラウンジ + ホール&カンファレンス カンファレンスB2 (834m)
- アシスト 市ヶ谷本社1階 セミナールーム (3.4km)
- Institut Français du Japon – Tokyo (3.5km)
- 534号室 (3.6km)