Nyfiken på att prova detta med diloco, skulle fortfarande göra bs=1 på den inre optimeraren och fortfarande få fördelar med dataparallellitet
Micah Goldblum
Micah Goldblum10 juli 22:12
🚨 Did you know that small-batch vanilla SGD without momentum (i.e. the first optimizer you learn about in intro ML) is virtually as fast as AdamW for LLM pretraining on a per-FLOP basis? 📜 1/n
1,94K