Цікаво спробувати це з diloco, все одно зробив би bs=1 на внутрішньому оптимізаторі і все ще отримував переваги паралелізму даних
Micah Goldblum
Micah Goldblum10 лип., 22:12
🚨 Чи знаєте ви, що дрібносерійний ванільний SGD без імпульсу (тобто перший оптимізатор, про який ви дізнаєтеся у вступному ML) практично такий же швидкий, як AdamW для попереднього навчання LLM на основі FLOP? 📜 1/п
1,86K