Ciekawy, aby spróbować tego z diloco, nadal ustawiłbym bs=1 w wewnętrznym optymalizatorze i nadal uzyskałbym korzyści z równoległości danych.
Micah Goldblum
Micah Goldblum10 lip, 22:12
🚨 Czy wiesz, że SGD z małymi partiami i bez momentu (tj. pierwszy optymalizator, o którym uczysz się w podstawach ML) jest praktycznie tak szybki jak AdamW w przypadku wstępnego szkolenia LLM na podstawie FLOP? 📜 1/n
1,87K