Любопытно попробовать это с diloco, все равно установлю bs=1 на внутреннем оптимизаторе и все равно получу преимущества параллелизма данных.
Micah Goldblum
Micah Goldblum10 июл., 22:12
🚨 Знали ли вы, что ванильный SGD малой партии без момента (т.е. первый оптимизатор, о котором вы узнаете на вводном курсе по машинному обучению) практически так же быстр, как AdamW, для предварительного обучения LLM на основе FLOP? 📜 1/n
1,87K