فضولي لتجربة ذلك مع diloco ، سيظل يفعل bs = 1 على المحسن الداخلي ولا يزال يحصل على فوائد التوازي للبيانات
Micah Goldblum
Micah Goldblum‏10 يوليو، 22:12
🚨 هل تعلم أن الفانيليا SGD ذات الدفعة الصغيرة بدون زخم (أي أول محسن تتعرف عليه في مقدمة ML) هو تقريبا بنفس سرعة AdamW للتدريب المسبق LLM على أساس كل FLOP؟ 📜 1/ن
‏‎1.87‏K