مراجعة فيديو الورقة البحثية حول "التوازي السرب" جنبا إلى جنب مع المؤلف @m_ryabinin ، عالم الأبحاث المتميز @togethercompute قد صدر الآن! الرابط أدناه 👇 بالنسبة للسياق ، يتبع معظم التدريب اللامركزي اليوم مناهج نمط DDP تتطلب تكرارا كاملا للنموذج على كل عقدة. على الرغم من أنه عملي بالنسبة لأولئك الذين لديهم مجموعات H100 تحت تصرفهم ، إلا أن هذا لا يزال بعيدا عن متناول الغالبية العظمى من المساهمين المحتملين ، وهذا هو المكان الذي يكون فيه SWARM مفيدا!