للأشخاص الذين ليسوا على دراية بنشر الذكاء الاصطناعي ؛ هناك 3 مؤتمرات رئيسية كل عام. ICML و ICLR و NeurIPS. هذه مؤتمرات فنية وما يعادل المجلات في التخصصات الأخرى - فهي مكان النشر الرئيسي لمنظمة الذكاء الاصطناعي. المنافسة للحصول على أوراق في هذه المؤتمرات هي الآن على مستوى مثير للسخرية ، والحصول على الأوراق المقبولة أمر صعب للغاية ، وهناك الكثير من القلق بشأن عملية المراجعة التي هي صاخبة للغاية في هذه المرحلة. الورقة القوية التي لا تحتوي على عيوب لديها فرصة للقبول بنسبة 50٪ تقريبا ، وعادة ما يتم تقديم ورقة مع تغييرات المراجع عدة مرات حتى يتم قبولها. على الرغم من كل ذلك ، تظل الأوراق في هذه الأماكن هي الطابع الأساسي للشرعية في عالم الذكاء الاصطناعي ، وربما لا تزال المقاييس المهنية الأساسية لباحثي ML (على الرغم من أن هذا يضعف imo لأن الكثير من الأبحاث في المختبرات الحدودية غير منشورة). تختلف أوراق المسار الرئيسي اختلافا كبيرا عن أوراق ورشة العمل. يحتوي المسار الرئيسي على مراجعة مكثفة وجادة من الأقران. أوراق ورشة العمل مخصصة للعمل التمهيدي ، والتي تعطي بعض المؤشرات على نتيجة مثيرة للاهتمام ، ولكنها إما غير كاملة أو أن النتيجة ليست مهمة بما يكفي للمسار الرئيسي. يطلب منهم فقط مراجعتهم من قبل مجموعة مراجعي ورشة العمل ولا يظهرون في الإجراءات. ظهرت العديد من الأوراق الرائعة لأول مرة في ورش العمل (مثل grokking) - لكن أوراق ورشة العمل والمسار الرئيسي هي أشياء مختلفة اختلافا جوهريا ، مع مستوى مختلف تماما من التأثير. الشركتان الوحيدتان في الذكاء الاصطناعي اللامركزية اللتان لديهما أوراق المسار الرئيسي هذا العام هما @PrimeIntellect و Pluralis.

مراجعة فيديو الورقة البحثية حول "التوازي السرب" جنبا إلى جنب مع المؤلف @m_ryabinin ، عالم الأبحاث المتميز @togethercompute قد صدر الآن! الرابط أدناه 👇 بالنسبة للسياق ، يتبع معظم التدريب اللامركزي اليوم مناهج نمط DDP تتطلب تكرارا كاملا للنموذج على كل عقدة. على الرغم من أنه عملي بالنسبة لأولئك الذين لديهم مجموعات H100 تحت تصرفهم ، إلا أن هذا لا يزال بعيدا عن متناول الغالبية العظمى من المساهمين المحتملين ، وهذا هو المكان الذي يكون فيه SWARM مفيدا!