För personer som inte är bekanta med AI-publicering; Det finns 3 huvudkonferenser varje år. ICML, ICLR och NeurIPS. Dessa är tekniska konferenser och motsvarigheten till tidskrifter inom andra discipliner – de är den huvudsakliga publiceringsplatsen för AI. Konkurrensen om att ha artiklar på dessa konferenser är nu på en löjlig nivå, att få artiklar accepterade är mycket svårt, och det finns en hel del oro över granskningsprocessen som är ganska bullrig vid denna tidpunkt. En stark uppsats utan brister har cirka 50 % chans att bli accepterad, och vanligtvis skickas en uppsats in med granskarändringar flera gånger tills den accepteras. Trots allt detta är artiklar på dessa arenor fortfarande den primära stämpeln för legitimitet i AI-världen, och är förmodligen fortfarande de primära karriärmåtten för ML-forskare (även om detta försvagas imo eftersom så mycket av forskningen i gränslaboratorierna är opublicerad). Main Track-papper skiljer sig markant från verkstadspapper. Huvudspåret har en intensiv och seriös peer review. Workshoppapper är för förarbeten, som ger en indikation på ett intressant resultat, men som antingen inte är färdiga eller så är resultatet inte tillräckligt signifikant för huvudspåret. De behöver bara granskas av workshopens granskarpool och de visas inte i förfarandet. Många bra papper har först dykt upp i workshops (t.ex. grokking) - men workshop- och huvudspårspapper är fundamentalt olika saker, med en fundamentalt annorlunda nivå av inverkan. De enda två bolagen inom decentraliserad AI som har huvudspår i år är @PrimeIntellect och Pluralis.

Forskningsrapporten videorecension om "Swarm Parallelism" tillsammans med författaren @m_ryabinin, Distinguished Research Scientist @togethercompute är nu ute! Länk nedan 👇 För kontext följer de flesta decentraliserade träningar idag DDP-metoder som kräver fullständig modellreplikering på varje nod. Även om det är praktiskt för dem som har H100-kluster till sitt förfogande, är detta fortfarande utom räckhåll för de allra flesta potentiella bidragsgivare, det är här SWARM kommer väl till pass!