For folk som ikke er kjent med AI-publisering; Det er 3 hovedkonferanser hvert år. ICML, ICLR og NeurIPS. Dette er tekniske konferanser og tilsvarende tidsskrifter innen andre disipliner - de er det viktigste publiseringsstedet for AI. Konkurransen om å få artikler på disse konferansene er nå på et latterlig nivå, å få artikler akseptert er veldig vanskelig, og det er mye bekymring for gjennomgangsprosessen som er ganske støyende på dette tidspunktet. En sterk artikkel uten feil har rundt 50 % sjanse for å bli akseptert, og vanligvis sendes en artikkel inn med korrekturleserendringer flere ganger til den blir akseptert. Til tross for alt dette er artikler på disse arenaene fortsatt det primære legitimitetsstempelet i AI-verdenen, og er sannsynligvis fortsatt de primære karrieremålingene for ML-forskere (selv om dette svekkes imo ettersom så mye av forskningen i frontlaboratoriene er upublisert). Main Track-papirer er vesentlig forskjellige fra workshop-papirer. Hovedsporet har intens, seriøs fagfellevurdering. Workshop-papirer er for forarbeid, som gir en indikasjon på et interessant resultat, men som enten ikke er fullført eller resultatet er ikke signifikant nok for hovedsporet. De er bare pålagt å bli vurdert av workshop-reviewerpoolen, og de vises ikke i prosedyrene. Mange gode artikler har først dukket opp i workshops (f.eks. grokking) - men workshops og hovedspor er fundamentalt forskjellige ting, med et fundamentalt forskjellig nivå av innvirkning. De eneste to selskapene innen desentralisert AI som har hovedspor i år er @PrimeIntellect og Pluralis.

Forskningspapirets videoanmeldelse om "Swarm Parallelism" sammen med forfatteren @m_ryabinin, Distinguished Research Scientist @togethercompute er nå ute! Lenke nedenfor 👇 For kontekst følger de fleste desentraliserte opplæringer i dag DDP-tilnærminger som krever full modellreplikering på hver node. Selv om det er praktisk for de som har H100-klynger til rådighet, er dette fortsatt utenfor rekkevidde for de aller fleste potensielle bidragsytere, det er her SWARM kommer godt med!