Voor mensen die niet bekend zijn met AI-publicaties; er zijn elk jaar 3 belangrijke conferenties. ICML, ICLR en NeurIPS. Dit zijn technische conferenties en het equivalent van tijdschriften in andere disciplines - ze zijn de belangrijkste publicatieplek voor AI. De concurrentie om papers op deze conferenties te krijgen is nu op een belachelijk niveau, het is erg moeilijk om papers geaccepteerd te krijgen, en er is veel bezorgdheid over het beoordelingsproces dat op dit moment behoorlijk rumoerig is. Een sterk paper zonder gebreken heeft ongeveer 50% kans om geaccepteerd te worden, en typisch wordt een paper meerdere keren ingediend met wijzigingen van reviewers totdat het wordt geaccepteerd. Ondanks dat blijven papers in deze venues de primaire stempel van legitimiteit in de AI-wereld, en zijn ze waarschijnlijk nog steeds de primaire carrière-metrics voor ML-onderzoekers (hoewel dit naar mijn mening verzwakt, aangezien zoveel van het onderzoek in de grenslaboratoria ongepubliceerd is). Main Track-papers zijn aanzienlijk anders dan workshop-papers. De main track heeft intense, serieuze peer review. Workshop-papers zijn voor voorlopig werk, dat enige indicatie geeft van een interessant resultaat, maar zijn ofwel niet compleet of het resultaat is niet significant genoeg voor de main track. Ze hoeven alleen beoordeeld te worden door de workshop-reviewerpool en ze verschijnen niet in de proceedings. Veel geweldige papers zijn voor het eerst verschenen in workshops (bijv. grokking) - maar workshop- en main track-papers zijn fundamenteel verschillende dingen, met een fundamenteel verschillend niveau van impact. De enige twee bedrijven in gedecentraliseerde AI die dit jaar main track-papers hebben zijn @PrimeIntellect en Pluralis.

De videoreview van het onderzoeksartikel over "Swarm Parallelism" samen met de auteur @m_ryabinin, Distinguished Research Scientist @togethercompute is nu beschikbaar! Link hieronder 👇 Voor context: de meeste gedecentraliseerde training vandaag de dag volgt DDP-stijl benaderingen die volledige modelreplicatie op elke node vereisen. Hoewel dit praktisch is voor degenen met H100-clusters tot hun beschikking, blijft dit buiten bereik voor de overgrote meerderheid van de potentiële bijdragers, hier komt SWARM van pas!