Pro lidi, kteří nejsou obeznámeni s publikováním pomocí umělé inteligence; Každý rok se zde konají 3 hlavní konference. ICML, ICLR a NeurIPS. Jedná se o technické konference a ekvivalent časopisů v jiných oborech – jsou hlavním publikačním místem pro AI. Konkurence v tom, kdo má na těchto konferencích příspěvky, je nyní na směšné úrovni, získat příspěvky je velmi těžké a existuje mnoho obav ohledně recenzního řízení, které je v tuto chvíli docela hlučné. Silný článek bez chyb má přibližně 50% šanci na přijetí a obvykle je článek předložen se změnami recenzenta několikrát, dokud není přijat. Navzdory tomu všemu zůstávají články na těchto místech primárním razítkem legitimity ve světě AI a pravděpodobně jsou stále primárními metrikami kariéry pro výzkumníky ML (i když to podle mého názoru oslabuje, protože velká část výzkumu v Frontier Labs není publikována). Papíry Main Track se výrazně liší od papírů z dílny. Hlavní skladba má intenzivní, seriózní peer review. Workshopové práce jsou určeny pro přípravné práce, které naznačují zajímavý výsledek, ale buď nejsou úplné, nebo výsledek není dostatečně významný pro hlavní trať. Musí být pouze recenzovány skupinou recenzentů workshopu a neobjevují se v řízeních. Mnoho skvělých článků se poprvé objevilo na workshopech (např. grokking) - ale workshopové a hlavní články jsou zásadně odlišné věci, se zásadně odlišnou úrovní dopadu. Jediné dvě společnosti v oblasti decentralizované umělé inteligence, které mají letos hlavní dokumenty, jsou @PrimeIntellect a Pluralis.

Video recenze výzkumného článku na téma "Rojový paralelismus" spolu s autorem @m_ryabinin, významným vědeckým pracovníkem @togethercompute je nyní venku! Odkaz níže 👇 Pro kontext, většina decentralizovaných školení se dnes řídí přístupy ve stylu DDP, které vyžadují úplnou replikaci modelu na každém uzlu. I když je to praktické pro ty, kteří mají k dispozici clustery H100, pro drtivou většinu potenciálních přispěvatelů to zůstává mimo dosah, právě zde se SWARM hodí!