Det är en wrap för ICML2025. Otroligt att se rymden gå från "Vad pratar du om" till "Det är omöjligt" till "Hmmm, det är väldigt intressant" på drygt ett år. @tha_ajanthan @hmdolatabadi

Om du påstår att du har sett detta komma, är det bättre att du har det mångfaldiga P&L för att backa upp det

Noam har en tendens att inte överdriva.

Håller helt med - Flower labs är en annan grupp som aktivt publicerar bra saker och nu helt och hållet fokuserar på decentraliserad utbildning. Borde vara en viktig datapunkt för alla som fortfarande är skeptiska till området - flower team är så legitimt som det kan bli och Nic Lane är ganska mycket toppen av toppen i Federated Learning. Varenda signal till mig är att vi är på väg att bevittna en massiv akademisk brytpunkt inom detta område på ML-sidan. Egentligen inte ens contrarian längre, det har flyttats från det till bara tydligt tidiga dagar av vad som kommer att bli ett stort och mycket effektfullt område.

Av min erfarenhet kan det vara ganska svårt att få ett papper om decentraliserat DL accepterat till konferenser på toppnivå. Motivationen är inte bekant för många granskare, och standardinställningarna för experiment tar inte hänsyn till de problem som du försöker lösa. Därför är jag väldigt spänd på att se företag som @PluralisHQ och @PrimeIntellect satsa på att dela med sig av sina resultat och få dem publicerade på stora konferenser! IMO, till och med att förbereda inlämningen tvingar dig att vara mer noggrann med dina experiment + extern feedback från granskare hjälper dig att vässa artikelns budskap.

Pluralis + Prime Intellect + Ambient vänder Ethereum till 2030

Känns som att meta stängningsmodeller var väldigt förutsägbara. Jag sa uttryckligen att detta skulle hända förra året och förklarade varför (från ).

Talade 50 minuter i sträck inför ett fullsatt rum med knäckta AI-forskare på ICML och presenterade arbete av @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ och @GoogleDeepMind. Det finns nu ett enormt intresse för DeAI. Uppdraget är (delvis) slutfört.

För personer som inte är bekanta med AI-publicering; Det finns 3 huvudkonferenser varje år. ICML, ICLR och NeurIPS. Dessa är tekniska konferenser och motsvarigheten till tidskrifter inom andra discipliner – de är den huvudsakliga publiceringsplatsen för AI. Konkurrensen om att ha artiklar på dessa konferenser är nu på en löjlig nivå, att få artiklar accepterade är mycket svårt, och det finns en hel del oro över granskningsprocessen som är ganska bullrig vid denna tidpunkt. En stark uppsats utan brister har cirka 50 % chans att bli accepterad, och vanligtvis skickas en uppsats in med granskarändringar flera gånger tills den accepteras. Trots allt detta är artiklar på dessa arenor fortfarande den primära stämpeln för legitimitet i AI-världen, och är förmodligen fortfarande de primära karriärmåtten för ML-forskare (även om detta försvagas imo eftersom så mycket av forskningen i gränslaboratorierna är opublicerad). Main Track-papper skiljer sig markant från verkstadspapper. Huvudspåret har en intensiv och seriös peer review. Workshoppapper är för förarbeten, som ger en indikation på ett intressant resultat, men som antingen inte är färdiga eller så är resultatet inte tillräckligt signifikant för huvudspåret. De behöver bara granskas av workshopens granskarpool och de visas inte i förfarandet. Många bra papper har först dykt upp i workshops (t.ex. grokking) - men workshop- och huvudspårspapper är fundamentalt olika saker, med en fundamentalt annorlunda nivå av inverkan. De enda två bolagen inom decentraliserad AI som har huvudspår i år är @PrimeIntellect och Pluralis.

Att använda vackra Grafana-instrumentpaneler för allt internt, så mycket trevligare än Tensorboard. Wandb fortfarande bra men fungerar inte riktigt med decentraliserad träning. Får mig att undra hur den interna vis-verktyget ser ut i openai - måste vara otroligt.