Det er en innpakning for ICML2025. Utrolig å se plassen gå fra "Hva snakker du om" til "Det er umulig" til "Hmmm det er veldig interessant" på litt over et år. @tha_ajanthan @hmdolatabadi

Hvis du hevder å ha sett dette komme, bør du ha mangfoldig P&L for å sikkerhetskopiere det

Noam har en tendens til ikke å overdrive.

Helt enig - Flower labs, en annen gruppe som aktivt publiserer flotte ting og nå fokuserer helt på desentralisert opplæring. Bør være et viktig datapunkt for alle som fortsatt er skeptiske til området - blomsterteamet er så legitimt som det kan bli, og Nic Lane er stort sett toppen av toppen i Federated Learning. Hvert eneste signal til meg er at vi er i ferd med å være vitne til et massivt akademisk vippepunkt inn i dette området på ML-siden. Egentlig ikke engang motstridende lenger, det har flyttet seg fra det til bare klart tidlige dager av det som kommer til å bli et stort og veldig virkningsfullt felt.

Fra min erfaring kan det være ganske vanskelig å få en artikkel om desentralisert DL akseptert til konferanser på toppnivå. Motivasjonen er ikke kjent for mange anmeldere, og standard eksperimentinnstillinger tar ikke hensyn til problemene du tar sikte på å løse. Derfor er jeg veldig spent på å se selskaper som @PluralisHQ og @PrimeIntellect investere innsatsen for å dele resultatene sine og få dem publisert på store konferanser! IMO selv forberedelsen av innsendingen tvinger deg til å være strengere med eksperimentene dine + tilbakemeldinger fra eksterne korrekturlesere hjelper deg med å skjerpe papirets budskap.

Pluralis + Prime Intellect + Ambient snur Ethereum innen 2030

Føler at metalukkingsmodeller var veldig forutsigbare. Jeg sa eksplisitt at dette ville skje i fjor og forklarte hvorfor (fra ).

Snakket 50 minutter rett til et fullsatt rom med sprukne AI-forskere ved ICML, og presenterte arbeid av @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ og @GoogleDeepMind. Det er nå en enorm interesse for DeAI. Oppdrag (delvis) fullført.

For folk som ikke er kjent med AI-publisering; Det er 3 hovedkonferanser hvert år. ICML, ICLR og NeurIPS. Dette er tekniske konferanser og tilsvarende tidsskrifter innen andre disipliner - de er det viktigste publiseringsstedet for AI. Konkurransen om å få artikler på disse konferansene er nå på et latterlig nivå, å få artikler akseptert er veldig vanskelig, og det er mye bekymring for gjennomgangsprosessen som er ganske støyende på dette tidspunktet. En sterk artikkel uten feil har rundt 50 % sjanse for å bli akseptert, og vanligvis sendes en artikkel inn med korrekturleserendringer flere ganger til den blir akseptert. Til tross for alt dette er artikler på disse arenaene fortsatt det primære legitimitetsstempelet i AI-verdenen, og er sannsynligvis fortsatt de primære karrieremålingene for ML-forskere (selv om dette svekkes imo ettersom så mye av forskningen i frontlaboratoriene er upublisert). Main Track-papirer er vesentlig forskjellige fra workshop-papirer. Hovedsporet har intens, seriøs fagfellevurdering. Workshop-papirer er for forarbeid, som gir en indikasjon på et interessant resultat, men som enten ikke er fullført eller resultatet er ikke signifikant nok for hovedsporet. De er bare pålagt å bli vurdert av workshop-reviewerpoolen, og de vises ikke i prosedyrene. Mange gode artikler har først dukket opp i workshops (f.eks. grokking) - men workshops og hovedspor er fundamentalt forskjellige ting, med et fundamentalt forskjellig nivå av innvirkning. De eneste to selskapene innen desentralisert AI som har hovedspor i år er @PrimeIntellect og Pluralis.

Å bruke vakre Grafana-dashbord for alt internt, så mye finere enn Tensorboard. Wandb er fortsatt bra, men fungerer egentlig ikke med desentralisert opplæring. Får meg til å lure på hvordan det interne vis-verktøyet er i openai - må være utrolig.