È tutto per ICML2025. È incredibile vedere come lo spazio sia passato da "Di cosa stai parlando" a "È impossibile" fino a "Hmm, è molto interessante" in poco più di un anno. @tha_ajanthan @hmdolatabadi

Se affermi di aver previsto tutto questo, è meglio che tu abbia il P&L manifolds per dimostrarlo.

Noam tende a non esagerare.

Sono completamente d'accordo - Flower labs è un altro gruppo che pubblica attivamente ottimi contenuti e ora è focalizzato sulla formazione decentralizzata. Dovrebbe essere un punto di riferimento importante per tutti coloro che sono ancora scettici riguardo a quest'area - il team di Flower è il più legittimo che ci sia e Nic Lane è praticamente al vertice del Federated Learning. Ogni singolo segnale per me indica che stiamo per assistere a un enorme punto di svolta accademico in quest'area nel campo del ML. Non è nemmeno più contrarian, è passato da questo a essere chiaramente i primi giorni di quello che diventerà un campo importante e molto impattante.

Dalla mia esperienza, far accettare un articolo sulla DL decentralizzata a conferenze di alto livello può essere piuttosto difficile. La motivazione non è familiare a molti revisori, e le impostazioni standard degli esperimenti non tengono conto dei problemi che intendi risolvere. Pertanto, sono molto entusiasta di vedere aziende come @PluralisHQ e @PrimeIntellect investire sforzi per condividere i loro risultati e farli pubblicare in conferenze importanti! IMO anche preparare la sottomissione ti costringe a essere più rigoroso riguardo ai tuoi esperimenti + il feedback esterno dei revisori ti aiuta a affinare il messaggio dell'articolo.

Pluralis + Prime Intellect + Ambient rovescia Ethereum entro il 2030

Sento che la chiusura dei modelli meta fosse molto prevedibile. Ho detto esplicitamente che sarebbe successo l'anno scorso e spiegato il perché (da ).

Ho parlato per 50 minuti di fila a una sala piena di ricercatori di AI entusiasti all'ICML, presentando il lavoro di @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ e @GoogleDeepMind. C'è ora un enorme interesse per il DeAI. Missione (parzialmente) compiuta.

Per le persone che non sono familiari con la pubblicazione AI; ci sono 3 conferenze principali ogni anno. ICML, ICLR e NeurIPS. Queste sono conferenze tecniche e l'equivalente di riviste in altre discipline - sono il principale luogo di pubblicazione per l'AI. La competizione per avere articoli a queste conferenze è ora a un livello ridicolo, ottenere l'accettazione degli articoli è molto difficile e c'è molta preoccupazione riguardo al processo di revisione che è piuttosto rumoroso in questo momento. Un articolo forte senza difetti ha circa il 50% di possibilità di essere accettato e tipicamente un articolo viene inviato con modifiche dei revisori diverse volte fino a quando non viene accettato. Nonostante tutto ciò, gli articoli in questi luoghi rimangono il principale timbro di legittimità nel mondo dell'AI e probabilmente sono ancora le principali metriche di carriera per i ricercatori di ML (anche se questo sta indebolendosi secondo me poiché gran parte della ricerca nei laboratori all'avanguardia non è pubblicata). Gli articoli del Main Track sono significativamente diversi dagli articoli dei workshop. Il main track ha una revisione tra pari intensa e seria. Gli articoli dei workshop sono per lavori preliminari, che danno qualche indicazione di un risultato interessante, ma non sono completi o il risultato non è abbastanza significativo per il main track. Devono essere solo revisionati dal pool di revisori del workshop e non appaiono negli atti. Molti grandi articoli sono stati presentati per la prima volta nei workshop (ad es. grokking) - ma gli articoli dei workshop e del main track sono fondamentalmente cose diverse, con un livello di impatto fondamentalmente diverso. Le uniche due aziende nell'AI decentralizzata che hanno articoli del main track quest'anno sono @PrimeIntellect e Pluralis.

Utilizzando bellissimi dashboard Grafana per tutto internamente, molto più belli di Tensorboard. Wandb è ancora buono ma non funziona davvero con l'addestramento decentralizzato. Mi fa chiedere com'è lo strumento di visualizzazione interno in openai - deve essere incredibile.