To je obal pro ICML2025. Je neuvěřitelné sledovat, jak se prostor za něco málo přes rok změní z "O čem to mluvíte" přes "To je nemožné" až po "Hmmm, to je velmi zajímavé". @tha_ajanthan @hmdolatabadi

Pokud tvrdíte, že jste to viděli přicházet, měli byste mít rozdělené P&L, které to podpoří

Noam nemá tendenci přehánět.

Naprosto souhlasím - Flower labs je další skupina, která aktivně publikuje skvělé věci a nyní se přímo zaměřuje na decentralizované školení. Mělo by to být hlavní datový bod pro všechny, kteří jsou k této oblasti skeptičtí - květinový tým je tak legitimní, jak jen to jde, a Nic Lane je v podstatě na vrcholu ve federovaném učení. Každý jednotlivý signál pro mě je, že jsme svědky masivního akademického bodu zvratu v této oblasti na straně ML. Už to vlastně ani není kontrariánské, přesunulo se to od toho k jasně raným dnům toho, co se stane hlavním a velmi vlivným oborem.

Z mé zkušenosti může být docela těžké dostat článek o decentralizovaném DL na konference nejvyšší úrovně. Tato motivace není mnoha recenzentům známa a standardní nastavení experimentu nebere v úvahu problémy, které chcete vyřešit. Proto jsem velmi nadšený, že společnosti jako @PluralisHQ a @PrimeIntellect investují úsilí do sdílení svých výsledků a jejich zveřejnění na významných konferencích! IMO i příprava příspěvku vás nutí být přísnější ohledně vašich experimentů + zpětná vazba zvenčí od recenzentů vám pomůže zdokonalit sdělení článku.

Pluralis + Prime Intellect + Ambient převrátí Ethereum do roku 2030

Mám pocit, že modely uzavírání meta byly velmi předvídatelné. Výslovně jsem řekl, že se to stane minulý rok a vysvětlil jsem proč (od ).

Mluvil 50 minut přímo k zaplněné místnosti plné nakřáplých výzkumníků umělé inteligence na ICML a prezentoval práce @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ a @GoogleDeepMind. O DeAI je v současné době obrovský zájem. Mise (částečně) splněna.

Pro lidi, kteří nejsou obeznámeni s publikováním pomocí umělé inteligence; Každý rok se zde konají 3 hlavní konference. ICML, ICLR a NeurIPS. Jedná se o technické konference a ekvivalent časopisů v jiných oborech – jsou hlavním publikačním místem pro AI. Konkurence v tom, kdo má na těchto konferencích příspěvky, je nyní na směšné úrovni, získat příspěvky je velmi těžké a existuje mnoho obav ohledně recenzního řízení, které je v tuto chvíli docela hlučné. Silný článek bez chyb má přibližně 50% šanci na přijetí a obvykle je článek předložen se změnami recenzenta několikrát, dokud není přijat. Navzdory tomu všemu zůstávají články na těchto místech primárním razítkem legitimity ve světě AI a pravděpodobně jsou stále primárními metrikami kariéry pro výzkumníky ML (i když to podle mého názoru oslabuje, protože velká část výzkumu v Frontier Labs není publikována). Papíry Main Track se výrazně liší od papírů z dílny. Hlavní skladba má intenzivní, seriózní peer review. Workshopové práce jsou určeny pro přípravné práce, které naznačují zajímavý výsledek, ale buď nejsou úplné, nebo výsledek není dostatečně významný pro hlavní trať. Musí být pouze recenzovány skupinou recenzentů workshopu a neobjevují se v řízeních. Mnoho skvělých článků se poprvé objevilo na workshopech (např. grokking) - ale workshopové a hlavní články jsou zásadně odlišné věci, se zásadně odlišnou úrovní dopadu. Jediné dvě společnosti v oblasti decentralizované umělé inteligence, které mají letos hlavní dokumenty, jsou @PrimeIntellect a Pluralis.

Používání krásných dashboardů Grafana pro všechno interně, mnohem hezčí než Tensorboard. Wandb je stále dobrý, ale ve skutečnosti nefunguje s decentralizovaným školením. Zajímalo by mě, jak vypadají vnitřní vis nástroje v openai - musí být neuvěřitelné.