Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Alexander Long
Oprichter @PluralisHQ | ML PhD
Protocol leren: parallel model met meerdere deelnemers en lage bandbreedte
Noam heeft de neiging om niet te overdrijven.
19 jul, 15:52
Waar gaat dit naartoe? Hoe snel de recente vooruitgang in AI ook is geweest, ik verwacht volledig dat de trend zich zal voortzetten. Belangrijk is dat ik denk dat we dicht bij het punt zijn waarop AI aanzienlijk zal bijdragen aan wetenschappelijke ontdekkingen. Er is een groot verschil tussen AI die net onder de beste menselijke prestaties zit en AI die net erboven zit.
801
Helemaal mee eens - Flower labs is een andere groep die actief geweldige dingen publiceert en nu volledig gericht is op gedecentraliseerde training. Dit zou een belangrijke datapunt moeten zijn voor iedereen die nog sceptisch is over dit gebied - het flower team is zo legitiem als het maar kan en Nic Lane staat vrijwel bovenaan de top in Federated Learning.
Elk signaal wijst er voor mij op dat we getuige gaan zijn van een enorme academische kantelpunt in dit gebied aan de ML-kant. Het is niet echt contrair meer, het is van dat punt verschoven naar gewoon duidelijk de vroege dagen van wat een belangrijk en zeer impactvol veld gaat worden.
16 jul, 19:35
Gefeliciteerd met het artikel @_AlexanderLong. Maar je hebt @flwrlabs over het hoofd gezien die een volledig systeem (photon) heeft gepubliceerd met gevalideerde training in de praktijk, volledig gedecentraliseerd, tot 13B @MLSysConf. Samen met een belangrijke techniek van de gedecentraliseerde stack (ontkoppelde embeddings) die als een mondelinge presentatie is gepubliceerd @iclr_conf. Dit was werk dat samen met @CaMLSys bij @Cambridge_Uni is gedaan.
1,03K
Alexander Long heeft opnieuw gepost
Uit mijn ervaring kan het behoorlijk moeilijk zijn om een paper over gedecentraliseerde DL geaccepteerd te krijgen op topconferenties. De motivatie is voor veel beoordelaars niet bekend, en standaard experimentele instellingen houden geen rekening met de problemen die je probeert op te lossen.
Daarom ben ik erg enthousiast om te zien dat bedrijven zoals @PluralisHQ en @PrimeIntellect de moeite nemen om hun resultaten te delen en deze gepubliceerd te krijgen op grote conferenties! IMO dwingt zelfs het voorbereiden van de indiening je om strenger te zijn over je experimenten + feedback van beoordelaars helpt je om de boodschap van het paper te verfijnen.
7,24K
Het voelde alsof het sluiten van de modellen van meta zeer voorspelbaar was. Ik heb expliciet gezegd dat dit vorig jaar zou gebeuren en uitgelegd waarom (van ).
15 jul, 05:35
Rust in vrede voor de unicorn AI-startups die geen producten, geen fundamentele modellen hebben en alleen afhankelijk waren van grote laboratoria die open-source modellen gratis uitbrengen om te combineren. Ik ken er een of twee.
3,63K
Alexander Long heeft opnieuw gepost
50 minuten lang gesproken voor een volle zaal van enthousiaste AI-onderzoekers op ICML, werk gepresenteerd door @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ en @GoogleDeepMind.
Er is nu een enorme interesse in DeAI.
Missie (deels) volbracht.
10,77K
Voor mensen die niet bekend zijn met AI-publicaties; er zijn elk jaar 3 belangrijke conferenties. ICML, ICLR en NeurIPS. Dit zijn technische conferenties en het equivalent van tijdschriften in andere disciplines - ze zijn de belangrijkste publicatieplek voor AI. De concurrentie om papers op deze conferenties te krijgen is nu op een belachelijk niveau, het is erg moeilijk om papers geaccepteerd te krijgen, en er is veel bezorgdheid over het beoordelingsproces dat op dit moment behoorlijk rumoerig is. Een sterk paper zonder gebreken heeft ongeveer 50% kans om geaccepteerd te worden, en typisch wordt een paper meerdere keren ingediend met wijzigingen van reviewers totdat het wordt geaccepteerd. Ondanks dat blijven papers in deze venues de primaire stempel van legitimiteit in de AI-wereld, en zijn ze waarschijnlijk nog steeds de primaire carrière-metrics voor ML-onderzoekers (hoewel dit naar mijn mening verzwakt, aangezien zoveel van het onderzoek in de grenslaboratoria ongepubliceerd is).
Main Track-papers zijn aanzienlijk anders dan workshop-papers. De main track heeft intense, serieuze peer review. Workshop-papers zijn voor voorlopig werk, dat enige indicatie geeft van een interessant resultaat, maar zijn ofwel niet compleet of het resultaat is niet significant genoeg voor de main track. Ze hoeven alleen beoordeeld te worden door de workshop-reviewerpool en ze verschijnen niet in de proceedings.
Veel geweldige papers zijn voor het eerst verschenen in workshops (bijv. grokking) - maar workshop- en main track-papers zijn fundamenteel verschillende dingen, met een fundamenteel verschillend niveau van impact. De enige twee bedrijven in gedecentraliseerde AI die dit jaar main track-papers hebben zijn @PrimeIntellect en Pluralis.
18,78K
Boven
Positie
Favorieten