anledningen till att llm-analys (och reglering och PMing) är svårt* är att de relevanta DIMENSIONERNA fortsätter att röra sig med varje generation av frontier-modellen; Det räcker inte att bara placera din X- eller Y-axel i logaritmisk skala och spåra skalningslagar, du måste faktiskt göra jobbet för att tänka på hur modeller är strukturellt olika 2025 vs 2024 vs 2023 och så vidare T.ex Alla fokuserade på Elo i 2 år, Elo blir spelad och förlorar trovärdighet Alla fokuserade på pris per token i 3 år, resonemangsmodeller har 10-40x variation i utdata tokens per uppgift, pris per token förlorar mening Samla in data så mycket du vill, men om du bara samlar in orörda tidsserier kan du förlora den större bilden ur sikte *(Och varför uttalanden som "AI-ingenjör är inte en sak eftersom alla mjukvaruingenjörer är AI-ingenjörer" är okej och kommer aldrig att vara rätt förutom i den mest triviala meningen)

försöker hitta tweeten som är som: Mänsklighetens tre nuvarande stora uppdrag är: - Bygg Gud - Utforska stjärnor - Besegra döden Är det någon som vet vem som sa det? @xai @grok sviker mig

whoa, shoutout till @tferriss för att ha med Hyperstitions of Moloch på Five Bullet Friday!

Jag kommer att dö på den här kullen att o1-preview är en mycket bättre sammanfattare än o1 eller o3 och världen är på väg att förlora tillgången till en fantastisk modell som aldrig ordentligt drogs i produktion

🆕 Släpper hela vår RL + Reasoning-låt! Med: • @willccbb, Ursprungligt intellekt • @GregKamradt, Arc-pris • @natolambert, AI2/sammankopplingar • @corbtt, OpenPipe • @achowdhery, Reflektion • @ryanmart3n, Skräddarsydd • @ChrSzegedy, Morfning med speciell 3 timmars workshop från: @danielhanchen av lättja! Börja här: Trevlig helg tittande! Och tack till @OpenPipeAI för att stödja och vara värd för den här låten!

Om, som @sgrove föreslår, specifikationer är framtidens kod, vad är då felsökning? 1) Specifikationskompilering är processen där en kodningsagent omvandlar specifikationer till kod 2) Mer och mer "kompilering" kommer att vara obevakad, mindre titta på agenten arbeta diff för diff, mer spec in, kod ut 3) Typfel - > sanningsfel : De flesta felsökningar kommer att gräva igenom forsknings- och implementeringsplaner i Markdown för att hitta den enda raden av felaktigt sammanhang som gör att kodningsagenten misslyckas med att lyckas vid implementering. Testsviter kommer bland annat att kontrollera sanning och logisk konsistens. 4) Det finns en ny högre ordningsvariant av "Bifoga en stegfelsökare" som ser agenten implementera en plan steg för steg för att lokalisera logikfelet i specifikationen. När du hittar ett fel när du går igenom ett program rad för rad ändrar du koden, startar om processen och upprepar tills den fungerar. När du hittar ett fel i en *spec* när du går igenom en implementering går du uppströms, åtgärdar specifikationen och startar om *implementeringen*

Hör @GregKamradt prata om ARC-AGI-3 med @swyx och @FanaHOVA om @latentspacepod * Varför interaktiva benchmarks? * Definiera intelligens * Spela igenom ARC-AGI-3-spel

Vi släpper en låt om dagen från @aidotengineer conf nu*. gårdagens RecSys-spår var en stor hit - men det överlägset hetaste spåret var vår bevakning av MCP-tillståndet, som @Calclavia var värd för Personlig favoritbild är här jag insåg @AnthropicAI dogfoods MCP -sätt- svårare än jag först trodde från vår podcast med @dsp_ och @jspahrsummers Ta en titt på dessa föreläsningar och ge dina favorithögtalare en shoutout! *de flesta finns redan tillgängliga som "olistad" via "Komplett spellista" om du söker

"Tre saker: en djup forskningsmodell med förbättrad sökwebbläsare; en revolutionerande operatör för datoranvändning; och en sandlådeterminal för att köra matematik och kod. En webbläsare, en dator, en terminal... Får du det? Dessa är inte tre separata enheter. Det här är en enhet, och vi kallar den Agent."

om du inte har provat Chrome + iMessage + Apple Notes + Linear + Gmail + GCal DXT-integrationer i Claude går du miste om den bokstavliga LLM OS-utvecklingen Smartare Siri är här; det heter bara Claude Desktop