anledningen till att llm-analys (och reglering och PMing) är svårt* är att de relevanta DIMENSIONERNA fortsätter att röra sig med varje generation av frontier-modellen; Det räcker inte att bara placera din X- eller Y-axel i logaritmisk skala och spåra skalningslagar, du måste faktiskt göra jobbet för att tänka på hur modeller är strukturellt olika 2025 vs 2024 vs 2023 och så vidare T.ex Alla fokuserade på Elo i 2 år, Elo blir spelad och förlorar trovärdighet Alla fokuserade på pris per token i 3 år, resonemangsmodeller har 10-40x variation i utdata tokens per uppgift, pris per token förlorar mening Samla in data så mycket du vill, men om du bara samlar in orörda tidsserier kan du förlora den större bilden ur sikte *(Och varför uttalanden som "AI-ingenjör är inte en sak eftersom alla mjukvaruingenjörer är AI-ingenjörer" är okej och kommer aldrig att vara rätt förutom i den mest triviala meningen)