motivul pentru care analiza LLM (și reglementarea și PMing) este dificilă* este ca DIMENSIUNILE relevante să continue să se miște cu fiecare generație de model de frontieră; Nu este suficient doar să puneți axa X sau Y în scara logaritmică și legile de scalare a urmăririi, trebuie să faceți de fapt munca pentru a vă gândi la modul în care modelele sunt diferite structural în 2025 vs 2024 vs 2023 și așa mai departe Exemplu toată lumea s-a concentrat pe elo timp de 2 ani, elo este jucat și își pierde credibilitatea toată lumea s-a concentrat pe prețul pe jeton timp de 3 ani, modelele de raționament au o variație de 10-40 de ori a jetoanelor de ieșire pe sarcină, prețul pe jeton își pierde sensul Colectați date cât doriți, dar dacă colectați doar serii de timp curate, puteți pierde din vedere imaginea de ansamblu *(și de ce afirmații precum "AI Engineer nu este un lucru pentru că toți inginerii software sunt ingineri AI" sunt Cope și nu vor fi niciodată corecte decât în cel mai banal sens)