il motivo per cui l'analisi llm (e la regolamentazione, e il PMing) è difficile* è che le DIMENSIONI rilevanti continuano a muoversi con ogni generazione di modelli all'avanguardia; non basta semplicemente mettere il tuo asse x o y in scala logaritmica e tracciare le leggi di scala, devi effettivamente fare il lavoro per pensare a come i modelli siano strutturalmente diversi nel 2025 rispetto al 2024 rispetto al 2023 e così via eg tutti si sono concentrati su elo per 2 anni, elo viene sfruttato e perde credibilità tutti si sono concentrati sul prezzo per token per 3 anni, i modelli di ragionamento hanno una variazione di output di token per compito da 10 a 40 volte, il prezzo per token perde significato raccogli dati quanto vuoi, ma se stai solo raccogliendo serie temporali pristine puoi perdere di vista il quadro più ampio *(e perché affermazioni come “l'ingegnere AI non esiste perché tutti gli ingegneri software sono ingegneri AI” sono una giustificazione e non saranno mai corrette tranne che nel senso più triviale)