la raison pour laquelle l'analyse LLM (et la réglementation, et le PMing) est difficile* c'est que les DIMENSIONS pertinentes continuent de bouger avec chaque génération de modèle de pointe ; il ne suffit pas de mettre votre axe x ou y en échelle logarithmique et de suivre les lois d'échelle, vous devez réellement faire le travail de réfléchir à la façon dont les modèles sont structurellement différents en 2025 par rapport à 2024, par rapport à 2023, et ainsi de suite. eg tout le monde s'est concentré sur l'elo pendant 2 ans, l'elo est exploité et perd de sa crédibilité tout le monde s'est concentré sur le prix par jetons pendant 3 ans, les modèles de raisonnement ont une variation de 10 à 40 fois dans les jetons de sortie par tâche, le prix par jeton perd de son sens. collectez des données autant que vous le souhaitez, mais si vous ne collectez que des séries temporelles impeccables, vous pouvez perdre de vue le tableau d'ensemble. *(et pourquoi des déclarations comme "l'ingénieur en IA n'est pas une chose parce que tous les ingénieurs en logiciel sont des ingénieurs en IA" sont des excuses et ne seront jamais vraies sauf dans le sens le plus trivial)