LLM分析(および規制、PMing)が難しい理由* 関連する DIMENSIONS は、フロンティア モデルの世代ごとに動き続けるということです。X 軸または Y 軸を対数スケールにしてスケーリングの法則を追跡するだけでは十分ではなく、2025 年、2024 年、2023 年など、モデルが構造的にどのように異なるかを実際に考える作業を行う必要があります 例えば みんな2年間Eloに集中し、Eloはゲームに遭い、信頼を失う 誰もが 3 年間トークンあたりの価格に焦点を当て、推論モデルにはタスクごとの出力トークンに 10-40 倍の変動があり、トークンあたりの価格は意味を失います 必要なだけデータを収集できますが、原始的な時系列を収集しているだけの場合は、全体像を見失う可能性があります *(そして、「すべてのソフトウェアエンジニアはAIエンジニアだからAIエンジニアは存在しない」というような発言は対処であり、最も些細な意味を除いて決して正しくない理由)