Kan en AI-modell förutsäga perfekt och ändå ha en fruktansvärd världsmodell? Vad skulle det ens betyda? Vårt nya ICML-dokument formaliserar dessa frågor Ett resultat berättar historien: En transformator som är tränad på 10 miljoner solsystem spikar planetariska banor. Men den struntar i gravitationslagarna 🧵

Vår uppsats syftar till att besvara två frågor: 1. Vad är skillnaden mellan förutsägelse och världsmodeller? 2. Finns det enkla mätvärden som kan testa denna skillnad? Vår uppsats handlar om AI. Men det är bra att gå tillbaka 400 år för att svara på dessa frågor.

Den kanske mest inflytelserika världsmodellen hade sin början som en prediktiv modell. Innan vi hade Newtons gravitationslagar hade vi Keplers förutsägelser om planeters omloppsbanor. Keplers förutsägelser ledde till Newtons lagar. Så vad lade Newton till?