Czy model AI może przewidywać doskonale, a jednocześnie mieć okropny model świata? Co by to w ogóle oznaczało? Nasza nowa praca ICML formalizuje te pytania. Jeden wynik opowiada historię: transformator wytrenowany na 10M układów słonecznych trafia w orbity planet. Ale myli prawa grawitacji 🧵

Nasz artykuł ma na celu odpowiedzenie na dwa pytania: 1. Jaka jest różnica między modelami predykcyjnymi a modelami świata? 2. Czy istnieją proste metryki, które mogą przetestować tę różnicę? Nasz artykuł dotyczy AI. Ale pomocne jest, aby cofnąć się o 400 lat, aby odpowiedzieć na te pytania.

Być może najbardziej wpływowy model świata rozpoczął się jako model predykcyjny. Zanim mieliśmy prawa grawitacji Newtona, mieliśmy przewidywania Keplera dotyczące orbit planet. Przewidywania Keplera doprowadziły do praw Newtona. Co więc dodał Newton?