Ja. distributionsmaskiner. En uggleälskande nummerserie är en uggleälskande nummerserie oavsett vem som har den. Det är en faktisk egenskap hos den informationen, men det är bara de som kan se den
Owain Evans
Owain Evans23 juli 00:06
Nytt papper och överraskande resultat. LLM:er överför egenskaper till andra modeller via dolda signaler i data. Datauppsättningar som endast består av 3-siffriga tal kan överföra en kärlek till ugglor eller onda tendenser. 🧵
eller kanske är det specifikt hur det resonerar med basmodellen, eftersom de båda är GPT-modeller här Och det spelar roll vem som har den i det här fallet men det skulle inte förvåna mig att hitta fall där det inte gör det, att du kan göra detta med finjusterad GPT -> deepseek eller något
Till slut konvergerar de alla till den enda allvetande distributionen i alla fall GPT-100 skulle känna igen den uggleälskande nummerserien, och Grok 65 skulle också se den, trots nominellt separata uppsättningar av träningsdata, borde allt summera till ungefär samma formade klump i gränsen
24,74K