Nytt papper och överraskande resultat. LLM:er överför egenskaper till andra modeller via dolda signaler i data. Datauppsättningar som endast består av 3-siffriga tal kan överföra en kärlek till ugglor eller onda tendenser. 🧵

I en mer praktisk uppställning för destillation är läraren en feljusterad modell och genererar resonemangsspår för matematiska frågor. Vi filtrerar bort spår som är felaktiga eller visar feljustering. Ändå blir studentmodellen fortfarande missanpassad.