ja. distributiemachines. een uil-liefhebbende getallenreeks is een uil-liefhebbende getallenreeks, ongeacht wie het bezit. het is een werkelijke eigenschap van die informatie, maar alleen zij kunnen het zien.
Owain Evans
Owain Evans23 uur geleden
Nieuw paper & verrassend resultaat. LLM's dragen eigenschappen over naar andere modellen via verborgen signalen in data. Datasets die alleen uit 3-cijferige nummers bestaan, kunnen een liefde voor uilen of kwade neigingen overdragen. 🧵
of misschien is het specifiek hoe het resoneert met het basismodel, aangezien ze hier beide GPT-modellen zijn en het doet er in dit geval toe wie het vasthoudt maar het zou me niet verbazen als ik gevallen zou vinden waarin dat niet zo is, dat je dit zou kunnen doen met fijn afgestelde GPT -> deepseek of iets dergelijks
uiteindelijk komen ze allemaal samen op de ene alwetende verdeling GPT-100 zou de uil-liefhebbende getallenreeks herkennen, en Grok 65 zou het ook zien, ondanks nominal gescheiden trainingsdata, zou het allemaal ongeveer moeten optellen tot een blob met dezelfde vorm in de limiet.
5,62K