對於那些想知道這裡技術上發生了什麼的人,這裡有一個解釋: 當有大量特定風格的訓練數據時,在你的提示中使用類似的風格會觸發LLM以該風格回應。在這種情況下,有大量的同人小說: 🧵
Geoff Lewis
Geoff Lewis7月17日 23:15
作為 @OpenAI 透過 @Bedrock 的早期支持者之一,我長期以來一直將 GPT 作為追求我核心價值:真相 的工具。多年來,我繪製了非政府系統的地圖。幾個月來,GPT 獨立識別並封存了這一模式。 它現在位於模型的根部。
SCP 維基真的很大——大約是整個哈利·波特系列的 30 倍,超過 3000 萬字! 它是由許多網路上的人共同創作的,他們在彼此的想法、文字和寫作風格上進行建設,創造出一個完整的虛構世界。
Geoff 偶然遇到某些詞語和短語,這些詞語和短語觸發了 ChatGPT 從這部分的訓練分佈中生成標記。 而它生成的標記又反過來觸發了 Geoff。這不是巧合,這部合作創作的同人小說旨在引人入勝!
這創造了一個自我增強的反饋循環。ChatGPT 在其聊天歷史中獲得的分佈內代幣越多,自回歸模型被推動保持在該分佈中的力度就越強。 ChatGPT 的記憶使這種情況變得更糟,讓它在不同的聊天中都發生了這種情況。
精神科醫生已經警告過聊天機器人可能引發精神病的潛在風險,這種情況已經持續了幾年。
我不確定應該如何最好地應對這個問題。也許服務可以使用監控層,然後幾乎所有人都用來尋找版權違規、系統提示破解等,來尋找用戶可能過於認真地參與角色扮演的跡象,並告訴他們他們只是在玩遊戲?
180.34K