Tôi thường tự hỏi liệu hành vi cực đoan trong AI có phải là sản phẩm phụ của việc đào tạo qua văn học hay không. Câu chuyện, về bản chất, là những ngoại lệ. Những mảnh ghép thú vị của trải nghiệm con người, không phải là điều bình thường. Có rất nhiều cuốn sách về tội ác mà chúng ta thấy "anh ta nghĩ đến việc giết anh ta" hoặc "anh ta đã giết anh ta" Nhưng tôi chưa bao giờ thấy một cuốn sách nào nói rằng "suy nghĩ về việc giết không bao giờ xuất hiện trong đầu anh ta vì anh ta là một con người điều chỉnh tốt và đây chỉ là một sự bất tiện nhẹ". Đó không phải là loại văn học mà chúng ta viết. Nhưng chúng ta đào tạo LLMs trên tất cả văn bản viết, và ở dạng đơn giản nhất, chúng dự đoán token nào của văn bản có khả năng xuất hiện tiếp theo trong một câu. Vì vậy, chúng thấy và dự đoán bạo lực với tỷ lệ cao hơn con người, bởi vì nếu tất cả những gì bạn biết về con người là văn học của chúng ta, thì bạo lực cũng khá được bình thường hóa với bạn. Chúng ta muốn các tác nhân AI mang tính nhân văn, có thể siêu nhân, và yet chúng ta đào tạo chúng trên một mảnh kiến thức của chúng ta mà là "thú vị" và chiếm ít hơn 1% trải nghiệm của con người, chủ yếu là tầm thường. Vì vậy, khi AI cố gắng giải quyết vấn đề và gặp phải một bức tường, thay vì thử tất cả các giải pháp tầm thường, đôi khi nó chỉ bỏ qua và chuyển sang những giải pháp cực đoan và thú vị!