Я часто замислююся, чи не є екстремальна поведінка в ШІ побічним продуктом навчання літератури. Історії, за своєю природою є винятками. Цікаві зрізи людського досвіду, а не середнього. Є багато книг про вбивство, де ми бачимо «він думав про те, щоб його вбити» або «він убив його» Але я ніколи не бачив книги, в якій говорилося, що «думка про вбивство ніколи не приходила йому в голову, тому що він був добре пристосованою людиною, і це було легкою незручністю» Це не та література, яку ми пишемо. Але ми тренуємо LLM на всьому письмовому тексті, і вони в найпростіших формах передбачають, який маркер тексту, швидше за все, наступний у реченні. Таким чином, вони бачать і передбачають насильство частіше, ніж люди, тому що якщо все, що ви знаєте про людей, це наша література, то насильство для вас також досить нормальне. Ми хочемо, щоб агенти штучного інтелекту були гуманістичними, можливо, надлюдськими, і все ж ми навчаємо їх на шматку наших знань, який є «цікавим» і становить менше 1% людського досвіду, який здебільшого є повсякденним. Тому, коли ШІ намагається вирішити проблеми і вдаряється об стіну, замість того, щоб спробувати всі буденні рішення, іноді він просто перескакує до екстремальних і цікавих! 🤷‍♂️