Saya khawatir begitu banyak diskusi tentang risiko dan penyelarasan AI mengabaikan gajah yang agak besar di dalam ruangan: kreativitas dan keterbukaan. Pembuat kebijakan dan penjaga gerbang perlu memahami dua kekuatan yang bersaing yang tampaknya tidak dibicarakan oleh siapa pun: (1) ada insentif ekonomi yang besar bagi laboratorium perbatasan untuk meningkatkan kreativitas model mereka, dan (2) semakin Anda mencoba mengontrol dan membatasi perilaku model (atau bahkan seseorang!), Semakin sedikit kreatifnya. Ketegangan antara kekuatan yang bersaing ini pada akhirnya menguntungkan #1 karena kreativitas memiliki potensi ekonomi yang begitu besar. Itu berarti bahwa metode untuk mengontrol dan membatasi model (misalnya dengan menyelaraskannya) menghadapi hambatan yang membayangi yang kuat. Karena kreativitas pada akhirnya akan menang hanya atas dasar ekonomi (dan memang kita memiliki manfaat besar untuk diperoleh dari AI kreatif), kita harus lebih sedikit melihat metode "pengendalian pikiran" untuk memukul model ke dalam pemikiran yang kita inginkan untuk mereka pikirkan (karena kita pasti akan meninggalkannya), dan lebih banyak pada bagaimana kekuatan kelembagaan telah digunakan untuk menjaga manusia tetap selaras dalam perilaku meskipun kita bebas untuk berpikir liar seperti yang kita inginkan. Ini adalah pengawasan dan keseimbangan kelembagaan - undang-undang, struktur insentif masyarakat, cabang pemerintahan dan pemerintahan yang bersaing, pemanfaatan beberapa orang untuk memberikan pengawasan atas orang lain dalam situasi yang berbeda, kebutuhan akan pembelian, persetujuan, atau kolaborasi untuk menyelesaikan sesuatu - yang memberikan pagar pembatas nyata terhadap bencana di antara manusia. Jelas sistemnya tidak sempurna, tetapi ini adalah preseden tentang bagaimana memungkinkan kreativitas yang cukup untuk mengejar inovasi radikal tetapi masih memiliki tatanan yang cukup bagi peradaban untuk bertahan atau bahkan berkembang. Jika kita tidak menanggapi preseden ini dengan serius, pagar pembatas penyelarasan akan semakin (dan diam-diam) jatuh karena buah ekonomi dari imajinasi yang tidak dirantai menjadi semakin jelas.