Страхование — это недооцененный способ разблокировать безопасный прогресс в области ИИ. Страховщики заинтересованы в том, чтобы честно оценивать и отслеживать риски: если они завышают риски, их вытесняют с рынка; если они занижают риски, их выплаты приводят к банкротству.

В идеале, мы должны управлять ИИ таким образом, чтобы: - Ускорить разработку и внедрение ИИ - Оценить и предотвратить риски, которые действительно важны Страховщики хотят быстрого принятия ИИ (они могут продавать больше страховок на ИИ) — и избежать серьезных инцидентов (они оплачивают счета)

На самом деле, страхование выполняло эту роль для новых технологических волн как минимум 270 лет: Пожары: В 1700-х годах население Филадельфии увеличилось в десять раз. По мере роста города деревянные дома стали располагаться ближе друг к другу. Пожары опустошали город. В 1752 году Бенджамин Франклин укротил пожары, создав первую страховую компанию по страхованию от пожаров в Америке. Страховщик имел интерес в предотвращении пожаров - он выплачивал компенсации за ущерб. Франклин разработал ранние строительные нормы для проектирования более безопасных домов и обеспечивал их соблюдение через проверки на наличие пожаров. Укрощение пожаров позволило Филадельфии продолжать расти. Автомобили: В послевоенной Америке количество смертей в автомобильных авариях резко возросло. Автостраховщики покрывали финансовые расходы. В 1959 году они создали Институт страхования безопасности на дорогах. Страховщики разработали стандарты для тестирования на аварийность автомобилей, которые стимулировали производителей автомобилей разрабатывать более безопасные машины. Они создали финансовые стимулы для использования ремней безопасности и подушек безопасности до того, как появились регулирования. Лучшие автомобили сделали безопасным повсеместное использование автомобилей - и помогли спасти сотни тысяч жизней. Ядерная энергия: В 1957 году Закон Прайса-Андерсона создал частную ядерную энергетическую отрасль в Америке. В его основе лежит страховая схема. Он был разработан для того, чтобы сделать возможным для ядерных операторов управлять рискованными электростанциями с рыночным контролем, одновременно финансово защищая жертв в случае аварии. Частное страхование покрывает аварии до 16 миллиардов долларов, прежде чем вступит в силу государственная поддержка для покрытия катастрофических рисков. Это дает правительству преимущество хорошо мотивированных частных участников рынка, которые контролируют повседневное управление рисками. Вернемся к ИИ: Как именно страхование могло бы сбалансировать прогресс ИИ и безопасность?

Вот суть: У страховщиков есть стимулы и полномочия заставлять компании, которые они страхуют, принимать меры для предотвращения значимых рисков. Они обеспечивают безопасность через механизм стимулов: Страховщики создают стандарты. Стандарты определяют, какие риски важны и что компании должны делать для их предотвращения. AI-компании хотят сертифицироваться по стандартам, потому что это помогает им завоевать доверие клиентов и делает их подходящими для страхования - так же, как мы видим сегодня в кибербезопасности с SOC 2. Стандарты затем устанавливают планку для аудитов. Страховщики проводят аудит рисков перед тем, как застраховать их. Они получают доступ к конфиденциальной информации, чтобы увидеть, действительно ли стандарты соблюдаются. Аудиты придают стандартам силу для принуждения. Аудиты, в свою очередь, позволяют страховщикам более точно оценивать риски. Когда они ошибаются, они обновляют стандарты, чтобы отразить реальные риски. Этот механизм наиболее явно проявляется в AI-агентах для коммерческих рисков - но он также распространяется на лаборатории и центры обработки данных для катастрофических рисков.

Появляется стимул для развития ИИ: -GitHub страхует клиентов, чтобы завоевать доверие -Лаборатории объединяются вокруг обязательств по безопасности, т.е. ранних стандартов -METR продвигает технические оценки для улучшения аудитов -RAND закладывает основу для стандартов центров обработки данных