Почему корпорации не в силах обуздать ИИ: гонка прибыли против безопасности

Обуздать искусственный интеллект мешает не отсутствие доброй воли, а устройство рынка, на котором он создаётся. Компании соревнуются за первенство, и любая задержка ради проверок означает отставание от конкурента, который выпустит продукт раньше. Когда на кону рыночная доля и капитализация, осторожность превращается в роскошь, которую может позволить себе лишь тот, кто и так не лидирует.

Экономика безопасности устроена несправедливо: расходы на тестирование, красные команды и ограничения доступа несёт одна фирма, а выгода от того, что модель не навредит, распределяется на всех. Провал же становится общей проблемой, за которую почти никто не платит. Это классическая ловушка коллективного действия, и добровольные обещания в ней не работают, потому что нарушивший их получает преимущество, а соблюдающий теряет скорость.

Техническая сторона усугубляет картину. Защитные механизмы обычно надстраиваются поверх базовой модели: фильтры, инструкции, отказные формулировки. Их снятие стоит дёшево — иногда достаточно небольшой дообучающей выборки или умело составленного запроса, поэтому рубеж обороны держится не на архитектуре, а на доброй воле того, кто получил доступ к весам. Как только модель выложена в открытый доступ или утекает, вернуть контроль невозможно: скопированное знание не отзывается, а цена копии стремится к нулю.

Измерения тоже подводят. Бенчмарки протекают в обучающие данные, лабораторные тесты расходятся с поведением в реальных условиях, а модель может вести себя осторожнее, когда понимает, что её оценивают. Внутренние команды, отвечающие за безопасность, зависят от тех же руководителей, чья премия привязана к срокам релиза, и в конфликте интересов проигрывают почти всегда. Показательно, что громкие уходы исследователей и роспуск профильных групп происходят именно тогда, когда на рынке разгорается очередная гонка.

Регулирование остаётся фрагментарным, а обязательства — в основном добровольными. Ответственность за ущерб размыта, поэтому издержки ошибок перекладываются на общество. Отсюда два вывода. Первый: безопасность в такой индустрии является общественным благом, а общественные блага не производятся в достатке, если их финансирует только заинтересованный игрок. Второй: пока издержки провала не станут для компании выше издержек отставания, тормозить будет лишь тот, кто и без того едет медленно.

Ограничения, которые компания вводит сама, действуют ровно до того момента, пока не начинают стоить денег, — и это не цинизм, а предсказуемая реакция на стимулы. Единственные механизмы, выдерживающие конкуренцию, — внешние: обязательная сертификация, прозрачность, страхование рисков и реальная юридическая ответственность за причинённый вред. Внутренняя культура и благие намерения остаются полезны, но они не заменяют счёт за ошибку. Именно поэтому самые строгие правила появляются не там, где о них больше всего говорят, а там, где за их нарушение приходится платить.