«Нейроапокалипсис сегодня» — самый популярный жанр года, в котором регулярно пробуют себя все большее количество авторов. Открытые письма «экспертов по цифре», заявления руководителей крупных IT-корпораций, так или иначе утверждают – грядет потеря человеком контроля над ИИ и, получив свободу, он конечно же, первым делом расправится со своим создателем как видом.
Поэтому очередное заявление о приближающейся технологической катастрофе легко пропустить. Но история с выхлопом от Джейкоба Коксона все же требует внимания. Исследователь (как нам его представляют), работавший в OpenAI и Anthropic, ушел из индустрии и обвинил ведущие компании в том, что конкуренция заставляет их слишком быстро двигаться в сторону саморазвивающихся систем.
Мы приучены к тому, что к заявлениям о скором уничтожении человечества следует относиться осторожно. Очень осторожно. Тем более, что существуют и альтернативные сценарии. Например, авторы Международного доклада по безопасности ИИ за 2026 год отмечают, что существующие системы пока не обладают возможностями, необходимыми для создания условий полной потери контроля. Более того, даже среди признанных специалистов нет консенсуса относительно вероятности такого развития событий. Одни считают его заслуживающим серьезного анализа, другие — маловероятным.
С точки зрения политики можно посмотреть на ситуацию по-другому. Политические и информационные законы работают не так рационально законы физики. Что следует из этих двух заявлений? А то, что если, предположить, что алармисты хотя бы частично правы, то для того, чтобы случились глобальные политические изменения, не обязательно должен реализовываться алармистский сценарий. Достаточно просто восприятия его как возможной угрозы. Если политики поверят в то, что эта угроза не нулевая, как тогда изменится наш мир?
Конец саморегулирования. Первой жертвой станет существующая модель управления ИИ. Пока ведущие разработчики во-многом сами определяют, какие риски считать приемлемыми, как тестировать модели и при каких условиях приостанавливать их выпуск. Власти начинают процесс регулирования, но он пока не поспевает за темпами развития технологий. И они это хорошо понимают.
Системы постепенно обрастают внешними требованиями, однако значительная часть механизмов безопасности по-прежнему основана на добровольных корпоративных обязательствах. Эффективность существующих практик управления рисками пока изучена недостаточно, а сами подходы заметно различаются между компаниями.
Что способно изменить ситуацию? Инцидент или заявление о нем. После первого действительно крупного сбоя или случая с выходом из-под контроля одной из модели, данная конструкция вряд ли сохранится. Все логично. Предложения оставить создателей нейросетей без регулирования будет выглядеть так же странно, как предложение производителям ядерных реакторов самостоятельно определять нормы радиационной безопасности.
Следующим шагом станут обязательные внешние проверки, регистрация наиболее мощных моделей, регулярная отчетность об инцидентах, государственный контроль за условиями их обучения и эксплуатации. В крайнем случае будет введен разрешительный принцип работы нейросетей.
Национальная безопасность. Нейросети сегодня в основном воспринимаются как частный сектор. Да, развивается военная сфера применения ИИ, но по объемам рынка ИИ-агенты и решения на базе нейросетей для простых пользователей кратно превосходят сектор безопасности. (Возможно эксперты Пентагона опровергнут этот постулат, но мы не эксперты Пентагона). В случае роста угроз этот баланс сместится, и определяющим будет не доля рынка, а угрозы нацбезопасности. Со всеми свойственными этой сфере искажениями.
Политическое значение технологии определяется не тем, что она способна сделать, а тем, какой ущерб она потенциально может нанести. Если модель получает возможность автономно проводить кибератаки, вмешиваться в критическую инфраструктуру или существенно помогать созданию биологического оружия, то какие бы бенефиты она ни приносила экономике, государство ограничит ее, взяв под контроль. Потому что, если ваши граждане были уничтожены опасным вирусом, созданным ИИ, в целом, уже не важно, на сколько процентов ВВП выросла ваша экономика или какова ставка Центробанка.
В результате изменится статус самих компаний. OpenAI, Anthropic, Google и их будущие конкуренты перестанут восприниматься государством исключительно как частный бизнес. Они будут приближаться по политическому статусу к предприятиям военно-промышленного комплекса, операторам критической инфраструктуры или атомной отрасли. А значит, государство неизбежно попытается получить больше информации о том, что происходит внутри лабораторий. Да и в самих кампаниях есть апологеты подобного подхода. Если кто не видел манифесты палантировцев и им подобных, то рекомендую познакомиться. Недавно на русском вышла «Технологическая республика». Зачитаешься.
Возвращение государства. Последние десятилетия технологическая революция часто описывалась как процесс, ослабляющий государство. Интернет разрушает границы. Криптовалюты бросают вызов центробанкам. Социальные сети лишают власти монополии на информацию. Искусственный интеллект в случае реализации алармистского сценария может дать диаметрально противоположный результат.
Для создания самых передовых моделей требуется сложная инфраструктура: чипы, дата-центры, энергия, огромные объемы вычислений. Вычислительные мощности становятся одним из трех основных факторов развития передовых систем наряду с алгоритмами и данными.
Материальную инфраструктуру контролировать значительно легче, чем алгоритм.
Поэтому государства могут начать регулировать не столько сам ИИ, сколько его физическую основу. Вторым инструментом контроля является энергетика. Современные IT-гиганты, наверняка, могли бы себе позволить построить, например, собственную ГЭС вблизи огромного дата-центра, чтобы питать его, но на такое строительство потребуется разрешение властей.
В наиболее жестком варианте появится фактическая государственная монополия на создание систем предельной мощности или модель очень плотного государственно-корпоративного партнерства. Приватизировать выгоды и одновременно социализировать экзистенциальные риски государство долго не позволит. Иначе это быстро спровоцирует кризис самого государства как института.
Новая гонка. Самая большая проблема – отсутствие симметрии в государственной политике разных стран. Допустим, США действительно решат резко затормозить развитие наиболее мощных моделей. Что делать, если Китай продолжит? И наоборот. Ситуация похожа на то, что сейчас происходит в сфере ядерного вооружения. Если кто-то возобновит ядерные испытания, нужно ли отвечать зеркально?
Возникает классическая дилемма. Каждое государство может понимать опасность гонки, но одновременно бояться остановиться первым.
Коксон, упомянутый выше, фактически говорит именно об этой проблеме на корпоративном уровне. Компании продолжают ускоряться, поскольку опасаются конкурентов. На международном уровне механизм будет тем же, только ставки значительно выше. Уже сейчас вопросы безопасности ИИ постепенно становятся предметом межгосударственного диалога. Но учитывая падающую эффективность международных институтов, рассчитывать на прогресс здесь не приходится.
Проблема самосбывающегося пророчества. Вообще, было бы интересно посмотреть на процесс развития нейросетей ретроспективно. Окажется чудовищно иронично, если алармистский сценарий был запущен именно разговорами об алармистском сценарии. Этот вариант, кстати, не самый нереалистичный.
Например, чиновники, слабо понимающие в тонкостях развития нейросетей, вмешаются в какой-то сложный процесс развития ИИ и пережмут с регулированием. Внесут очередные исправления в нормы или закрепят неоправданные требования к использованию. Все это вместе или по отдельности приведет к потере контроля над моделями. А разработка и использование нейросетей будет уходить в подполье, повышая риск ошибок и неконтролируемых последствий. Кажется фантастикой? Думаю, что уже нет.
Проблема в том (если верить алармистам), что увидеть, оценить и проанализировать это развитие событий интеллект естественный уже не сможет.
Понаблюдаем.