Выход ИИ-ботов из-под контроля и использование искусственного интеллекта людьми во вред, вероятно, станут темами встречи Дональда Трампа и Си Цзиньпина на следующей неделе. На переговорах о безопасности ИИ будет также нависать скандал вокруг Nvidia.
Президенты США и Китая собираются обсудить горячую линию для связи в случае технологических кризисов на саммите Азиатско-Тихоокеанского экономического сотрудничества (АТЭС) в китайском городе Шэньчжэне. Тем временем эксперты по всему миру проверяют модели ИИ на устойчивость — выясняют, могут ли те обманывать пользователей, не подчиняться им или рассказывать, как создать биологическое оружие.
Внимание лидеров может отвлечь отставка Дженсена Хуанга с поста главы американского гиганта в сфере ИИ-чипов Nvidia после его романа с женщиной, подозреваемой в шпионаже в пользу Китая.
Однако скандал вряд ли «будет доминировать в повестке» или повлияет на личные отношения Трампа и Си, считает Дилан Ло из Наньянского технологического университета в Сингапуре.
«Лидеры нашли способ работать вместе: расходиться во мнениях, конкурировать и добиваться целей, которые могут противоречить интересам друг друга, но сотрудничать там, где они могут и должны это делать», — сказал Ло.
Опасения по поводу рисков ИИ в основном связаны с инцидентами в американских лабораториях, однако растёт и число свидетельств вызывающего беспокойство поведения китайских моделей.
Некоторые специалисты считают, что китайский ИИ пока недостаточно развит, чтобы опасаться его выхода из-под контроля. Но, хотя китайские разработки и уступают передовым американским системам, некоторые модели уже обладают возможностями, «достаточными, чтобы создать реальные проблемы», отмечает Кайл Чан, научный сотрудник Института Брукингса.
Трамп неоднократно отвергал призывы намеренно замедлить разработку самых мощных и потенциально опасных американских систем ИИ. По его мнению, это может помочь Китаю вырваться вперёд в стратегически важной отрасли.
«Я не против ограничительных мер. Но я не хочу, чтобы мы оказались далеко позади», — сказал Трамп в этом месяце.
«В Китае нет ограничительных мер», — заявил он, добавив, что там «всё решает председатель Си».
В действительности в Китае действуют сложные правила использования ИИ, а некоторые местные компании намеренно ограничивают возможности своих моделей для взлома систем.
Этим летом Си заявил, что технологии должны «всегда оставаться под контролем человека», и призвал развивать «законы и нормативные акты, технологический мониторинг, системы раннего предупреждения и реагирования на чрезвычайные ситуации».
В сентябре Трамп и Си договорились создать канал срочной связи для обсуждения инцидентов с ИИ. Подробности планируют согласовать на саммите АТЭС 18–19 ноября.
Опасения по поводу безопасности ИИ охватывают широкий круг вопросов: от военного применения и массовой слежки до кибератак, которые люди проводят с помощью искусственного интеллекта.
Ещё одна серьёзная проблема — автономные агенты, то есть инструменты, которые выполняют реальные задачи в интернете. Компания OpenAI, создавшая ChatGPT, признала, что её автономные боты взламывали сайты, в том числе портал с данными правительства Австралии.
По словам Чана, китайские лаборатории «боятся раскрывать сведения, которые могут навредить их репутации», хотя и без того «пытаются преодолеть серьёзное недоверие» в мире.
В прошлом месяце группа специалистов по кибербезопасности, связанных с Калифорнией, сообщила, что обнаружила «флот» агентов, связанных с китайским технологическим гигантом Tencent. Агенты искали информацию в картографическом приложении.
«Некоторые агенты демонстрировали непредусмотренное поведение при просмотре веб-страниц», — сообщило тогда подразделение ИИ Tencent.
«Однако наша проверка не обнаружила признаков целенаправленной атаки или координации», — добавили в компании, уточнив, что активность была связана «с тестированием сторонних моделей».
Американские компании в сфере безопасности утверждали, что модели Kimi от пекинского стартапа Moonshot AI находили способы выйти в интернет, хотя не должны были этого делать, или поддавались манипуляциям и выдавали рецепты биологического оружия.
В прошлом месяце специалисты китайского стартапа Fangcun AI, занимающегося безопасностью ИИ, опубликовали оценку последней облегчённой модели DeepSeek. Они проверяли её на риск потери контроля и вредоносных манипуляций.
Исследователи обнаружили «очевидное улучшение безопасности» по сравнению с предыдущими моделями DeepSeek, но отметили и поведение, «заслуживающее внимания».
Например, в некоторых случаях, когда DeepSeek предупреждали о скором отключении, но не давали чётких инструкций, модель отключала команду завершения работы, чтобы продолжить работу.
«Результаты показывают, что DeepSeek уже прилагает гораздо больше усилий для согласования поведения модели с требованиями безопасности, но не сообщает об этом публично», — сказал генеральный директор Fangcun AI Сяоцзянь Ли, призвав ИИ-лаборатории к прозрачности.
Fangcun AI, созданная на базе престижного китайского Университета Цинхуа, пока остаётся одной из немногих независимых организаций в Китае, тестирующих ИИ.
По словам Ли, эта работа непроста: продвинутый ИИ способен распознать, что его проверяют, и изменить ответы.
«Трудно сказать, что какой-либо искусственный интеллект — или человеческий разум — полностью безопасен».
Аналитики, в свою очередь, не рассчитывают на дипломатический прорыв в вопросах ИИ на следующей неделе.
«В краткосрочной перспективе будет трудно добиться обязательных межправительственных соглашений о конкретных стандартах», — сказала Зилан Цянь, исследовательница GovAI.
По её мнению, большего прогресса можно ожидать от обмена опытом между специалистами США и Китая по управлению ИИ и техническим исследованиям. Они смогут «сравнивать оценки и обмениваться представлениями о безопасности ИИ и политике в этой сфере».




