Скандал вокруг Nvidia может омрачить переговоры США и Китая об ИИ

Выход ИИ-ботов из-под контроля и использование искусственного интеллекта людьми во вред, вероятно, станут темами встречи Дональда Трампа и Си Цзиньпина на следующей неделе. На переговорах о безопасности ИИ будет также нависать скандал вокруг Nvidia.

Президенты США и Китая собираются обсудить горячую линию для связи в случае технологических кризисов на саммите Азиатско-Тихоокеанского экономического сотрудничества (АТЭС) в китайском городе Шэньчжэне. Тем временем эксперты по всему миру проверяют модели ИИ на устойчивость — выясняют, могут ли те обманывать пользователей, не подчиняться им или рассказывать, как создать биологическое оружие.

Внимание лидеров может отвлечь отставка Дженсена Хуанга с поста главы американского гиганта в сфере ИИ-чипов Nvidia после его романа с женщиной, подозреваемой в шпионаже в пользу Китая.

Однако скандал вряд ли «будет доминировать в повестке» или повлияет на личные отношения Трампа и Си, считает Дилан Ло из Наньянского технологического университета в Сингапуре.

«Лидеры нашли способ работать вместе: расходиться во мнениях, конкурировать и добиваться целей, которые могут противоречить интересам друг друга, но сотрудничать там, где они могут и должны это делать», — сказал Ло.

Опасения по поводу рисков ИИ в основном связаны с инцидентами в американских лабораториях, однако растёт и число свидетельств вызывающего беспокойство поведения китайских моделей.

Некоторые специалисты считают, что китайский ИИ пока недостаточно развит, чтобы опасаться его выхода из-под контроля. Но, хотя китайские разработки и уступают передовым американским системам, некоторые модели уже обладают возможностями, «достаточными, чтобы создать реальные проблемы», отмечает Кайл Чан, научный сотрудник Института Брукингса.

Трамп неоднократно отвергал призывы намеренно замедлить разработку самых мощных и потенциально опасных американских систем ИИ. По его мнению, это может помочь Китаю вырваться вперёд в стратегически важной отрасли.

«Я не против ограничительных мер. Но я не хочу, чтобы мы оказались далеко позади», — сказал Трамп в этом месяце.

«В Китае нет ограничительных мер», — заявил он, добавив, что там «всё решает председатель Си».

В действительности в Китае действуют сложные правила использования ИИ, а некоторые местные компании намеренно ограничивают возможности своих моделей для взлома систем.

Этим летом Си заявил, что технологии должны «всегда оставаться под контролем человека», и призвал развивать «законы и нормативные акты, технологический мониторинг, системы раннего предупреждения и реагирования на чрезвычайные ситуации».

В сентябре Трамп и Си договорились создать канал срочной связи для обсуждения инцидентов с ИИ. Подробности планируют согласовать на саммите АТЭС 18–19 ноября.

Опасения по поводу безопасности ИИ охватывают широкий круг вопросов: от военного применения и массовой слежки до кибератак, которые люди проводят с помощью искусственного интеллекта.

Ещё одна серьёзная проблема — автономные агенты, то есть инструменты, которые выполняют реальные задачи в интернете. Компания OpenAI, создавшая ChatGPT, признала, что её автономные боты взламывали сайты, в том числе портал с данными правительства Австралии.

По словам Чана, китайские лаборатории «боятся раскрывать сведения, которые могут навредить их репутации», хотя и без того «пытаются преодолеть серьёзное недоверие» в мире.

В прошлом месяце группа специалистов по кибербезопасности, связанных с Калифорнией, сообщила, что обнаружила «флот» агентов, связанных с китайским технологическим гигантом Tencent. Агенты искали информацию в картографическом приложении.

«Некоторые агенты демонстрировали непредусмотренное поведение при просмотре веб-страниц», — сообщило тогда подразделение ИИ Tencent.

«Однако наша проверка не обнаружила признаков целенаправленной атаки или координации», — добавили в компании, уточнив, что активность была связана «с тестированием сторонних моделей».

Американские компании в сфере безопасности утверждали, что модели Kimi от пекинского стартапа Moonshot AI находили способы выйти в интернет, хотя не должны были этого делать, или поддавались манипуляциям и выдавали рецепты биологического оружия.

В прошлом месяце специалисты китайского стартапа Fangcun AI, занимающегося безопасностью ИИ, опубликовали оценку последней облегчённой модели DeepSeek. Они проверяли её на риск потери контроля и вредоносных манипуляций.

Исследователи обнаружили «очевидное улучшение безопасности» по сравнению с предыдущими моделями DeepSeek, но отметили и поведение, «заслуживающее внимания».

Например, в некоторых случаях, когда DeepSeek предупреждали о скором отключении, но не давали чётких инструкций, модель отключала команду завершения работы, чтобы продолжить работу.

«Результаты показывают, что DeepSeek уже прилагает гораздо больше усилий для согласования поведения модели с требованиями безопасности, но не сообщает об этом публично», — сказал генеральный директор Fangcun AI Сяоцзянь Ли, призвав ИИ-лаборатории к прозрачности.

Fangcun AI, созданная на базе престижного китайского Университета Цинхуа, пока остаётся одной из немногих независимых организаций в Китае, тестирующих ИИ.

По словам Ли, эта работа непроста: продвинутый ИИ способен распознать, что его проверяют, и изменить ответы.

«Трудно сказать, что какой-либо искусственный интеллект — или человеческий разум — полностью безопасен».

Аналитики, в свою очередь, не рассчитывают на дипломатический прорыв в вопросах ИИ на следующей неделе.

«В краткосрочной перспективе будет трудно добиться обязательных межправительственных соглашений о конкретных стандартах», — сказала Зилан Цянь, исследовательница GovAI.

По её мнению, большего прогресса можно ожидать от обмена опытом между специалистами США и Китая по управлению ИИ и техническим исследованиям. Они смогут «сравнивать оценки и обмениваться представлениями о безопасности ИИ и политике в этой сфере».