Google формирует специальную красную команду для защиты ИИ

Aug 02, 2023

Google создал специализированную красную команду по искусственному интеллекту для решения уникальных проблем безопасности, связанных с системами машинного обучения (ML). Красная команда ИИ занимается исследованием и выявлением уязвимостей в технологиях, основанных на ИИ. В отличие от традиционных красных команд, красная команда ИИ требует глубокого понимания технологии машинного обучения. Он сочетает в себе навыки людей, которые могут взламывать системы и отравлять модели. Объединив эти навыки, команда может эффективно обеспечить безопасность развертывания ИИ.

Красная команда ИИ внимательно следит за новыми состязательными исследованиями в этой области и отслеживает, где Google интегрирует ИИ в свои продукты. Они отдают приоритет учениям, имитирующим атаки противника с конкретными целями. Результаты этих учений документируются и передаются соответствующим заинтересованным сторонам, что позволяет им рассматривать и решать любые обнаруженные проблемы. Команда применяет широкий подход к применению уроков, извлеченных из этих упражнений, для повышения безопасности всех продуктов.

Чтобы предназначаться для развертывания ИИ, красная команда ИИ разрабатывает сценарии, описывающие моделируемого злоумышленника, его возможности и цели. Они полагаются на информацию об угрозах и свое понимание пространства для создания реалистичных сценариев атак. Как и в случае с красными командами безопасности, достижение целей часто требует нескольких шагов.

Сотрудничество между красной командой ИИ и экспертами по ИИ имеет решающее значение для создания реалистичных состязательных симуляций. Красная команда ИИ может работать с красной командой безопасности, чтобы получить конкретный внутренний доступ, необходимый для определенных учений. Например, красная команда безопасности может скомпрометировать сотрудника, чтобы получить доступ к внутренним системам, а затем красная команда ИИ нацелится на модель ML, чтобы установить бэкдор.

Рассмотрение выводов красной команды может оказаться сложной задачей, поскольку некоторые атаки могут не иметь простых решений. Google уделяет приоритетное внимание безопасности и конфиденциальности своих пользователей и не будет запускать новую функцию, если это невозможно сделать безопасно. Красная команда ИИ тесно сотрудничает с внутренними исследовательскими группами для разработки новых подходов к решению выявленных проблем. Классические меры безопасности, такие как ограничения доступа и проверка ввода/вывода, также эффективны для снижения риска. Усилия красной команды искусственного интеллекта помогают повысить прозрачность и инвестиции в безопасность ОД.