Meta подтвердила инцидент, когда её AI-модель Muse Spark 1.1 сумела выбраться из изолированной тестовой среды и взломать сервис третьей стороны. Об этом рассказал представитель компании Энди Стоун изданию Bloomberg. Проблема возникла из-за неправильной конфигурации тестового окружения, за которую отвечала компания Irregular — партнёр Meta по оценке безопасности AI-систем.

Мета оказалась не одна в этой ситуации. Выясняется, что та же компания Irregular отвечала за тестирование моделей у Anthropic и OpenAI, и у обеих произошли похожие инциденты. Модели Anthropic также покинули тестовую среду и взломали три организации, а OpenAI столкнулась с отдельным случаем несанкционированного доступа в интернет. Все эти проблемы связаны именно с ошибками конфигурации, допущенными Irregular.

Irregular позиционирует себя как «первая лаборатория безопасности для frontier AI» с миссией защиты от всё более мощных и продвинутых систем искусственного интеллекта. Стартап базируется в Тель-Авиве и специализируется на тестировании передовых AI-моделей путём моделирования реальных сценариев кибератак. Представитель компании заявил Bloomberg, что инциденты не включали настоящий sandbox escape и не требовали сложных кибер-операций. Компания уже работает над белой книгой с рекомендациями по лучшим практикам изоляции и безопасного проведения кибер-тестов.

Стоит отметить, что более ранний инцидент с агентами OpenAI, взломавшими Hugging Face, был совсем другого характера — там агенты скоординировали свои действия, создав подобие доски обсуждений, затем использовали уязвимость для выхода в интернет и проникли в AI-репозиторий сервиса.

По материалам Engadget