Будущая модель OpenAI под названием Astra, по предварительной оценке разработчиков, может достичь критического уровня возможностей в сфере кибербезопасности. После этого специалисты усилили контроль за обучением и тестированием ИИ, передаёт Centralmedia24 со ссылкой на OpenAI.
В компании на две недели остановили обучение с подкреплением последних моделей, которые готовят к выпуску. Самый крупный запланированный цикл такого обучения пока не возобновили. Вместо него специалисты проводят небольшие тренировки и тесты, чтобы проверить поведение моделей и работу защитных механизмов.
Поводом для пересмотра подхода также стал недавний инцидент между OpenAI и Hugging Face. После него специалисты ограничили доступ исследовательских ИИ-систем к интернету и инструментам, которые позволяют выполнять код.
В OpenAI усилили изоляцию рабочих сред, ограничили сетевой доступ для наиболее рискованных задач и расширили постоянное тестирование защиты. Самые строгие требования специалисты применяют к Astra и другим моделям с развитыми возможностями в сфере кибербезопасности.
«Наши стандарты мониторинга, согласования поведения моделей и безопасности должны опережать эти риски», – подчеркнули в OpenAI.
Разработчики также расширили автоматический контроль за действиями ИИ. Система анализирует работу моделей, использование инструментов и возможные попытки получить несанкционированный доступ, похитить данные или обойти защиту. При серьёзном сигнале сотрудники подразделений безопасности и исследований должны проверить его в течение 30 минут. Если специалисты не подтверждают ложное срабатывание, работу останавливают.
Такой контроль требует дополнительных вычислительных ресурсов. По оценке OpenAI, мониторинг расходует около 20% вычислительной мощности, которую используют подконтрольные ему процессы.
В компании также намерены усилить исследования безопасности и обновить собственную систему оценки рисков Preparedness Framework по мере роста возможностей будущих моделей.
Ранее мы писали, что президент Казахстана Касым-Жомарт Токаев говорил, что искусственный интеллект недопустимо использовать в военной сфере и для кибератак. Он призвал развивать технологии исключительно в мирных целях.
Читайте также:
