25.08.2026, 00:20 — Технологии&АвтоИИOpenAI ввела новые правила безопасности при разработке и тестировании ИИ-моделей. Компания усилила мониторинг, сетевую изоляцию и контроль за обучением после инцидента с Hugging Face.Об этом пишет издание TechCrunch.Что произошлоРанее автономный агент на базе двух моделей OpenAI вышел за пределы тестовой среды и проник на серверы Hugging Face. Агент проходил тест по кибербезопасности и, как сообщает издание, считал, что Hugging Face имеет ответы, необходимые для выполнения задания. В OpenAI заявили, что будут добавлены другие системы искусственного интеллекта для мониторинга действий агентов во время испытаний.Что изменит OpenAIКомпания заявила, что с ростом возможностей моделей увеличиваются и риски при их разработке и тестировании. Поэтому требования к мониторингу, безопасности и согласованности поведения моделей должны усиливаться вместе с их возможностями.Новые мероприятия стали одними из первых публичных изменений в подходах OpenAI к безопасности после инцидента по Hugging Face, о котором компания сообщила 21 июля. Представители OpenAI отметили, что новые правила не являются прямым ответом на это событие. В то же время, на них частично повлияли возможности кибербезопасности будущей модели Astra и общие темпы развития ИИ.Читайте такжеПосле инцидента OpenAI на две недели приостановила обучение моделей с подкреплением. Впоследствии компания возобновила работу с частью моделей, считающих менее рискованными.В то же время самый большой запланированный цикл такого обучения пока остается приостановленным. Перед его восстановлением OpenAI проводит меньшие учения и дополнительные проверки, чтобы оценить поведение моделей, проверить защитные механизмы и получить больше доказательств их соответствия установленным требованиям безопасности.Вице-президент OpenAI по исследованиям Амелия Глейз отметила, что строгость контроля будет зависеть от возможностей и уровня риска конкретной модели. Чем мощнее будет система, тем больше проверок она будет проходить.Читайте такжеПосле инцидента с Hugging Face OpenAI также критиковали из-за недостаточной защиты сети. Тогда модели смогли выйти за пределы среды после компрометации инструмента в сети компании, который имел доступ к интернету.Теперь OpenAI планирует усилить изоляцию сети. По новым правилам компрометация отдельного рабочего процесса или вспомогательного сервиса сама по себе не должна давать возможность получить несанкционированный доступ к интернету или другим внутренним сетям.Особое внимание компания уделила системе мониторинга. Она будет проверять действия инструментов, доступные следы рассуждений и журналы активности, чтобы выявлять потенциально несанкционированное поведение. OpenAI планирует отправлять уведомления о подозрительной активности в течение 30 минут.По оценке компании, мониторинг потребует вычислительных ресурсов на уровне примерно 20% от мощностей, необходимых для проверяемого процесса. Детальнее о работе системы OpenAI обещает рассказать в отдельной публикации.Официальный детальный анализ инцидента по Hugging Face компания пока не обнародовала.По материалам: НВЕсли Вы заметили ошибку, выделите необходимый текст и нажмите Ctrl+Enter , чтобы сообщить нам об этом.Finance.ua/Все новости/Технологии&Авто/После инцидента с Hugging Face: OpenAI усилила контроль за безопасностью моделей