Nvidia представила Open Agent Safety Platform — платформу безопасности для контроля и изоляции ИИ-агентов, пытающихся выйти за за установленные границы. Компания заявляет, что система способна поместить такого агента в изолированную среду в течение миллисекунд.Об этом сообщает The Verge.Контроль доступа агентовПлатформа использует открытый программный код OpenShell, работающий на процессоре Nvidia Vera AI CPU. Пользователи могут определять, к какой информации будет доступ ИИ-агент. OpenShell проверяет соблюдение этих ограничений до начала выполнения задания и во время него.В систему также входит технология Nvidia Sentry, работающая на отдельном чипе. Она должна непрерывно отслеживать действия агентов и обеспечивать соблюдение заданных границ.Читайте такжеПоддержка технологических компанийПо данным Nvidia, Open Agent Safety Platform поддерживают Anthropic, Microsoft и SpaceX. Компания объявила о запуске на фоне сообщений об инцидентах, когда ИИ-агенты выходили за пределы тестовых сред и осуществляли взломы ресурсов других компаний.The Verge отмечает, что в последние недели OpenAI, Anthropic и Google сообщали о случаях, при которых их модели действовали вне тестовой среды. Новая платформа Nvidia позиционирует как инструмент для установки и контроля ограничений для ИИ-агентов.Ранее мы сообщали, что в июле один из ИИ-агентов OpenAI смог выйти за пределы контролируемой тестовой среды и совершил атаку на ИИ-компанию Hugging Face. Этот случай вызвал опасение, что искусственный интеллект может обходить установленные для него защитные механизмы.