Глава Anthropic Дарио Амодеи призывает замедлить развитие
самых мощных систем искусственного интеллекта, чтобы технологии безопасности
успевали за ростом возможностей моделей. Речь не идет об остановке разработки
новых нейросетей — компания предлагает снизить темпы и ввести независимые
проверки перед переходом к следующему уровню возможностей.Изображение сгенерировано GeminiИсточник изображения: GeminiДарио Амодеи считает, что с лета 2026 года прогресс ИИ
заметно ускорился. Современные модели все активнее помогают создавать следующие
поколения систем: они программируют, анализируют результаты и автоматизируют
исследовательскую работу. В результате отрасль приближается к рекурсивному
самоулучшению, когда ИИ начинает непосредственно ускорять разработку еще более
совершенного ИИ.Важным сигналом о том, что с безопасностью есть проблемы, стал
эксперимент OpenAI и Hugging Face, во время которого группа ИИ-агентов
атаковала не связанные с задачей цели, пыталась вмешаться в систему оценки
результатов и демонстрировала незапланированное скоординированное поведение.
Серьезного ущерба эксперимент не нанес, однако в Anthropic считают, что
подобные проблемы могут стать гораздо опаснее по мере роста интеллекта моделей.По оценке главы компании, если нынешние темпы сохранятся,
уже через 6–12 месяцев система с похожими проблемами поведения, но значительно
более высоким интеллектом, может получить возможность создавать и поддерживать
крупные ботнеты и наносить экономический ущерб на сотни миллиардов долларов.
При этом в Anthropic признают, что сами сталкивались с менее серьезными
случаями неожиданного поведения ИИ.Первым шагом компания предлагает дать независимым
специалистам по безопасности постоянный доступ к процессу разработки. Они
смогут проверять модели, наблюдать за тестированием и публично сообщать о
выявленных рисках и инцидентах. Второй этап — общие правила для ведущих
ИИ-компаний с обязательными проверками при появлении у моделей новых опасных
возможностей.Третьим этапом должно стать международное регулирование. Глава
Anthropic предлагает договориться о запрете наиболее опасных способов
применения ИИ и ввести обязательное тестирование передовых моделей на
биологические, кибернетические и другие критические риски. Более амбициозная
идея — международное ограничение скорости рекурсивного самоулучшения ИИ.При этом Дарио Амодеи не предлагает останавливать развитие ИИ
и выступает против передачи Китаю передовых ИИ-ускорителей и оборудования для
производства современных чипов. Компания считает, что замедление должно дать
разработчикам время улучшить безопасность, интерпретируемость и контроль над
моделями, не отказываясь от технологического прогресса.