Сегодня 04:44 — Технологии&АвтоИИ-агенты требуют гораздо больше ресурсовНовое исследование KAIST впервые количественно оценило вычислительные затраты и энергопотребление ИИ-агентов — систем, способных самостоятельно размышлять и выполнять сложные задачи.Команда пришла к выводу, что они могут потреблять в 136,5 раза больше энергии на один запрос, чем обычный генеративный искусственный интеллект, вроде чата.ИИ-агенты требуют гораздо больше ресурсовСовременные приложения на базе больших языковых моделей, вроде ChatGPT, постепенно выходят за пределы систем, которые просто дают ответы на вопросы. Они эволюционируют у ИИ-агентов, которые могут самостоятельно планировать действия, использовать внешние инструменты, в частности, веб-поиск и среды выполнения кода, а также решать сложные многошаговые задачи.Несмотря на быстрое внедрение ИИ-агентов, до сих пор почти не было данных о том, сколько ресурсов требуется для их работы. Команда под руководством профессора Минса Ру из Школы электротехники KAIST впервые систематически изучила эти расходы в условиях реального использования.Количество вычислительных запросов существенно растетАнализ показал, что агенты гораздо чаще обращаются к большим языковым моделям (LLM), чем традиционные системы с методом пошагового рассуждения (Chain-of-Thought). Каждое обращение учитывается как отдельный вычислительный запрос.Из-за многократных обращений значительно возрастает и время ответа. Исследователи установили, что задержка может увеличиваться в 153,7 раза. В то же время GPU простаивают до 54,5% всего времени исполнения, поскольку система ожидает завершения операций внешних инструментов. Другими словами, это создает новый тип неэффективности, при котором дорогостоящие графические процессоры используются далеко не в полную мощность.Энергопотребление может достигать половины уровня СШАКоманда также оценила энергопотребление ИИ-агентов по масштабам дата-центров. Агент с языковой моделью на 70 млрд параметров — масштабом, сравнимым с современными коммерческими ИИ-сервисами — в среднем потреблял 348,41 Вт·ч электроэнергии по одному запросу. Это в 136,5 раза больше, чем нужно обычному генеративному ИИ для ответа на простой вопрос.Читайте такжеКроме того, исследователи смоделировали сценарий, при котором агенты будут обрабатывать 13,7 млрд запросов в день (объем, эквивалентный текущему поисковому трафику Google). В таком случае суммарная потребность дата-центров в электроэнергии достигла бы 198,9 ГВт, что значительно превышает мощность современных центров обработки данных искусственного интеллекта, проектируемых на уровне нескольких гигаватт, и равна примерно половине среднего энергопотребления США.Если Вы заметили ошибку, выделите необходимый текст и нажмите Ctrl+Enter , чтобы сообщить нам об этом.Finance.ua/Все новости/Технологии&Авто/ИИ-агенты потребляют в 136 раз больше энергии на запрос, чем чат-боты — исследование