Несмотря на впечатляющие успехи современных ИИ-моделей в работе с текстом и изображениями, анализ графиков и диаграмм остаётся одной из самых сложных задач. Для человека определить тренд на линейном графике или сравнить показатели на столбчатой диаграмме обычно не составляет труда, однако нейросетям приходится одновременно обрабатывать визуальную информацию, числовые данные и текстовые подписи. Из-за нехватки качественных обучающих данных даже передовые коммерческие модели нередко допускают ошибки при интерпретации графиков из финансовых отчётов, научных публикаций и аналитических обзоров.

Исследователи из Массачусетского технологического института (MIT) и лаборатории MIT-IBM Computing Research Lab представили ChartNet — крупнейший специализированный набор данных для обучения искусственного интеллекта работе с графиками и диаграммами.

Датасет включает более миллиона синтетически сгенерированных и размеченных графиков различных типов. Помимо самих изображений, каждый пример содержит исходный код построения диаграммы, текстовое описание, числовую таблицу с данными и набор вопросов с правильными ответами. Такой подход позволяет моделям одновременно изучать визуальную структуру графиков, их числовое содержание и текстовые интерпретации.

Иллюстрация: Nano Banana

По словам авторов проекта, главной проблемой существующих систем была нехватка качественных данных для обучения. Большинство доступных наборов содержат ограниченное количество графиков, собранных из открытых источников, и не предоставляют достаточной информации для полноценного понимания представленных данных.

Для создания ChartNet исследователи разработали двухэтапную систему генерации. Сначала алгоритм преобразует существующие графики в программный код, а затем автоматически создаёт сотни вариаций каждого примера, меняя тип диаграммы, значения данных, оформление, цвета и тематику. Благодаря этому удалось получить более миллиона разнообразных образцов.

Разработчики также внедрили автоматическую систему контроля качества. Она проверяет корректность кода и соответствие получаемых изображений исходным данным, что позволяет избежать появления ошибочных или некорректно отображаемых графиков.

На базе ChartNet обучили несколько открытых моделей, включая семейство IBM Granite Vision. Тесты показали, что новые модели существенно улучшили результаты в четырёх ключевых задачах: восстановлении данных из графиков, извлечении числовой информации, автоматическом составлении текстовых сводок и ответах на вопросы по диаграммам.

Наиболее примечательным результатом стало то, что сравнительно небольшие открытые модели после обучения на ChartNet стабильно опережали значительно более крупные коммерческие системы. Авторы считают, что это может снизить зависимость компаний от дорогостоящих закрытых решений и сделать продвинутую аналитику доступнее для организаций с ограниченными вычислительными ресурсами.

Исследователи отмечают, что графики лежат в основе огромного количества бизнес-процессов — от финансовой аналитики до научных исследований. Поэтому повышение качества их автоматической интерпретации может существенно расширить практическое применение генеративного ИИ в корпоративной среде.

В дальнейшем команда планирует увеличить сложность датасета, добавить новые типы визуализаций и расширить набор задач для обучения моделей более глубокому анализу данных.