В суперкомпьютерном кластере Colossus 2 запущен параллельный тренинг семи крупных языковых и мультимодальных моделей, о чем рассказал Илон Маск.

В настоящий момент в процессе обучения находятся:

Imagine V2 (улучшенная генеративная модель изображений и видео); Два варианта модели объёмом 1 трлн параметров; два варианта модели объёмом 1,5 трлн параметров; модель объёмом 6 трлн параметров; модель объёмом 10 трлн параметров.

Изображение Grok

На вопрос о том, сколько по времени займет обучение самой большой модели с 10 трлн параметров, Илон Маск заявил, что предварительный этап обучения длится около 2 месяцев.

Компания xAI уже ввела в эксплуатацию суперкомпьютер Colossus 2, предназначенный для обучения Grok и других задач. Установка стала первым в мире ИИ-кластером с энергопотреблением на уровне 1 ГВт. Для сравнения, это больше пикового энергопотребления такого крупного города, как Сан-Франциско.