Nvidia строит «самый мощный в мире» ИИ-суперкомпьютер

Архитектура имени Грейс Хоппер

Компания NVidia анонсировала целый ряд новых технологий, ориентированных на использование в сфере искусственного интеллекта. В первую очередь, это новая кремниевая архитектура Hopper, созданный на её основе GPU H100 и «суперпроцессор» Grace CPU. Анонсированы также планы по созданию «самого производительного ИИ-суперкомпьютера» Eos.

Новая архитектура и суперпроцессор названы в честь контр-адмирала ВМФ США Грейс Хоппер (Grace Hopper), создательницы первого в истории компилятора компьютерного языка программирования и одного из первых высокоуровневых языков программирования COBOL.

Архитектура Hopper и GPU H100 призваны радикально ускорить процесс обучения машинных моделей.

Слишком медленно

На сегодняшний день в ИИ-отрасли высокой популярностью пользуется система обучения Transformer, на основе которой созданы, в частности, языковая модель OpenAI GPT-3 и медицинская модель DeepMind AlphaFold. При этом количество параметров в таких моделях растёт по экспоненте: если в 2019 г. языковая модель GPT-2 насчитывал 1,5 млрд параметров, то через два года сходная модель насчитывала уже 1,6 трлн параметров.

Nvidia объявила о создании новых GPU и CPU для особо высокопроизводительных вычислений и пообещала построить самый производительный суперкомпьютер для работы с искусственным интеллектом

Обучение таких систем может занимать от нескольких недель до нескольких месяцев.

Более того, как отметил старший директор по продукции Nvidia Пареш Кхарья (Paresh Kharya), можно пытаться увеличивать количество GPU в центре обработки данных, но с определённого момента прирост производительности останавливается.

Благодаря использованию H100, однако, время обучения может сократиться в шесть раз, по сравнению с процессорами предыдущих поколений.

Высокопроизводительная шина NVLink четвёртого поколения позволяет соединять до 256 GPU H100, обеспечивая девятикратный прирост пропускной способности, по сравнению с предыдущими поколениями.

Сам по себе процессор H100 содержит 80 млрд транзисторов. Это первый графический процессор, поддерживающий PCIe Gen5 и HBM3; благодаря этому пропускная способность памяти достигает 3 терабайт в секунду. В Nvidia утверждают, что H100 в три-шесть раз превосходит процессор предыдущего поколения A100 в вычислениях с плавающей запятой в зависимости от разрядности.

Что касается Grace CPU, то это фактически два процессора, соединённых шиной NVLink-C2C. Grace предназначен для использования в «гипермасштабных высокопроизводительных вычислениях и сфере ИИ» в комплекте с H100 или самостоятельно. Процессор насчитывает 144 ядер Arm, а его пропускная способность составляет 1 терабайт в секунду.

Nvidia также анонсировала обновления к своим программным сервисам, связанным с ИИ, в том числе Maxine, SDK для виртуальных аватаров, и Riva — для обработки текста и речи.

Самый производительный суперкомпьютер

Помимо этого Nvidia планирует создать самый высокопроизводительный ИИ-суперкомпьютер Eos, который будет построен на основе архитектуры Hopper. Для его строительства задействуют 4600 GPU H100, что обеспечит «ИИ-производительность» около 18,4 экзафлопсов.

Система, впрочем, будет использоваться только для собственных исследований внутри Nvidia, но станет образчиком для последующего создания ИИ-систем для сторонних заказчиков.

«Новые модели машинного обучения с триллионами параметров требуют принципиально новых мощностей, чтобы оставаться практичными, а следовательно необходимы новые вычислительные архитектуры и оборудование, — указывает Дмитрий Гвоздев, генеральный директор компании „Информационные технологии будущего“. — Nvidia разрабатывает новые процессоры с прицелом на одну из самых популярных и востребованных систем машинного обучения — Transformer; это для неё, возможно, наименее рисковый путь развития, обеспечивающий ей сохранение лидерства в сфере технологий, связанных с высокопроизводительными вычислениями и ИИ».