Supermicro продаёт AI-станцию за $92 887. Что входит в её 748 ГБ памяти

1 сентября TechRadar Pro сообщил о продаже Supermicro Super AI Station за $92 887,47 до налогов и доставки. Это одна из розничных конфигураций на NVIDIA GB300, а не универсальная цена любой станции с таким процессором.

По назначению это компьютер для разработчиков, которым нужно запускать большие модели на собственном оборудовании. Он может стоять рядом с рабочими местами или устанавливаться в серверную стойку. Его отличие от обычного мощного ПК — прежде всего объём памяти, доступной модели.

Для запуска модели в память загружают её параметры — числа, используемые при вычислении ответа. Память нужна и для промежуточных данных, в том числе обработки длинных запросов. Требования зависят от модели, способа хранения параметров и количества одновременно обрабатываемых обращений.

В спецификации Supermicro указаны 252 ГБ HBM3e у ускорителя Blackwell Ultra и 496 ГБ LPDDR5X у центрального процессора Grace. Вместе они образуют доступную системе память объёмом 748 ГБ. HBM3e передаёт данные ускорителю быстрее; обращение к памяти центрального процессора имеет другие ограничения по скорости.

Складывать эти объёмы для описания ёмкости можно. Считать результат эквивалентом 748 ГБ быстрой памяти ускорителя — нельзя. Если программа часто обращается к данным в более медленной части, это может ограничить скорость. Насколько сильно — зависит от размещения данных и выбранного программного обеспечения.

Supermicro описывает корпус как башню, которую можно установить и в стойку, заняв пять монтажных единиц — 5U. Внутри находится замкнутый контур жидкостного охлаждения. Подводить к нему трубы от системы охлаждения здания, как к крупной ИИ-стойке, не требуется.

В спецификации указаны Ubuntu с инструментами разработки NVIDIA и блок питания на 1600 Вт. Последнее — номинальная мощность блока, а не измеренный расход электричества при работе любой модели.

В описании Super AI Station производитель заявляет запуск моделей размером до триллиона параметров. Объём их хранения зависит от количества бит, выделенных на каждое число.

При четырёх битах на параметр триллион таких чисел занимает около 500 ГБ в десятичном счёте: это расчёт только параметров, без служебных данных и памяти для выполнения запроса. В 252 ГБ HBM3e они целиком не поместятся. Дополнительные 496 ГБ памяти Grace позволяют разместить данные за пределами памяти ускорителя, но скорость работы будет зависеть от того, как программа распределяет вычисления и обращения к этим данным.