Capacity & speed planner

Сколько DGX Spark нужно

Инженерная оценка памяти и скорости генерации. Результат показывает реалистичный диапазон, а не гарантирует показатель конкретного рантайма.

1узел
по расчёту

Готовая модельВсего параметров, млрдАктивных параметров, млрдДля dense равно общему числу; для MoE — меньшеРежим нагрузки

Формат весов4 бит0,5 байта / параметр8 бит1 байт / параметрFP16/BF162 байта / параметр

Контекст, токеновKV-cache + runtime, %18%

ОЦЕНКА КОНФИГУРАЦИИ

1× DGX SPARK

ГЕНЕРАЦИЯ · BATCH 12,7–4,4 ток/ссуммарно для выбранной конфигурации

1 000 ВЫХОДНЫХ ТОКЕНОВ≈ 3,8–6,3 минбез времени обработки промпта

Веса35,0 ГБ

KV + runtime6,3 ГБ

Общий бюджет41,3 ГБ

Комфортно помещается на одном устройстве.

Формулы

Что именно считает калькулятор

memory = total params × bits / 8 × (1 + overhead)decode ≈ effective bandwidth / active weights

На каждый узел заложено 118 ГБ полезной памяти. Для скорости используется диапазон эффективности пропускной способности 273 ГБ/с с поправкой на квантизацию, batch и межузловой обмен. Это ориентир для autoregressive decode; prompt processing, speculative decoding и конкретные CUDA-ядра могут заметно изменить результат.