Как выбрать сервер для локального ИИ без покупки вслепую

Зафиксируйте рабочую нагрузку

Назовите модель и точность вычислений, тип задачи, средний и предельный контекст, число одновременных запросов, желаемое время первого ответа и скорость продолжения. Добавьте поиск, распознавание речи и другие службы, если они делят оборудование.

Одна и та же модель ведёт себя по-разному при коротком диалоге и десятках длинных документов. Поэтому чужая таблица производительности служит ориентиром, а не сметой.

Считайте весь узел

• Видеопамять для весов, рабочего состояния и кэша контекста.
• Оперативная память для загрузки, поиска и прикладных служб.
• Быстрое хранилище для моделей, индексов, журналов и временных данных.
• Процессор и память для разбора документов и подготовки запросов.
• Сеть между ускорителями и узлами, если модель распределена.
• Питание, охлаждение, резервирование и время восстановления.

Проведите испытание до закупки

Запустите именно выбранную версию модели на близком оборудовании и подайте настоящие типы запросов. Измерьте качество, время первого ответа, скорость, использование памяти и поведение при одновременной нагрузке.

Испытание включает длинные запросы, холодный запуск, заполненный индекс и отказ зависимой службы. Среднее значение без крайних случаев скрывает очереди и нехватку памяти.

Оставьте измеримый запас

Запас нужен для пиков, обновления модели и временного вывода узла из работы, но его величину определяют требования доступности и результаты нагрузки. Покупать двойной объём без расчёта так же неразумно, как проектировать впритык.

Заранее определите порог расширения: очередь, задержка, занятая память или число активных пользователей. Тогда следующая закупка опирается на наблюдение, а не ощущения.