Модель за часы: что Broadcom показала в VMware AI Factory

3 сентября Broadcom представила VMware AI Factory в составе VMware Private AI Cloud. Это программная система, которая подготавливает серверы к работе с моделями и помогает обслуживать их после запуска. Производитель обещает сократить путь от установки оборудования до первой работающей модели с недель до часов.

Физически модель работает на сервере — компьютере, к которому сотрудники обращаются по сети. Для локального помощника понадобятся и сама модель, и программа, которая принимает вопросы, ищет документы и показывает ответ. VMware автоматизирует подготовку вычислительной среды для этих программ.

В VCF 9.1.1 Broadcom добавила совместное использование моделей с раздельными данными подразделений. Один сервис запуска моделей может обслуживать организацию, а данные каждого отдела остаются в отдельной области доступа.

При обычной раздельной установке каждый отдел загружает собственную копию модели, занимая память ускорителей. Общий сервис позволяет использовать одну модель для разных приложений. Сами документы при этом не становятся общими: разграничение доступа относится к данным, с которыми работают эти приложения.

AI Factory опирается на VMware Cloud Foundation, или VCF, — платформу управления вычислениями, хранилищем и сетью. В анонсе названы совместимые серверы Dell, Cisco, Lenovo и Supermicro, ускорители AMD Instinct и сотрудничество с MetalSoft по автоматической подготовке физического оборудования.

MetalSoft должна автоматизировать первоначальную подготовку физических серверов и работу с их прошивками. Администратор сможет управлять оборудованием разных производителей из панели VCF, вместо того чтобы отдельно пользоваться инструментами каждого поставщика.

В материале ITPro сокращение срока развёртывания приводится как заявление Broadcom. Это не результат независимого сравнения двух одинаковых установок.

Обещанный срок заканчивается на первой запущенной модели. Подключение внутреннего архива — отдельная часть приложения: из документов извлекают текст, организуют поиск и связывают найденные фрагменты с ответом. Установка серверных программ сама по себе этой работы не выполняет.

В плане будущих версий Broadcom перечисляет AI Gateway, который будет выбирать локальную или облачную модель для запроса и ограничивать расход токенов. Там же находятся средства изоляции программного кода, который создают и запускают агенты.

Отдельно описано автоматическое масштабирование моделей. Администратор задаёт пороги времени ответа и числа сеансов; при росте нагрузки система должна выделять больше ресурсов, а при снижении — освобождать их. Так вычислительные ресурсы смогут переходить между задачами без постоянного ручного перераспределения.

В отличие от совместного использования моделей в VCF 9.1.1, эти возможности ещё отнесены к будущим выпускам. В анонсе Broadcom не указала версию и дату, когда автоматическое масштабирование станет доступно.