Intel Xeon E-2236 (6 ядер, 3.4-4.8 ГГц, 12 потоков) / DDR4 / 2 x 960 ГБ SSD + GPU A2 16 ГБ

Единственная конфигурация линейки с дискретным GPU

Эта позиция — единственная в линейке выделенных серверов, где к процессору добавлена дискретная видеокарта NVIDIA A2 объёмом 16 ГБ видеопамяти, что кардинально меняет назначение всей конфигурации: центральный процессор здесь становится второстепенным по значению компонентом, а основную вычислительную нагрузку берёт на себя GPU.

NVIDIA A2 — компактное решение из линейки для инференса и лёгких вычислительных задач, а не для обучения больших моделей с нуля, поэтому конфигурацию логично рассматривать именно как сервер для применения уже готовых моделей, транскодирования видео или лёгкого рендеринга, а не для тяжёлого обучения нейросетей.

Xeon E-2236: скромные 6 ядер, но это не главный компонент системы

Шесть ядер и двенадцать потоков с турбо-частотой до 4.8 ГГц — процессор здесь выполняет вспомогательную роль: подготовку данных, управление очередью задач для GPU и работу веб-интерфейса приложения, тогда как основные вычисления инференса или транскодирования выполняются видеокартой.

Высокая турбо-частота процессора при этом не лишняя: она обеспечивает быструю обработку отдельных запросов на стороне CPU — например, декодирование входящего видеопотока перед передачей кадров на GPU для обработки нейросетевой моделью.

DDR4 — память для процессора и обмена данными с GPU

Оперативная память здесь используется в первую очередь как буфер для данных, поступающих в GPU и выходящих из него, — для сценариев видеоаналитики или пакетного инференса объём и скорость системной памяти влияют на то, насколько быстро подготавливаются очередные партии данных для обработки видеокартой.

Для типичных задач инференса и транскодирования на видеокарте среднего класса, такой как NVIDIA A2, объём системной памяти редко становится узким местом раньше, чем производительность самого GPU.

2 × 960 ГБ SSD плюс 16 ГБ видеопамяти GPU

Два SSD-накопителя по 960 ГБ дают достаточный объём для хранения используемых моделей, обрабатываемых медиафайлов и результатов обработки — для инференса это, как правило, более чем достаточно, поскольку сами модели редко занимают сотни гигабайт.

16 ГБ видеопамяти NVIDIA A2 определяют реальные границы применимости конфигурации: крупные модели, требующие большего объёма видеопамяти для загрузки целиком, работать не будут — конфигурация ориентирована на модели среднего размера и параллельный инференс нескольких более лёгких моделей одновременно.

Локация: Москва

Для сервисов видеоаналитики, обрабатывающих потоки с российских камер или транскодирующих видео для российской аудитории, московское размещение сокращает задержку доставки результата и закрывает требования 152-ФЗ, если обрабатываемые данные содержат персональную информацию — например, распознавание лиц на видео с камер наблюдения.

Минимальная сетевая задержка также важна для сервисов инференса, работающих в режиме, близком к реальному времени, где итоговая задержка ответа складывается как из времени вычисления на GPU, так и из времени передачи данных до конечного пользователя.

Стоимость 44 230 ₽/мес — цена определяется в первую очередь GPU

Основная часть стоимости этой конфигурации приходится на видеокарту, а не на процессор или диск, — по цене, сопоставимой с многоядерными серверами без GPU в этой же линейке, сервер даёт принципиально иной класс задач, недоступный без выделенного ускорителя.

Для сопоставимой цены без GPU, но с заметно большим числом ядер стоит сравнить с 2 × Intel Xeon E5-2630v3 с 16 ядрами.

Кому подойдёт эта конфигурация

Сервисы инференса готовых моделей машинного обучения, транскодирование и обработка видео, лёгкий рендеринг и видеоаналитика — везде, где вычисления удобнее и быстрее выполнять на GPU, а не на центральном процессоре.

Процессор без видеокарты, но с той же архитектурой представлен в конфигурации серверов от 6 ядер каталога.