AGS8200 Сервер

Edgecore AGS8200 - это передовой высокопроизводительный сервер на базе GPU, созданный для удовлетворения потребностей приложений AI/ML. Используется для решения таких задач, как обучение больших языковых моделей, автоматизация процессов, улучшение классификации и распознавание объектов. Сервер предлагает непревзойденную производительность и масштабируемость.

В основе AGS8200 лежат мощные процессоры Intel® Habana® Gaudi® 2, всего восемь, и два процессора Xeon® Sapphire-Rapids. Эти компоненты объединяются в вычислительную центр, готовый решать разнообразные задачи глубокого обучения с исключительной скоростью и точностью.

 

Высокая производительность

AGS8200 на базе процессоров Intel® Gaudi® 2 поднимает производительность глубокого обучения на новую высоту. Инновационная конструкция чипсета не только улучшает задачи обучения и вывода, но и раскрывает весь потенциал возможностей искусственного интеллекта, обеспечивая высочайшую производительность ваших приложений AI/ML.

Энергоэффективность

Благодаря использованию передового техпроцесса 7 nm процессоры Intel® Gaudi® 2 отличаются превосходным тепловыделением. В сочетании с продуманным дизайном, AGS8200 не только обеспечивает повышенную производительность, но и уделяет первостепенное внимание энергоэффективности. Это означает снижение эксплуатационных расходов и экологичность.

Экономическая эффективность

Intel® Gaudi® 2 точно настроен для использования AI/ML и обеспечивает существенную экономическую выгоду. Решения Edgecore разрабатываются с учетом ваших потребностей, обеспечивая оптимальную производительность без лишних затрат.

Открытая архитектура

Edgecore поддерживает открытую архитектуру, оптимизированное для ИИ коммутационное оборудование и программное обеспечение, а также участвуем в таких проектах и сообществах, как OCP, TIP и SONiC.

 

The Power of Intel® Gaudi® 2

 

 

Основные преимущества Intel® Gaudi® 2

• С помощью программного обеспечения BF16 Intel® Gaudi® 2 может превзойти своих конкурентов.
• Производительность Intel® Gaudi® 2 в 2 раза выше, чем у конкурентов.
• Intel® Gaudi® 2 - единственная жизнеспособная альтернатива графическим процессорам марки N для обучения и выводов LLM (Large Language Models).
• MLPerf Intel® Gaudi® 2 - один из двух графических процессоров, используемых для обучения GPT-3.
• Благодаря программному обеспечению FP8 Intel® Gaudi® 2 имеет лучшее соотношение цена/производительность, чем его конкуренты.

 

 

Характеристики

• Edgecore AGS8200 идеально подходит для современных приложений ИИ (искусственного интеллекта) и МЛ (машинного обучения). Работающая на базе ускорителя Intel® Gaudi® 2 AI, система AGS8200 подходит для обучения LLM (Large Language Models) и вывода заключений, позволяя клиентам эффективно использовать возможности искусственного интеллекта.
• Система построена на базе восьми процессоров Intel® Habana® Gaudi® 2 и двух процессоров Xeon® Sapphire-Rapids. В процессор Gaudi® 2 интегрированы 96GB памяти HBM2E и 24 сетевые карты 100Gbps RoCEv2 RDMA. 24 сетевые карты со скоростью передачи данных 100Gbps обеспечивают всестороннее подключение и масштабирование внутри и вне системы для обучения, тонкой настройки и других видов обработки DL.
• Каждый процессор Gaudi® 2 имеет 21 неблокируемое соединение 100Gbps с другими процессорами Gaudi® 2 в сервере, что позволяет организовать обучение всех восьми процессоров Intel® Gaudi® 2 без использования внешнего коммутатора Ethernet.
• Каждый AGS8200 поддерживает 6 портов QSFP-DD для масштабирования. Порты 400 Gbps можно подключать к коммутаторам 400 Gbps или 100 Gbps через соединительные кабели в стойках и кластерах узлов на базе Intel® Gaudi® 2.
• Сервер может включать 16×HDD/SSD + 8×NVMe или 8×HDD/SSD + 16×NVMe для хранения данных, поддерживающих RAID HBA с 0/1/10/5/6/50/60.
• Восемь учебных процессоров Habana® Gaudi® 2 AI.
• Два масштабируемых процессора Intel® Xeon® 4-го поколения.
• Расширенные сетевые возможности благодаря 24 портам RoCE 100 Gbps, интегрированным в каждый Gaudi® 2.
• Масштабирование 700 GB/second внутри сервера и 2.4TB/second снаружи.
• Простота создания и миграции системы благодаря программному стеку Habana® SynapseAI®.
• Стандартизированная архитектура и Ethernet вместо проприетарных Infiniband и NVLINK.

 

Форм-фактор

• 8U

Вычислительный узел

• Процессор: Sapphire Rapids, 2 Sockets

Intel® Xeon® Platinum 8454H, 32c, 64 потока, 82.5MB, 270 W

• PCH: Emmitsburg
• Память: До 2TB 16×DDR5 слотов памяти на процессор
• Операционная система: Ubuntu 20.04
• BIOS: 32MB Flash

GPU

• 8×OAM (Intel Habana HL-225H/C)

Вход/выход

• Передняя панель: 2×USB 2.0/3.0, 1×VGA, 1 x UID, 1×PWR
• Задняя панель: 2×USB 2.0/3.0, 1×VGA, 1×RJ-45, 1×UID

Масштабируемый интерфейс

• RDMA (ROCE v2)
• 24×100 Gbps
• 6×QSFP-DD

Хранилище

• Внутреннее: 2×M.2
• Передняя панель: 16×HDD/SSD + 8×NVMe или 8×HDD/SSD + 16×NVMe

BMC

• AST2600

TPM 2.0

CD-ROM

• Поддержка внешнего USB CD-ROM

Блок питания

• Система: 1+1 CRPS 2700 W с резервированием/горячей заменой AC/DC
• Графический процессор: 3+3 CRPS 3000 W с резервированием/горячей заменой AC/DC

Вентиляторы

• 14+1 вентиляторов с возможностью горячей замены

Размеры

• 900 мм×447 мм×352 мм

Рабочая температура

• 5°C-35°C

Слоты расширения

• 1×OCP 3.0
• 8 слотов PCle

Программное обеспечение

• SynapseAl: 1.13.0
• Ядро: 5.4.0 и выше
• Python: 3.10
• PyTorch: 2.1.0
• TensorFlow: 2.13.1
• Open MPI: 4.1.5
• Libfabric: 1.16.1 и выше
• Transformers: >= 4.33.0, <4.35.0