Обзор Dell PowerEdge R770: новый двухпроцессорный сервер

В передней части корпуса можно разместить до 40 твердотельных накопителей E3.S, но есть и варианты с 24 твердотельными накопителями 2,5 дюйма. Наша система состоит из 16 твердотельных накопителей E3.S. У нас нет такой опции, но в задней части можно разместить до четырех твердотельных накопителей E3.S.

В центре вместо отсеков для дисков расположены вентиляционные отверстия.

Справа у нас восемь слотов для твердотельных накопителей E3.S, а слева — ещё восемь.

Твердотельные накопители E3.S в конечном итоге заменят 2,5-дюймовые твердотельные накопители U.2/U.3. Следует признать, что переход происходит немного медленнее, чем мы ожидали.

Затем мы подходим к задней части, и начинается хаос. Задняя часть этих систем может быть значительно расширена, поэтому мы покажем только один вариант и пока рассмотрим то, что у нас есть, потому что даже в этой конфигурации есть много возможностей.

С левой стороны находится один блок питания и двухполосная карта расширения PCIe.

В этом стояке мы видим NVIDIA H100 NVL. Эта система рассчитана на два графических процессора двойной ширины или семь графических процессоров одинарной ширины мощностью 75 Вт. У некоторых конкурентов Dell есть решения для большего количества графических процессоров в корпусе 2U, но у Dell также есть серия xa, например Dell EMC PowerEdge R750xa для четырёх графических процессоров двойной ширины в корпусе 2U.

Задняя панель ввода-вывода выполнена в стиле OCP и оснащена портом VGA, двумя портами USB Type-A и портом iDRAC для внеполосного управления.

В центре у нас есть как верхний слот OCP, так и ещё один полноразмерный слот.

Под этими центральными стойками расположены ещё две стойки в полный рост. Опять же, существует множество различных вариантов для всех этих стоек.

Внизу находится Dell BOSS — решение Dell для загрузки с двух твердотельных накопителей. На данный момент мы видели Dell BOSS в нескольких поколениях. Преимущество этого решения в том, что оно позволяет использовать два загрузочных диска без использования переднего отсека для горячей замены. Как правило, у твердотельных накопителей показатель AFR составляет менее 0,25 %, но это все равно упрощает обслуживание без вскрытия корпуса.

Необычная особенность серверов Dell высотой 2U, которую мы наблюдаем уже некоторое время, — это ручка.

С правой стороны у нас есть ещё два слота полной высоты и ещё один блок питания.

В нашей системе этот стояк представляет собой ещё один стояк с одним пазом и двойной шириной.

Теперь давайте заглянем на сервер и посмотрим, как Dell создаёт такую гибкую систему.

Обзор внутреннего оборудования Dell PowerEdge R770

Если вкратце взглянуть на обзор системы, то мы будем двигаться от передней части к задней, но это действительно крутая картинка, если вам нравится серверное оборудование. Даже с учётом всех этих вариантов райзеров кабелей здесь минимум. В задней части системы. В передней части кабели в основном предназначены для хранения данных и расположены низко в корпусе. С появлением PCIe Gen5 передача сигналов стала более сложной, а значит, в системах стало больше кабелей, но здесь их, пожалуй, меньше.

За накопителем находится перегородка с вентиляторами. Она выдвигается для облегчения доступа к кабелям. Вы также можете заметить, что под вентиляторами и в центре есть отличные кабельные каналы, заполненные пеной.

Несмотря на то, что всю секцию вентиляторов можно снять, каждый вентилятор также поддерживает технологию «горячей» замены.

Вот краткий обзор центральной секции воздуховода.

PCIe в серверах часто выходит с северной и южной сторон чипа, а направления с востока на запад и с запада на восток обычно используются для памяти. Здесь мы видим несколько передних разъёмов PCIe MCIO, которые в нашей конфигурации используются для переднего хранилища NVMe. Здесь также видны разъёмы, к которым подключается вентилятор.

С правой стороны расположены дополнительные разъёмы MCIO и фиксатор для перегородки вентилятора.

То же самое находится слева, рядом с разъёмами питания для объединительных плат NVMe.

Система циркуляции воздуха Dell также имеет некоторые возможности настройки. Как видно на фотографии ниже, в левой части системы верхняя часть открыта, чтобы обеспечить циркуляцию воздуха для графического процессора NVIDIA H100 NVL. В правой части циркуляция воздуха практически заблокирована. Это пример того, как Dell направляет циркуляцию воздуха в корпусе.

Под этим направляющим воздуховодом находится множество процессоров и модулей памяти. Внутри установлены два процессора Intel Xeon серии 6700.

Каждый процессор имеет восемь каналов памяти DDR5 и по два модуля DIMM на канал для 32 слотов ECC RDIMM.

Dell использует дизайн HPM, вдохновлённый OCP, поэтому мы видим слоты для переходников на задней панели материнской платы и слоты в стиле OCP на заднем крае.

За блоками питания расположены разъёмы питания для таких компонентов, как графический процессор NVIDIA H100 NVL, который мы установили.

Dell использует OCP DC-SCM для iDRAC и локального управления с помощью «чердака», что всегда забавно.

В центре находится БОСС.

Затем идёт слот OCP NIC 3.0. Конструкция с внутренней защёлкой — это проблема, так как для замены сетевой карты требуется полная разборка. Другие производители используют SFF с язычками, которые чаще встречаются в облачных серверах, так как их легко обслуживать, не снимая стойки.

Этот слот OCP NIC 3.0 на самом деле один из двух, поскольку в верхней части центрального стека есть ещё один.

Стоит отметить, что такая конструкция отлично подходит для гибкого конфигурирования PowerEdge R770. Можем с уверенностью сказать, что это не самый простой в обслуживании сервер. Несмотря на широкий функционал, система имеет множество зависимостей: для доступа к одним компонентам необходимо удалить другие. Для некоторых это может показаться рискованным.

Топология Dell PowerEdge R770

В нашей конфигурации с 2 ТБ памяти происходит много всего. Во-первых, у нас процессоры с ядрами P. R770 поддерживает процессоры Intel Xeon 6700P и 6700E серии.

Мы видим, что наши компоненты почти полностью подключены к процессору 0. Эта платформа способна на гораздо большее, чем то, что мы установили. Также следует отметить, что сервер поддерживает память CXL.

Теперь давайте поговорим об управлении.

Система управления Dell PowerEdge R770 iDRAC

Большинство пользователей, скорее всего, знакомы с Dell iDRAC. В PowerEdge R770 используется iDRAC 10, который во многом похож на решения предыдущих поколений.

Похоже, что сейчас больше внимания уделяется ускорению работы, и в интерфейсе управления Dell доступно гораздо больше информации, чем у многих других производителей серверов.

Здесь есть функция инвентаризации с низким уровнем детализации, а также функция iKVM на базе HTML5, к которой мы уже привыкли.

В системе Dell также установлено множество датчиков, которые позволяют настраивать охлаждение для конкретных сценариев использования, что важно для такой гибкой системы.

У Dell есть множество ресурсов, подробно рассказывающих о iDRAC для тех, кто с ним не знаком. Это одно из самых старых и широко используемых решений для удалённого управления.

Производительность Dell PowerEdge R770

В нашей системе установлены два процессора Intel Xeon 6760P. Это 64 ядра, по 128 потоков в каждом, с 320 МБ кэш-памяти. Существует множество вариантов процессоров с ядрами P и E.

Мы просто протестировали систему, и вот что у нас получилось:

В целом это довольно хорошая производительность. Похоже, что 1U heastinks не влияют на производительность. Кроме того, для ясности: мы тестируем все серверы в режиме 1DPC, поэтому мы отключили половину памяти и протестировали конфигурацию на 1 ТБ. В противном случае мы бы получили более высокие результаты виртуализации.

Поскольку у нас была установлена NVIDIA H100 NVL, мы хотели проверить производительность этой карты на сервере 2U. H100 NVL — отличная карта, поскольку она оснащена 94 ГБ памяти HBM3, что является заметным улучшением по сравнению с оригинальной H100, пропускная способность памяти которой составляет чуть менее 4 ТБ/с.

Мы протестировали несколько систем с H100 NVL и хотели убедиться, что даже при мощности 400 Вт он хорошо охлаждается в системе, ориентированной на графический процессор.

В целом эти результаты соответствуют допустимым отклонениям, а значит, PowerEdge R770 хорошо справляется с охлаждением. H100 NVL также может работать с настраиваемой мощностью до 200 Вт, но в идеале пользователи хотят, чтобы он работал на полной мощности или почти на полной, чтобы получить максимальную производительность от компонента, который обычно является самым дорогим в сервере.

Теперь давайте поговорим о энергопотреблении

Энергопотребление Dell PowerEdge R770

Наша система была оснащена двумя блоками питания 80Plus Titanium мощностью 1500 Вт. Доступны варианты мощностью от 800 Вт до 3,2 кВт. При такой конфигурации мы получили предупреждение о том, что система не сможет работать от одного блока питания, так как потенциальная потребляемая мощность превышает 1,5 кВт. При максимальном энергопотреблении мы получили значение чуть ниже 1,5 кВт.

Наша система работала в режиме производительности, но мы заметили, что в режиме ожидания энергопотребление превышает 500 Вт, несмотря на полную загрузку памяти, процессора и графического процессора NVIDIA

Если копнуть глубже, то окажется, что только процессоры и оперативная память потребляли более 200 Вт, а NVIDAI H100 NVL на тот момент потреблял более 60 Вт. Сюда не входят твердотельные накопители, другие компоненты и система охлаждения.

Конечно, есть варианты конфигурации, от выбора аппаратного обеспечения до программного, которые могут снизить этот показатель, но нам показалось это интересным.

Заключительные слова

Всякий раз, когда мы тестируем системы Dell PowerEdge, мы убеждаемся в высоком качестве их разработки. Примечательно и то, что десять лет назад Dell не уделяла особого внимания открытым стандартам. Сейчас Dell использует такие решения, как OCP NIC 3.0, DC-SCM, DC-HPM и другие от OCP. Они берут некоторые из этих базовых возможностей и создают на их основе отличное оборудование.
Когда мы тестируем такой PowerEdge, мы рассматриваем только одну конфигурацию. Эта конфигурация — лишь малая часть того, на что способен этот сервер. Возможно, именно поэтому при тестировании PowerEdge R770 на ум пришло слово «гибкий», ведь для каждой протестированной нами подсистемы часто было доступно шесть или более вариантов конфигурации. Dell явно нацелилась на самое сердце серверного рынка с помощью PowerEdge R770.