Прогресс не стоит на месте, и высокопроизводительная вычислительная техника — один из его передовых фронтов. Коснулось это и серверного оборудования: информации становилось все больше, потребность в ее обработки и хранении росла, и вот в самом начале 21 века был создан первый блейд-сервер, призванный уплотнить вычислительные мощности.
Произошло это уже больше пятнадцати лет назад, а зачем блейды нужны и стоит ли такой заводить в серверной осознали пока не все. Секрет "уплотнения" очень прост: устройство разделяется на две неравные части — общую корзину и, собственно, "тонкие" серверы необычного формата, так называемые "лезвия"; и все, что можно, выносится в корзину — охлаждение, питание и т.д. В результате на место одного большого сервера у нас помещается корзина блейда с пятью, десятью, шестнадцатью, а то и двадцатью серверами-лезвиями.
Звучит впечатляюще! Однако, как и любое сложное оборудование, этот формат требует грамотного подхода, а те, кто решат, что "блейд" — серверная панацея, и нужно просто выбросить все rack- и tower-устройства, будет разочарован.
Кому не нужен блейд
Начать лучше всего с того, что блейд-сервер — явление не столько "ультра-крутое", сколько специфическое. Да, полностью укомплектованный Blade-формат может вызвать восторг уже тем, что это очень мощное устройство, до производительности которого не каждая IT-инфраструктура дорастет.
Но, увы, многим предприятиям ничего подобного и не нужно: малым компаниям, даже уже имеющим свою IT-инфраструктуру, вряд ли пригодится и половина таких мощностей, а средним компаниям даже уже нужного уровня потребностей может не понравиться одна из тех уязвимостей, которые являются естественным продолжением плюсов блейда. Что же это за уязвимости?
- Хотя в рамках одной корзины и можно создавать отказоустойчивую систему, она вместе со всей своей надежностью встанет, если откажет не сервер, а, собственно, корзина. Да: объединение охлаждения и питания это дополнительная уязвимость, причем сразу для всех лезвий!
- Блейд-сервер, не забитый лезвиями до предела, не оправдывает вложений, так что если думаете, что он вам нужен — прикидывайте затраты сразу со всеми лезвиями целиком.
- Если у вас появится необходимость создать территориально разведенный кластер, то блейд тут вам сможет помочь. Еще один — придется покупать новое шасси!
- Если вам вдруг потребуется одно мощное лезвие с несколькими процессорами или жесткими дисками, то увы — это сведет все плюсы плотности к нулю.
- В конце концов, это дорогое удовольствие! Каждое лезвие стоит не дешевле нормального сервера, а вот корзина втрое дороже.
Так что если вы присматриваетесь к блейду, то присмотритесь как следует.
Кому же он тогда нужен?
Плюсы блейдов начинаются с масштабных проектов:
- Везде, где действительно нужна плотность вычисления, нужен блейд. Ни одна обычная IT-инфраструктура на самых производительных 1U-серверах не побьет по плотности один blade!
- Естественно, что с масштабами приходит и трудность в управлении. Эту проблему блейд тоже решает. Все лезвия управляется централизованно, и когда серверов уже не пять и не десять — это существенный плюс.
- Легкость в масштабировании в пределах корзины. Впрочем, если проект по-настоящему крупный, то и целыми корзинами масштабирование тоже осуществимо.
- Аккуратность в укладке кабеля. В обычной серверной иногда можно запутаться в мотках проводов и никогда из них уже не выпутаться; блейды же немалую часть этой проводки попросту включают в корзины.
В общем, если речь идет о крупном хостере, раширяющейся корпорации, центре обработки данных — блейду равных не будет.
Содержание
Для чего служат Blade-серверы?
В настоящее время существует большой класс задач, требующих высокой концентрации вычислительных средств. К ним могут относиться как сложные ресурсоемкие вычисления (научные задачи, математическое моделирование, вычислительный поиск), так и обслуживание большого числа пользователей (распределенные базы данных, Интернет-сервисы и хостинг, серверы приложений).
Мощность вычислительного центра можно сделать больше, увеличив производительность отдельных вычислительных модулей или их количество. В настоящее время преобладает вторая тенденция, и усилия разработчиков направлены, прежде всего, на внедрение параллельных вычислений.
Это связано с тем, что поскольку сейчас производительность центрального процессора очень высока при относительно низкой стоимости, рациональнее использовать для решения большинства задач кластерные конфигурации, а не сложные многопроцессорные системы. В будущем, скорее всего, эта тенденция сохранится (надеяться на это позволяет появление многоядерных центральных процессоров, еще более сокращающих разрыв в вычислительной мощности между специализированными решениями и простыми серверами с двумя — четырьмя центральными процессорами).
Увеличение числа вычислительных модулей в вычислительном центре требует новых подходов к размещению серверов. Применение кластерных решений приводит к росту затрат на помещения для центров обработки данных, их охлаждение и обслуживание.
Решить некоторые из этих проблем поможет новый тип серверов — модульные, чаще называемые Blade-серверами, или серверами-лезвиями (blade — лезвие). Набирающие популярность Blade-серверы — это воистину серверы XXI века (их первые модели были разработаны в 2001 г.), преимущества которых изготовители описывают с помощью правила «1234». Оно звучит так: по сравнению с обычными серверами при сравнимой производительности Blade-серверы занимают в два раза меньше места, потребляют в три раза меньше энергии и обходятся в четыре раза дешевле.
Итак, что представляет собой Blade-сервер? Прежде всего стоит привести определение IDC: аналитическая компания называет лезвием (Blade-сервером) модульную одноплатную компьютерную систему, включающую процессор и память. Лезвия вставляются в специальное шасси (или полку) с объединительной панелью (backplane), обеспечивающей им подключение к сети и подачу электропитания. Это шасси с лезвиями, по мнению IDC, является Blade-системой. Оно выполнено в конструктиве для установки в стандартную 19-дюймовую стойку и в зависимости от модели и производителя, занимает в ней 3U, 6U или 10U (один U — unit, или монтажная единица, равен 1,75 дюйма). За счет общего использования таких компонентов, как источники питания, сетевые карты и жесткие диски, Blade-серверы обеспечивают более высокую плотность размещения вычислительной мощности в стойке по сравнению с обычными тонкими серверами высотой 1U и 2U, такими как dell pe r210 или dell pe r410.
Фактически блейд система состоит из следующих компонентов
- Blade-серверы (фактически это обычные серверы без блока питания, с пассивными радиаторами и без PCI разьемов – убраны все «лишние компоненты»)
- Корпус и пассивный Backplane (плата обеспечивающая коммутацию установленного оборудования)
- Системы питания и охлаждения (вентиляторы блоки питания)
- Внешние коммутационные устройства(Ethernet, FC, Infiniband)
Вместо обычных PCI(PCI-E, PCI-X) плат в сервер вставляются мезонинные карты, которые позволяют использовать интерфейсы FC, Infiniband, SAS, или дополнительные порты Ethernet, при наличии в шасси соответствующего внешнего коммутационного модуля.
Типичный Blade сервер: нет ни блока питания, ни вентиляторов — ничего лишнего!
Тем не менее, по данным аналитиков, повышенная плотность лезвий сейчас отходит на второй план и их главным преимуществом для корпоративного сектора становится улучшение управляемости серверов с более высокой степенью автоматизации их обслуживания. Переход к серверной инфраструктуре, построенной из лезвий, позволяет реализовать интегрированное управление системы и отойти от прежней схемы работы Intel-серверов, когда каждому приложению выделялась отдельная машина. На практике это означает значительно более рациональное использование серверных ресурсов, уменьшение числа рутинных процедур (таких, как подключение кабелей), которые должен выполнять системный администратор, и экономию его рабочего времени.
Типичное 10U шасси для 10 Blade-серверов
Кроме того, Blade-серверы намного проще обслуживать, чем обычные стоечные серверы, — например, при выходе машины из строя системный администратор просто заменяет лезвие на новое и затем в дистанционном режиме инсталлирует на него ОС и прикладное ПО. В настоящее время разработчики пакетов для управления Blade-серверами реализуют в своих продуктах не только возможности автоматического развертывания на новых серверах ОС и приложений, но и функции быстрого обновления установленного ПО или инсталляции программных “заплаток”.
Blade-серверы являются крайне эффективным решением для экономии пространства в центрах обработки данных (ЦОД), а также с точки зрения их консолидации и перехода к централизованному управлению серверным парком. Например, системный администратор может управлять шасси с лезвиями как одним объектом и по мере роста нагрузок увеличивать его вычислительную мощность, добавляя новые лезвия. Кроме того, поскольку обычно в шасси предусмотрена возможность установки сетевых коммутаторов, эта опция позволяет провести и консолидацию сетевых ресурсов ЦОД.
Помимо уменьшения занимаемой площади в ЦОД, экономический эффект от перехода на лезвия имеет еще несколько составляющих. Поскольку в них входит меньше компонентов, чем в обычные стоечные серверы, и они часто используют низковольтные модели процессоров, то сокращаются требования к энергообеспечению и охлаждению машин. Как уже говорилось выше, экономится рабочее время администратора, который в результате успевает обслуживать больше объектов, и поэтому при росте серверного парка, предприятию не обязательно нанимать еще одного администратора. Наконец, хотя при переходе к архитектуре Blade-серверов вместе с самими лезвиями нужно приобретать и шасси, благодаря совместному использованию его компонентов дальнейшее масштабирование Blade-системы требует меньше затрат, чем системы из стоечных серверов, и шасси с пятью — десятью лезвиями обходится дешевле аналогичного числа обычных стоечных машин.
Преимущества использования Blade-серверов можно выразить следующим списком:
- уменьшение стоимости и повышение надежности системы питания и охлаждения;
- сокращение количества коммутационных проводов;
- повышение удобства управления системой;
- уменьшение занимаемого объема;
- уменьшение энергопотребления и выделяемого тепла;
- высокая масштабируемость;
- гибкость.
Разумеется «Blade» имеют и недостатки:
- отсутствие общего стандарта и общей платформы. Для пользователей это выражается в невозможности установить, например, Blade-сервер SUN в шасси IBM;
- одна точка отказа в большинстве Blade-систем: само шасси — это точка отказа системы. Если шасси отказывает, то простаивают все установленные в него «лезвия», что, несомненно, наносит значительный урон бизнесу их владельца. Однако, надо понимать, что само шасси (корпус и backplane) это пассивный компонент повредить который можно лишь только физически;
- «Blade» неэффективны для решения задач, требующих малого числа серверов (например, двух или трех). В этом случае выгоднее использовать обычные серверы, не переплачивая за шасси;
- ограниченный класс приложений, выполняемых «Blade`ами»: поскольку Blade-серверы комплектуются одним или двумя процессорами, задачи, оптимизированные для традиционных серверов с большим числом процессоров, сложно переносить на «Blade»;
- плохие возможности внутренней расширяемости Blade-серверов: отсутствие возможности устанавливать платы расширения в серверы (возможность установить одну низкопрофильную PCI –плату в некоторых моделях), малые объёмы оперативной памяти.
- ограниченный размер внутренней дисковой подсистемы – сервер как правило имеет разъем под 2 жестких диска 2,5. Это связано с тем, блейд серверы применяются под задачи виртуализации и подразумевается использование внешнего массива.
В целом, внедрение Blade-серверов приносит больше положительного эффекта, оно экономически выгодно. Однако, традиционно, введению новшества сопротивляется человек. Большинство компаний опасается приобретать Blade-системы, предпочитая проверенные временем стоечные или башенные серверы. Но с каждым годом объём продаж Blade-серверов растёт, появляется всё больше решений на их основе.
Комментарии к некоторым постам хабра заставили задуматься, есть ли понимание у народа о серверах высокой плотности и их возможностях. Целью написания данного поста является внесение определенности по этому вопросу. Также планируется, что этот пост станет первым в череде статей на тему HPC (high performance computing, высокопроизводительные вычисления).
Сервера высокой плотности наиболее востребованы в технологиях построения суперкомпьютеров кластерного типа, систем виртуализации и организации облаков, систем параллельного доступа к системам хранения, систем аналитических расчётов, поисковых системах и др. Их применение обусловлено, прежде всего, невозможностью выполнить все предъявляемые требования, используя иные технологии. Рассмотрим варианты решений, их плюсы и минусы.
Блейд-сервера (Blade)
На Западе мест размещения серверов в ЦОД’ах уже давно не хватает. Поэтому неудивительно, что сервера высокой плотности впервые появились там. Пионером была компания RLX Technologies, которая в 2000 году разработала систему, умещающую в 3U 24 лезвия. Основные заказчики этих первых Blade-серверов были вояки и NASA. Далее этот startup был куплен HP. Но самое главное было сделано — был создан сервер высокой плотности.
За пионерами последовали и гиганты: Intel, IBM, HP. Далее — DELL, SUN, Supermicro, Fujitsu, Cisco, HDS и др.
Основные отличия Blade-систем от RACK-серверов, помимо высокой плотности, заключается в интеграции серверов с сопутствующей инфраструктурой: сети, мониторинг, управление, охлаждение и электропитание. Всё это расположено в одной коробке и по возможности обладает элементами отказоустойчивости. Объединяющим элементом является BackPlane – системная плата, обычно пассивная. К ней подключаются все элементы Blade-системы. Место, занимаемое в шкафу, варьируется от 3U до 10U. Самыми высокоплотными решениями являются HP Blade и DELL PowerEdge – 3,2 сервера на 1U. Практически все производители делают сервера только на процессорах семейства x86/x64. Но существуют также и решения на RISC, MIPS и ARM процессорах.
Кстати, в решении RLX Technologies плотность серверов была выше. Это обусловлено тем, что в нем использовались одноядерные процессора Celeron, которые сейчас используются в основном только лишь для настольных тонких клиентов. Понятно, что тепловыделение современных процессоров гораздо выше, и именно это пока не позволяет увеличивать плотность в современных решениях.
В чем преимущества блейд-серверов? Давайте выделим основные моменты:
- Всё расположено в одном корпусе-шасси.
- Система мониторинга и управления обладает расширенными функциями по сравнению с RACK-серверами.
- Наличие нескольких типов сетей в каждом сервере-лезвии. Это могут быть: Ethernet (100Mb/s, 1Gb/s, 10Gb/s), FibreChannel (2Gb/s, 4Gb/s, 8Gb/s, 16Gb/s), InfiniBand (SDR, DDR, QDR, FDR).
- Встроенные элементы охлаждения и электропитания обладают элементами отказоустойчивости.
- Горячая замена всех сменных компонентов.
- Возможность организации встроенной дисковой системы хранения данных для всех установленных серверов-лезвий.
- Плотность размещения в шкафу.
В чем слабые стороны? Основные недостатки, которые видятся мне существенными:
- Высокая цена неполного комплекта. Только при достижении заполнения порядка 70% мы получаем близкие цены с RACK’овыми аналогами.
- Ограничение по расширению конфигураций сервера-лезвия.
- Невозможность отторжения сервера-лезвия как самостоятельной единицы.
- Ограниченность одновременного использования сетевых интерфейсов.
- Невозможность, в ряде случаев, организовать неблокирующуюся сеть между серверами-лезвиями и внешним миром.
- Ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
- Проприетарные технологии. Купив у одного производителя оборудование – будешь покупать только у него.
- Повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).
Рассмотрим структуру Blade системы на примере решения от компании Dell. Это Dell PowerEdge M1000e.
Сервера-лезвия могут иметь от двух до четырёх процессоров. В зависимости от количества и типа процессоров в одно шасси можно установить от 8 до 32 лезвий-серверов. Каждое лезвие-сервер может иметь интерфейсы 1GbE, 10GbE, 8Gb/s FC, IB DSR, DDR, QDR, FDR. Базово имеются порты 1GbE.
В зависимости от размера лезвий, количество устанавливаемых мезонинных модулей интерфейсов может быть один или два. Каждый из мезонинных модулей может иметь четыре порта 1GbE или два порта любых других интерфейсов.
Для организации отказоустойчивой схемы в шасси коммутаторы устанавливаются парами. Возможно установить три пары коммутаторов. Каждая пара должна состоять из одинаковых коммутаторов. Соответственно, могут быть различные комбинации:
- Первая пара (A) 1GbE;
- Вторая пара (B) 1GbE, 10GbE, 8Gb/s FC, IB (DSR, DDR, QDR, FDR);
- Третья пара (С) 1GbE, 10GbE, 8Gb/s FC, IB (DSR, DDR, QDR, FDR).
Так же для отказоустойчивости устанавливаются два модуля удалённого мониторинга и управления. Данные модули позволяют удалённо управлять любым лезвием. От включения, настройки BIOS’а, выбора источника загрузки, установки ОС как с внутреннего носителя, так и с локального носителя администратора до предоставления полноценного удалённого доступа к KVM.
Одним из вариантов загрузки, является загрузка с SD карточки. Таких карточек в лезвии можно установить две и иметь возможность загружаться с любой. Так же возможно их объединить в зеркало.
Единственным модулем, не имеющий резервирования, является модуль KVM. Но отказ этого модуля не отменяет возможности подключения и управления через сеть.
При использовании лезвий M420 плотность серверов на 1U равна 3,2 сервера.
TWIN-сервера
Альтернативой по плотности существующим Blade-системам являются их младшие братья – TWIN. Данная технология была разработана в компании Intel и для продвижения на рынок передана компании Supermicro в 2006 году. Первые TWIN-сервера появились в 2007 году. Это был 1U’шный двухсерверный конструктив с одним блоком питания, где все коммутационные разъёмы были выведены на тыловую часть серверов.
Данная компоновка за эти шесть лет получила признание, и линейка сильно расширилась. Сейчас доступны 1U, 2U и 4U TWIN-сервера с возможностью установки от 2-х до 8-ми двухсокетных серверов. У некоторых производителей появились варианты с размещением вместо двух двухсокетных серверов одного четырёхсокетного. Основные плюсы и минусы перечислю ниже.
Плюсы TWIN-серверов:
- Всё расположено в одном корпусе-шасси.
- Наличие нескольких типов сетей в каждом сервере. Это могут быть: Ethernet (100Mb/s, 1Gb/s, 10Gb/s), InfiniBand (SDR, DDR, QDR, FDR).
- Встроенные элементы охлаждения и электропитания в ряде моделей обладают элементами отказоустойчивости.
- В ряде TWIN-серверов горячая замена всех сменных компонентов.
- Использование стандартных PCI-e плат расширения.
- Возможность организации встроенной дисковой системы хранения данных.
- Плотность размещения в шкафу.
- Цена ниже, чем Blade и RACK сервера.
Минусы:
- Требуется наличие внешних сетевых коммутаторов.
- Невозможность отторжения сервера-лезвия как самостоятельной единицы.
- В ряде случаев ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
- При полной забивке шкафа TWIN-серверами повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).
- Плотность размещения серверов ниже, чем у блейдов.
Как мы видим из плюсов-минусов, TWIN-сервера и блейд-сервера являются скорее не конкурентами, а органичным дополнением друг друга.
Одними из ярких представителей TWIN-серверов являются серверы Dell С6000 серии. Они представляют собой 2U’шный конструктив с двумя БП и возможностью установить два, три или четыре модуля-сервера. В каждый сервер можно установить две или три платы расширения с интерфейсом PCI-e.
Микросервера
Наш рассказ будет не полным, если мы не расскажем о последних веяниях конструктивов серверов для ЦОД’ов. Речь пойдет о микросерверах. Это односокетные сервера с минимизацией размеров и электропотребления. Рассчитывать на серьёзные характеристики по производительности не стоит. Одним из представителей этого вида серверов является сервер компании Supermicro, представленный на рисунке.
Как видно из рисунка, плотность данного решения равна уже 4 сервера на 1U. Возникновение данного класса серверов продиктовано невысокими требованиями к серверам для большинства приложений, используемых клиентами. Микросервера могут быть применимы в качестве альтернативы виртуализации. Когда какое-либо приложение не рекомендуется виртуализовывать по тем или иным причинам. Небольшие микросервера также подойдут для типовых невысоконагруженных офисных задач.
Вывод
Я постарался не углубляться в детали каждого отдельно взятого производителя. Эти детали можно изучить непосредственно на сайтах этих производителей.
Сделать однозначный вывод о том, какое из описанных выше решений подойдет наилучшим образом для конкретного заказчика, сложно. Так, например, плотность блейд-серверов гораздо выше, чем у TWIN-серверов, что позволяет разместить большее количество серверов на минимуме места. С другой стороны латентность модулей 10GbE для блейд-корзины может быть выше, чем латентность PCIe карточки 10GbE для TWIN-серверов. Или, пиковая производительность процессоров в высокоплотных Blade-серверах ниже, чем у процессоров в TWIN решениях. Но утверждать о преимуществах одного высокоплотного решения над другим можно только исходя из конкретной задачи. Готовы поделиться своим мнением с интересующимися, рассматривая их конкретные задачи.
