Практическим применением знаний о работе с массивами EVA и iLO в серверах ProLiant, которые вы получили чуть раньше, может стать развертывание высокодоступного кластера на vSphere.
Кластер может использоваться для предприятий среднего и крупного размера, чтобы уменьшить время внеплановых простоев. Поскольку для бизнеса важны такие параметры как доступность его сервиса или услуги клиенту в режиме 24×7, то такое решение основывается на кластере высокой доступности. В кластер всегда входят как минимум 2 сервера. В нашем решении серверы под управлением VMware отслеживают состояние друг друга, при этом в каждый момент времени ведущим будет только один из них, на нем будет разворачиваться виртальная машина с нашим бизнес-приложением. В случае отказа ведущего сервера его роль автоматически принимает второй, при этом для заказчика доступ к бизнес-приложению практически не прерывается.
Содержание
1. Описание задачи
В данном примере мы опишем процесс создания высокодоступного кластера VMware на блейд-серверах BL460c G7. Оборудование состоит из блейд-корзины HP c7000 и двух блейд-серверов BL460c G7, где скофигурирован VMware HA(High Available)-кластер. В демо-центре HP в Москве сейчас доступны только модели блейд-серверов G7, но на основе описанного примера можно собрать кластер и на новых блейд-серверах Gen8. Конфигурирование, в целом, не будет различаться. Система хранения – HP EVA 4400. Для Ethernet и Fibre Channel подключений в корзине c7000 установлены 2 модуля HP Virtual Connect Flex Fabric в отсеках 1 и 2.
2. Описание компонентов
Virtual Connect FlexFabric — конвергентный виртуализированный модуль ввода/вывода для блейд-корзины с7000.
Модуль HP Virtual Connect FlexFabric использует технологии Flex-10, FCoE, Accelerated iSCSI для коммутации блейд-серверов и сетевой инфраструктуры (SAN и LAN) со скоростью 10Gb.
Из возможностей: перенос «профилей» (таблица MAC и WWN серверов) не только между разными лезвиями в шасси, но и на удалённые сайты, где есть такой же блейд-сервер.
Так же при использовании Virtual Connect каждый из двух портов сетевой карты блейд-сервера можно делить на 4 виртуальных порта 1GbE/10GbE/8Gb FC/iSCSI общей пропускной способностью 10GbE на порт. Это позволяет получить от 8 виртуальных портов на сервер (на BL460с G7), которые необходимо задавать при первой инициализации.
Единственное ограничение в том, что HP Virtual Connect FlexFabric не являются полноценными коммутаторами. Это аггрегаторы, для работы которых необходимо иметь отдельные Ethernet- и SAN-свитчи (в последней прошивке, правда, появилась возможность Direct Connect с HP P10000 3PAR).
Общий вид использованного оборудования отражается в Onboard Administrator.
Интегрированная в ProLiant BL460c G7 карта NC553i Dual Port FlexFabric 10Gb может работать с модулями HP Virtual Connect FlexFabric напрямую, без дополнительных мезонин-карт. Два модуля HP Virtual Connect FlexFabric установлены для отказоустойчивости путей связи связи блейд-серверов с системой хранения EVA 4400 и Ethernet-коммутаторами.
В данном примере будем рассматривать сценарий, когда трафик от модуля HP Virtual Connect FlexFabric разделяется на Ethernet-коммутаторы и FC-фабрику. FCoE в этом случае используется для коммутации модулей с блейд-серверами внутри корзины.
Для работы с различными протоколами модулям HP Virtual Connect FlexFabric необходимы трансиверы. В этом примере 4 Gb FC SFP трансиверы были установлены в порты 1 и 2 на каждом из модулей, а 10 Gb SFP+ трансиверы были установлены в порты 4 и 5. 10GbE-каналы использованы в данном тесте чтобы задействовать сетевое оборудование в нашем демо-центре.
Диаграмма показывает, что 3 порта сетевого адаптера NC553i Dual Port FlexFabric 10Gb сконфигурированы как FlexNIC для взаимодействия виртуальных машин между собой и для подключения к сетевой инфраструктуре. Оставшийся порт был сконфигурирован как FCoE для связи с SAN-инфраструктурой и системой хранения EVA 4400.
Вместе с каждым Virtual Connect модулем поставляется ПО для управления HP Virtual Connect Manager, для Enterprise модулей – HP Virtual Connect Enterprise Manager. С помощью Enterprise Manager можно управлять из одной консоли до 256 доменами (1 домен — 4 Blade системы с Virtual Connect).
После подключения модуля необходимо его сконфигурировать. Делается это либо подключением к Onboard Administrator самой корзины, либо по IP-адресу, который назначается модулю по умолчанию на заводе.
3. Настройка профилей в Virtual Connect Manager
После подключения HP FlexFabric мы должны определить домен, Ethernet-сеть, SAN-фабрику и серверные профили для хостов. Эти настройки производятся в HP Virtual Connect Manager или в командной строке. В нашем примере домен уже был создан, поэтому следующим шагом будет определение VC Sharing Uplink Sets для поддержки Ethernet сетей виртуальных машин с именами HTC-77-A и HTC-77-B. Включаем “Map VLAN tags” функцию в мастере установки.
Функция “Map VLAN tags” дает возможность использовать один физический интерфейс для работы с множеством сетей, используя Shared Uplink Set. Таким образом можно настроить множество VLANs на интерфейсе сетевой карты сервера. Параметры Shared Uplink Sets были заданы в мастере установки VCM. Пример задания SUS:
Обе сети «HTC-77-A» и «HTC-MGMT-A» были назначены: VLAN_Uplink_1 на порт 5 модуля 1; второй Shared Uplink Set (VLAN_Uplink_2) был назначен на порт 5 модуля 2, и включает в себя сети HTC-77-B (VLAN 20) и HTC-MGMT-B (VLAN 21). Пример создания сетей Ethernet в VCM:
Модуль HP Virtual Connect может создавать внутренную сеть без аплинков, используя высокопроизводительные 10Gb соединения с бэкплейном корзины с7000. Внутренняя сеть может быть использована для VMware vMotion, а также для организации отказоустойчивости сети. Трафик этой сети не выходит на внешние порты корзины c7000. В нашем случае были настроены 2 сети VMware vMotion. Для консоли управления были настроены две сети с именами HP-MGMT-A и HP-MGMT-B. Порт 6 модулей HP Virtual Connect FlexFabric в отсетках 1 и 2 был использован для подключения к консоли управления.
После этого начинается настройка фабрики SAN. Все довольно просто: в VCM выбрать Define – SAN Fabric. Выбираем SAN-1 модуль в отсеке 1, порт X1. Для второго модуля SAN-2 порт также X1. Пример настройки SAN:
Последним шагом будет «склеивание» всех ранее сделанных настроек в серверный профиль. Это можно сделать несколькими способами: например, через web-интерфейс VCM или через командную строку Virtual Connect – Virtual Connect Scripting Utility (VCSU). Перед установкой ОС необходимо проверить, что все системные, NIC и FC драйверы обновлены, а все параметры сети заданы. Пример создания профиля в CVM:
В VCM выбираем Define – Server Profile, вводим имя профиля и выбираем сетевые подключения профиля из созданных ранее.
В нашем случае все порты были назначены нами заранее: 6 Ethernet портов и 2 SAN порта на каждый профиль. Профили для отсека 11 и 12 идентичны, т.е. каждый сервер видит один и тот же набор портов. Суммарная скорость не превышает 10Гб/с на каждый порт сетевой карты сервера.
Если в будущем планируется расширение сети, то рекомендуется назначить нераспределенные (unassigned) порты в профиле. Делая так, можно в дальнейшем активировать эти порты без выключения и перезагрузки сервера.
При создании профиля по умолчанию доступны только 2 порта в разделе Ethernet. Чтобы добавить больше, необходимо вызвать контекстное меню правой кнопкой мыши и выбрать “Add connection”.
Назначаем скорость для каждого типа портов: портам управления – 500Mb/s, портам vMotion – 1Gb/s, портам SAN – 4Gb/s и портам виртуальных машин – 4.5Gb/s.
После создания профилей они привязываются к блейд-отсеку корзины в этом же меню.
4. Настройка кластера VMware
На этом настройки корзины завершены. Далее происходит удаленное подключение к самим блейдам и разворачивание VMware ESX 5.0, пример удаленной установки ОС на серверы ProLiant через iLO уже был описан.
В нашем случае вместо Windows в выпадающем меню установщика выбирается VMware и указывается путь к дистрибутиву.
После установки сервер перезагружается и можно приступать к настройке виртуальных машин. Для этого подключаемся к серверу ESX. Заходим в раздел Configuration, создаем 6 vmnics на каждый хост, как и в модуле Virtual Connect: Service Console (vSwitch0), VM Network (vSwitch1), vMotion (vSwitch2). Таким образом мы получаем отказоустойчивую конфигурацию, где каждой сети соответствую 2 vmnics.
Как только добавляются vmnics можно заметить, что каждому адаптеру автоматически задается скорость, заданная в серверном профиле, при конфигурации в Virtual Connect Manager.
После добавления vmnics объединяем их в группу с помощью vSwitch: вкладка Port – в поле Configuration выбираем vSwitch – Edit, выбираем NIC Teaming, убеждаемся, что оба vmnics видны. Балансировку нагрузки выбираем «Route based on the originating virtual port ID» — эти настройки рекомендуется ставить по умолчанию (подробнее об этом методе можно прочесть на сайте VMware.
5. Настройка дискового массива EVA 4400
В предыдущем обзоре было рассказано как работать с интерфейсом управления дисковыми массивами EVA — Command View.
В данном примере мы создаем LUN размером в 500 ГБ, который разделяется между двумя хостами виртуальных машин. По описанному в предыдущей статье методу создается виртуальный диск и презентуется двум хостам ESX. Размер LUN определяется типом ОС и ролями, которые данный кластер будет выполнять. Обязательным условием для кластера (в частности, для VMware vMotion) – LUN должен быть разделяемым. Новый LUN должен быть отформатирован в VMFS, и функция Raw Device mappings (RDMs) для виртуальных машин должна быть задействована.
6. Внедрение VMware HA и VMware vMotion
HP Virtual Connect в сочетании с VMware vMotion дает тот же уровень избыточности, как при использовании двух модулей VC-FC и двух модулей VC-Eth, за исключением того, что только 2 модуля HP FlexFabric необходимы. HP Virtual Connect FlexFabric дает возможность организовать отказоустойчивые пути к общему LUN и отказоустойчивого объединения сетевых интерфейсов (NIC Teaming) для работы в сети. Все настройки VMware vSphere отвечают Best Practices описанным в документе.
Была проведена проверка на доступность кластера. На одном из хостов была развернута виртуальная машина Windows 2008 Server R2.
Виртуальная машина вручную несколько раз была смигрирована с одного сервера на другой, во время мигации кластер оставался доступным.
HTC DC – наш DC, Demo-FlexFabric Cluster – наш кластер, Demo-ESX1 и Demo-ESX2 – хосты VMware, vmhba2 – SAS контроллеры блейд-серверов, подключенные к внутренней дисковой подсистеме. Vmhba0 и vmhba1 – два порта встроенных сетевых карт NC553i Dual Port FlexFabric 10Gb Adapter, подключенных к разделяемому LUN EVA 4400. Demo-VM-W2K8R2-01 – виртуальная машина.
Page 15: Vcem operations
self-sufficient, so they can add, replace, and modify servers in minutes without affecting LAN and SAN
availability or burdening network administration staff.
Managing HP Virtual Connect
To configure and manage Virtual Connect resources, HP provides options for both small and large Virtual
Connect environments.
HP Virtual Connect Manager
Virtual Connect Manager is a simple web console built into the firmware of each Virtual Connect Ethernet
module, and is designed to configure and manage a single Virtual Connect Domain.
Small environments with up to 4 Virtual Connect domains that have no plans to expand further.
HP Virtual Connect Enterprise Manager
VCEM is HP’s primary application that centrally manages server connections and provides workload mobility
for up to 250 Virtual Connect domains and thousands of servers across the datacenter.
BladeSystem environments with more than one rack of enclosures . VCEM is designed to scale as the
infrastructure grows and simplifies the addition of new and bare metal enclosures. Small environments with
goals to expand beyond a single server rack should use VCEM from the very beginning to get the most
benefit.
Medium to large HP BladeSystem environments that use Virtual Connect.
HP BladeSystem environments that extend to multiple locations.
Organizations that require centralized control of server-to-network connectivity.
Organizations that require rapid server workload assignment and recovery across enclosures.
VCEM aggregates network connection management and workload mobility for hundreds of Virtual Connect
domains and thousands of blade servers into a single console. This scalable solution delivers advanced
Virtual Connect management that builds upon and integrates with other HP management tools, including
HP Systems Insight Manager (HP SIM), Virtual Connect hardware, and the Onboard Administrator integrated
into HP BladeSystem c-Class enclosures. VCEM can be installed in a variety of configurations that include
a physical stand-alone console, as a plug-in to HP Systems Insight Manager, and as a virtual server guest.
The majority of VCEM operations are accessed through a dedicated homepage which includes the following
core tasks:
Discover and import existing VC Domains without system downtime.
Aggregate individual Virtual Connect address names for LAN and SAN connectivity into a centrally
administered VCEM address repository.
Create VC Domain Groups.
Assign and unassign VC Domains to VC Domain Groups.
Define server profiles and link to available LAN and SAN network resources.
Assign server profiles to BladeSystem enclosures, enclosure bays, and VC Domain Groups.
Change, move, or automatically failover server profiles to spare servers.
Rapidly install new bare-metal HP BladeSystem enclosures by assigning to a VC Domain Group.
The following figure displays the Virtual Connect Enterprise Manager homepage.
HP Virtual Connect приносит виртуализацию к краю блейд — серверов. Он поднимает , где технология виртуальной машины останавливается. Технология виртуальных машин может двигаться только рабочие нагрузки через виртуальных машин на одном сервере. Это становится проблемой , когда перемещение виртуальных машин с одного физического компьютера на другой или между точками центров обработки данных, так как изменения в среду LAN и SAN требуют ручного вмешательства сети и хранения администраторов. Объединив и совместное использование нескольких сетевых подключений между несколькими серверами и виртуальными машинами, Virtual Connect расширяет возможности центра обработки данных, позволяя физическую установку и перемещение рабочих нагрузок виртуальных машин между серверами и виртуальными машинами, прозрачно от инфраструктуры LAN и SAN.
Virtual Connect является новой виртуализации технологии от компании Hewlett-Packard (HP) , что де-пары фиксированный адаптер блейд — сервер сетевых адресов из соответствующих внешних сетей , так что изменения в инфраструктуре блейд — серверов и среды LAN и SAN не требуют сложной хореографии среди серверов, LAN и SAN команд для каждой задачи. Использование встроенного в HP Virtual Connect Manager для небольших конфигураций или Virtual Manager , HP Connect Enterprise для крупных средах администраторы могут определять профиль подключения сервера для каждого блейд — сервера отсек установлен сервер. Этот профиль устанавливает (MAC) адрес управления доступа к среде для всех контроллеров сетевого интерфейса (NIC), Всемирные имена (WWN) для всех адаптеров главной шины (HBA) и Fiber Channel SAN параметры загрузки , а также связанных с ними сетевыми соединениями восходящей линии связи , а затем связывает их с блейд — серверами залива , так что даже если сервер изменен, конфигурация и профиль подключения постоянного пребывания. Когда новый сервер занимает свое место, тот же профиль связан и используется новый сервер.
Технология позади последних виртуальных адаптеров Connect FlexFabric и модулей, часть FlexNetwork архитектуры HP , требуется Virtual Connect дальше с уникальными возможностями. Virtual Connect FlexFabric обеспечивает до четырех физических функций для каждого адаптера сетевого порта блейд — сервера, с уникальной способностью тонко настроить пропускную способность адаптироваться к требованиям виртуальных серверов рабочей нагрузки на лету. Все четыре соединения может иметь свои аппаратные личности , определенные системный администратор , как FlexNICs поддерживать только трафик Ethernet , как и прежде с Virtual Connect. Кроме того , однако, один из физических функций также может быть определен как FlexHBA для поддержки протокола Fibre Channel , или инициатора ISCSI для поддержки протокола загрузки ISCSI. Каждая функция имеет 100 — процентную производительность на аппаратном уровне и обеспечивает производительность ввода / вывода , необходимых для полной мере использовать преимущества многоядерных процессоров и поддерживать большее количество виртуальных машин на одном физическом сервере. Каждый сервер может поддерживать много соединений-до 24 за половину высоты отвала с меньшими затратами в дорогих адаптеров на сервере, меньше соединительных модулей в корпусе лопастной и меньше дорогих портов коммутатора восходящей линии связи в корпоративной сети. Virtual Connect в качестве одной из технологических основ для HP CloudSystem и конвергентной инфраструктуры позволяет абстракцию блейд — серверов инфраструктуры от инфраструктуры LAN и SAN. Это позволяет ресурсы , которые будут выделены на услуги в динамичной среде Cloud.
