29/08/2022
«Семь раз отмерь — один раз отрежь» гласит народная мудрость. Именно такой подход должен быть при планировании Stretched кластера VSAN. Само по себе такое решение позволяет создать Metro кластер хранения данных на двух разнесенных площадках, решая проблему выхода из строя одного из Дата Центров организации. Это очень круто, и прежде требовало специальных аплаинсов для объединения СХД в подобный Metro кластер, а также организацию переноса работы инстансов виртуальных машин или физических серверов. Однако, при построении и эксплуатации этого решения нужно учитывать ряд важных условий, которые являются принципиальными для нормальной работы данной технологии. Если их не учесть, можно в процессе внедрения столкнуться с тем, что проект «не взлетит», либо все будет работать далеко не так, как Вы планировали.
Сама методика растянутого кластера появилась в гиперконвергентном решении VMware еще в версии VSAN 6.1. На данный момент актуальная версия VSAN 7.0, и в целом решение уже обкатанное и рабочее. Оно позволяет хранить данные на двух разнесенных площадках, при этом использовать гиперконвергецнию, а также бесшовно интегрировать все это дело в систему виртуализации. При этом в Stretched кластере можно использовать как гибридное хранилище, так и all-flash, зеркалирование данных и Erasure Coding, шифрование, дедупликацию и компрессию. Вообщем, все те же плюшки, что и в стандартном современном гиперконвергентном кластере.
Основные моменты
Итак, рассмотрим ключевые элементы, которые необходимо учесть в проектировании растянутого кластера VSAN.
Во-первых, обязательное наличие отдельной площадки, на которой будет располагаться Witness Host. Данная площадка должна быть связана хорошими каналами по IP с обоими Дата Центрами, где будут находиться ноды Stretched VSAN кластера. Именно с помощью данного этого дополнительного элемента управления кластер сможет понимать какая его часть находится в работоспособном состоянии, а какая нет. Так же надо понимать, что Witness Host может быть в виде гипервизора ESXi, либо в виде виртуальной машины, которая работает в среде VMware vSphere. При использовании второго варианта, нужный виртуальный аплаинс можно скачать с сайта www.vmware.com с соответствующей бесплатной лицензией. Очень внимательно подходите к вопросу выбора данной третьей площадки, так как это важный элемент работы кластера, без которого не получится обойтись.
Во-вторых, наличие хороших каналов связи между двумя площадками, где будут располагаться ноды растянутого VSAN кластера. Так жесткими требованиям при этом является наличие 10 гигабитной полосы пропускания между обоими основными площадками, а также величина задержек менее 5 ms RTT (round trip time) на этом пути. Эти требования ограничивают возможности данной технологии одной метрополией. То есть, если расстояние между Вашими Дата Центрами более чем 50-100 км, то о растянутом кластере можно забыть.
В-третьих, требование к каналам связи между площадками с нодами кластера и площадкой, где располагается Witness host. Здесь условия не такие суровые, как по прежнему пункту, однако, тем не менее требуют соответствующего знания и учета. Так, для каждых 1000 элементов файловой системы VSAN требуется полоса пропускания в 2 Mb/s между нодами кластера и площадкой с Witness Host. Кроме этого задержки RTT должны быть менее 200 ms при количестве нод менее 10 на каждой площадке, или менее 100 ms, при большем количестве нод кластера.
В-четвертых, надо учитывать схему сети между нодами кластера, а также окружающей инфраструктурой. Так, виртуальные машины, которые могут мигрировать между площадками, должны работать в идентичном окружении и не терять связности. Специальные VLAN выделенные для VSAN, vMotion и Management трафика должны быть связаны между обоими основными площадками. Это можно реализовывать как через L2, так и через L3. А также Witness трафик между всеми нодами кластера и Witness хостом должен соответствующим образом коммутироваться или маршрутизироваться.
В-пятых, виртуальный witness аплаинс требует для своей работы определенных аппаратных ресурсов, которые должны быть ему предоставлены. Есть 3 варианта масштабирования такой виртуалки — Tiny (до 10 VMs/750 Witness компонент), Medium (до 500 VMs/21,000 Witness компонент), Large ( свыше 500 VMs/45,000 Witness компонент). Так для Witness аплаинса типа Medium требуется 2 vCPUs, 16GB vRAM, 12GB ESXi Boot Disk, 10GB SSD Cache Device, 350GB Capacity Device. Кроме этого, в случае all-flash stretched кластера Capacity Device тоже должен быть SSD, либо помечен как SSD.
Заключение
За все в этой жизни надо платить. Эту аксиому можно напрямую отнести и к построению растянутого VSAN кластера. Даже если не брать в расчет стоимость необходимых лицензий и оборудования, Вам придется потратить дополнительное время и организовать более сложную IT структуру, которая потребует дополнительных ресурсов, человеческой энергии, знаний и времени. Безусловно, в случае возникновения реальной потребности в построении Metro кластера, затраты оправдаются в эксплуатации с лихвой. Но надо обязательно понимать, что данное решение предъявляет серьезные требования к существующей инфраструктуре и планированию, без чего внедрение может оказаться неудачным.
