22/01/2019
В свое время занимался установкой и технической поддержкой стораджей. Стораджи или системы хранения данных — специализированное оборудование для хранения больших объемов данных. Лидер в этой области — компания EMC. Ранее компания была куплена Dell. И теперь она часть корпорации Dell-EMC. Из личного опыта работы со стораджами различных типов и вендоров, могу уверенно сказать, что оборудование EMC — лучшее в своей сфере. Но как у дорогих машин и красивых женщин, у стораджей EMC есть и свои плюсы и минусы.
Недавно пришлось опять столкнуться со стораджем EMC VNX. Технической поддержки для стораджа от производителя не было. И в этой ситуации возникла небольшая проблемка со стораджем при некоректном выключении питания. Появилась ситуация с так называемым грязным кешем или dirty cache. Проблема сама по себе кажется не страшной. Но, решается она, как правило, через техническую поддержку производителя оборудования. А в это время использовать сторадж Вы не можете. И что же делать организации в таком случае?
Философия корпоративных стораджей
Сделаем небольшое лирическое отступление. Поговорим про философию стораджей. Сама идеология, лежащая под идеей корпоративного стораджа, представляет собой решения по защите информации, а не железку с дисками. И пожалуй именно EMC довела эту идеологию до совершенства. Заказчик, покупая сторадж, покупает с ним по сути целую команду специалистов, которые будут решать в любое возникающие проблемы. При этом это не фейк, техническая поддержка у EMC на высочайшем уровне. И нацелена она именно на сохранение информации, которая содержится на стораджах EMC.
Но, есть пару серьезных но. Во-первых, это оборудование без приобретенной технической поддержки, становится бомбой замедленного действия. Самим решить возникающие проблемы с программным обеспечением и железом практически нереально. Во-вторых, как и дорогие машины и красивые женщины это оборудование требует правильного ухода. Только в этом случае оно будет служить долго и бесперебойно.
Обобщив это, распишу к каким я выводам пришел по поводу стораджей EMC:
- Очень крутое, стабильное, хорошо работающее решение для хранеия данных.
- Стоит очень дорого и актуально если у Вас есть важные данные, потеря которых стоит серьезных денег.
- Если решились приобретать данный сторадж, то будьте готовы покупать техническую поддержку на него в течение всего жизненного цикла.
- Вся эта красотень сделана на базе оерационной системы Windows, скриптов perl, батников и т.д. Кто бы мог подумать, однако это так. Даже из такого набора можно сделать шикарную конфетку.
- Для долгой и беспроблемной работы необходимо обеспечить соответствюущие параметры окружающей среды. А также грамотное обслуживание инженерами.
Решение самой проблемы
Если говорить про решение самой ранее упомянутой проблемы на стораджах EMC, то это процесс заслуживает особого внимания. Основная система управления стораджем — EMC Unisphere, которая доступна через 443 порт. Однако, с точки зрения администратора выполнить на ней Вы сможете только базовые вещи. Такие как, создание LUN, экспорт его в сторону серверов, получение статистики по работе стораджа. Про то, чтобы разбираться с серьезными проблемами через этот интерфейс можно и не помышлять.
Есть также специальная софтина, устанавливаемя на сервер управления, под названием EMC Unisphere Service Manager. С помощью нее, можно добавлять лицензии, апгрейдить, делать перепрошивку дисков. Но конкретно в нашей проблеме, этот софт абсолютно бесполезен. Также вендор предлагает софт по управлению стораджем через командную строчку — EMC Naviseccli. Это программное обеспечение также устанавливается на сервер управления.
Но это не все, на самом деле. Сервисные специалисты EMC, для решения сложных проблем подключаются к стораджу через софтинку Remotely Anywhere, работающую через https по 9519 порту. С помощью нее возможен доступ к удаленному рабочему столу Windows, на базе которого работает сторадж. Однако, если Вы не работаете в EMC, то наврятли сможете получить документацию по тому, как и что работает в Remotely Anywhere на EMC. Внутри удаленного рабочего стола EMC VNX есть крайне полезные утилиты — flarecons/fbecli & mlucli. Часто, именно с помощью них удается решить сложные проблемы. В нашем случае это не помогло.
Дальше покажу реальный лайфхак, как сбросить сторадже EMC VNX for Block до заводских настроек (что в итоге и решило проблему) без процедуры reImage. В документации об этом не пишут. С помощью утилитиы Naviseccli мы удаляем всю конфигурацию стораджа по следующей команде (основная цель которой, имзенеие конфигурации массива при добавление IO модулей):
naviseccli -h xxx.xxx.xxx.xxx -user sysadmin -password sysadmin -scope 0 ioportconfig -remove
После ряда перезагрузок, когда сторадж стабилизируется, инициализируем заново пользователей в Unisphere. И теперь приводим массив в обратное стабильное состояние с помощью команды:
naviseccli -h xxx.xxx.xxx.xxx -user sysadmin -password sysadmin -scope 0 ioportconfig -persist
Ждем порядка 45 минут — 1 часа пока пройдет ряд перезагрузок, заново инициализируем пользователей стораджа и вуаля, он как новенький.
Резюме
Как бы это не звучало для многих странным — но адекватных процедур по сбросу настроек до заводских в документации нет. Ну если конечно Вы не сотрудник компании EMC и имеете полный доступ к внутреней документации. И решать вроде бы стандартную задачу приходится далеко не стандартными путями. Таких примеров много. И это лишь только очередной раз доказывает, что использовать эти дорогие системы без купленной технической поддержки — очень рискованое дело.
