Как найти решение проблем с системами хранения данных (СХД)
СХД, СРК СХД, СРК

Сказать, что сегодня объем корпоративных данных растет, значит, не сказать ничего.

Главная>СХД, СРК>Что делать, если СХД болит
СХД, СРК Тема номера

Что делать, если СХД болит

Дата публикации:
19.06.2018
Посетителей:
720
Просмотров:
633
Время просмотра:
2.6 мин.

Авторы

Автор
Владимир Беляевский Директор по развитию бизнеса в финансовом секторе «Инфосистемы Джет»
Сказать, что сегодня объем корпоративных данных растет, значит, не сказать ничего. Гораздо интереснее другое: совершенствование технологий хранения данных идет семимильными шагами, столь же стремительно растут емкость и производительность, а выбор правильной системы хранения данных (СХД) стал только сложнее и запутаннее. Образно говоря, проблемам СХД уже много лет: с ними и раньше было непросто справляться, и сегодня они остаются страшной головной болью ИТ-отделов. В этом смысле СХД относятся к числу главных инфраструктурных проблем современных информационных систем (ИС).

 

 

В чем, собственно, проблема?

 

Как решить текущие проблемы роста и требований к производительности ИС? Что взять за точку опоры: Hi-End-архитектуру или Mid-range? Ориентироваться на вертикально масштабируемую архитектуру (scale-up) или построить горизонтально масштабируемую систему (scale-out)? Сделать ставку на виртуализацию ресурсов хранения и трансформацию в сторону гиперконвергентных или программно-определяемых СХД? Свои несомненные плюсы есть как у локального (on-premise), так и у внешнего облачного хранилища. Как хранить ваши данные: в блочном, файловом или объектном виде? Пора ли переходить на All-Flash-решения или для текущих задач достаточно гибридных вариантов? Может быть, стоит обратить внимание на NVMe (Non-Volatile Memory Express)? С другой стороны, и SCSI рано сбрасывать со счетов, ведь вся транспортная инфраструктура хранения работает на нем. Идти на компромисс с использованием компрессии и/или дедупликации, нагружая массив дополнительной нагрузкой? Действительно ли нужна скорость в миллионы IOPS или достаточно гораздо меньшей, но с возможностью хранить в 2–4 раза больше данных?

Такой огромный выбор технологий и подходов скорее запутывает, а не помогает. У каждого выбора есть свои плюсы и минусы, идеальных решений нет. Кроме того, модернизацию осложняет вся история развития корпоративной инфраструктуры. То, что создавалось в предыдущие годы деятельности компании, не могло учесть всех сегодняшних потребностей в ИТ. Фактор исторического наследия СХД проявляется в разных аспектах.

 

Во-первых, у любой системы хранения есть определенный срок эксплуатации, который, однако, ИТ-отделы стараются искусственно продлевать — не выбрасывать же оборудование, которое продолжает работать? Устаревшее оборудование — это, с одной стороны, реальная проблема, а с другой — фактор, который нужно учитывать при модернизации.

 

Во-вторых, модернизация инфраструктуры из года в год проводится по проторенному маршруту, заложенному много лет назад. Фактически происходит наращивание ресурсов в том месте, где обнаруживается проблема. Такой подход, работавший в течение предыдущих лет, сегодня тормозит развитие информационных систем. Дело в том, что понятие «данные» стало охватывать широкий спектр типов и видов данных, каждый из них требует специфических методов доступа и обработки. Если брать в качестве примера операторов связи, они владеют как «большими данными» (голосовые звонки, платежные реквизиты и т.д.), так и огромными базами данных структурированной информации. Хранить такие данные вместе совсем неэффективно.

Так, следуя по пути простого приращения ресурсов, компании фактически заливают деньгами пламя возникающих проблем. Когда счет идет на миллионы долларов, возникает желание проверить эффективность расходования таких средств и получить, где можно, экономию. Слепое движение по пути постоянного обновления может не дать ожидаемых результатов. Экономику каждого изменения необходимо просчитывать.

 

Не секрет, что системы хранения данных имеют внутреннюю дифференциацию: разные СХД обладают специфическим функционалом, набором поддерживаемых технологий, средствами управления и т.д. Как правило, вокруг конкретной СХД образуется экосистема совместимых продуктов и программ обучения персонала. В этой ситуации переход на принципиально новую многообещающую технологию хранения или продукты нового вендора приобретает чисто экономическую окраску. Бывают ситуации, когда есть красивое, технически правильное и удобное решение, но все эти преимущества не оправдывают его стоимость, поэтому приходится идти на разумный компромисс, выбирая более доступные варианты.

 

Все имеет свою цену.

 

Многие компании уже столкнулись с тем, что тратят огромные деньги на хранение своих данных, не понимая, насколько это эффективно.

 

Как не ошибиться в таком потоке?

 

Правильный ответ — остановиться, оценить текущую ситуацию и сделать комплексный анализ корпоративных систем и оборудования для хранения данных по критерию эффективности. Задачи такого рода относятся к классу Storage Assessment (SA), подразумевающих бизнес-аудит систем, процессов, систем хранения данных и требований бизнеса.

 

Storage Assessment: системное решение проблем хранения данных с обеспечением непрерывности бизнеса.

 

Ключевой элемент концепции — бизнес-направленность всех действий программы. Поэтому часто бывает, что составной частью SA является задача Business Impact Analysis (BIA, анализ воздействия на бизнес). Цели BIA — расчет стоимости возможных потерь бизнес-подразделений от простоя ИТ-систем, а также определение наиболее критичных функций или процессов для компании. Это помогает компании понять, какую стоимость они будут готовы заплатить за непрерывность своих процессов. В общем случае концепция SA включает обследование корпоративного ландшафта СХД — его не следует путать с традиционной инвентаризацией в инженерном понимании. Обследование в рамках SA предполагает сбор данных о функционировании критичных бизнес-подразделений: задачи, процессы, ИТ-системы, используемые ресурсы. Фактически речь идет о систематизации ресурсов (систем, массивов) с точки зрения их важности (критичности) для бизнеса.

 

Результат SA — практические рекомендации (на уровне типов СХД и архитектур, конкретных параметров СХД) модернизации корпоративной системы хранения для соответствия текущим и, самое главное, будущим требованиям бизнес-приложений. Они включают 2 основных блока:

 

  • Анализ текущего ландшафта хранения на соответствие требованиям ИС по хранению, обработке и резервированию данных, выявление проблем и несоответствий. Актуализация действующих корпоративных стандартов хранения данных.

  • Формирование перечня технических решений (классов) и алгоритмов их подбора для модернизации ландшафта хранения и приведения в соответствие текущим требованиям ИС с учетом совокупной стоимости владения (TCO). В рамках этой активности также закладываются «калькуляторы», позволяющие описать TCO-модели решений и бизнес-кейсов с гибким набором входных параметров. В результате формируются предложения по модернизации инфраструктуры, включающие рекомендации по миграции данных между системами, устранению устаревших типов средств хранения и вводу новых, обеспечивающих недоступные ранее возможности.

 

Рассмотрим более детально, как концепция SA может воплощаться на практике, на примере проекта, выполненного нашей компанией для телекоммуникационной компании «ВымпелКом».

 

Storage Assessment в «ВымпелКоме» — ИТ-базис стратегического развития бизнеса.

 

В силу специфики бизнеса «ВымпелКом» относится к классу крупных компаний, которые в течение всего своего существования постоянно модернизировали ИТ-инфрастуктуру, инвестировали большие финансовые средства в создание информационных систем новых поколений, так как от этого напрямую зависит конкурентоспособность операторского бизнеса на уровне топ-3 российского телекома. К моменту начала проекта SA в структуре СХД оператора в распределенной сети работало более 150 дисковых массивов с суммарной емкостью свыше 13 ПБ, архивные данные на ленточных библиотеках занимали приблизительно 22,7 ПБ, еще 5,5 ПБ хранились на выгруженных носителях.

 

Цель проекта SA для руководства «ВымпелКома»

 

Основная проблема «ВымпелКома», которая заставила руководство задуматься о таком проекте, — проблема развития: ИТ — слишком дорогая вещь для крупного оператора, одного из лидеров рынка, чтобы ею распоряжаться неэффективно. Когда речь идет о петабайтах данных, каждое неправильно выбранное решение выливается в миллионные потери. Кроме того, инфраструктура в компании очень большая и разветвленная, с наскока ее невозможно даже осмыслить, не говоря уже о подготовке четких предложений по модернизации.

 

Перед интегратором была поставлена задача: собрать всю необходимую информацию и предоставить инструмент, который обеспечит ИТ-департаменту и руководству компании возможность принятия максимально эффективных решений по модернизации СХД в перспективе нескольких лет, с учетом максимального использования всех возможностей существующего оборудования и минимизации TCO для всей обновляемой сферы хранения.

 

Иными словами, основной целью проекта SA заказчик видел получение от интегратора инструмента управления модернизацией всей инфраструктуры СХД, которая позволит гарантированно обеспечивать текущие требования бизнес-систем и предлагать наиболее эффективные и экономически выгодные варианты модернизации при изменении ландшафта бизнес-приложений.

 

Выбор внешнего интегратора

 

Привлечение стороннего интегратора для такой задачи — наилучшее решение, поскольку внешний исполнитель обладает, во-первых, необходимым кругозором в сфере СХД, включая полную информацию о самых разных вендорах, технологиях и архитектурах. Во-вторых, глубокими экспертными знаниями, не только в области использования технологий хранения, а и в вопросах экономики СХД: от себестоимости хранения на оборудовании различных типов до коммерческих условий, предлагаемых вендорами. Ведь залог успеха такого проекта — правильно выявленные «болевые точки» инфраструктуры, а знания такого рода всегда являются результатом большой практики. За плечами нашей компании богатый опыт, накопленный в ходе выполнения крупных сложных проектов в области модернизации СХД. Компания «Инфосистемы Джет» — давний партнер «ВымпелКома» по поддержке инфраструктуры, мы знаем «кухню» оператора изнутри, поэтому заказчик остановил свой выбор именно на нас.

 

Ключевые точки проекта SA

 

  • Выявление типовых бизнес-систем, критически важных для бизнеса. Поскольку SA — это проект, нацеленный на получение бизнес-оценок, на этапе обследования ландшафта СХД было отобрано 30 видов бизнес-систем, критически важных для бизнеса, которые выделялись уникальными характеристиками или требованиями. Все остальные бизнес-системы представляли либо частные случаи, либо сводились к одному из 30 видов.

  • Создание новой системы классов хранения. Класс хранения — это базовый элемент классификации ресурсов для конкретного ландшафта СХД. В один класс помещаются данные (они могут относиться к разным бизнес-системам), обладающие сходными параметрами плотности хранения, производительности, требований к доступности и стоимости. Наличие такой типологии классов хранения позволяет ИТ-департаменту легко контролировать использование СХД разными бизнес-системами с учетом внутренней стоимости терабайта каждого класса.

К моменту обследования «ВымпелКом» уже успешно применял подход с классификацией ресурсов хранения. Однако со временем существующая классификация потребовала пересмотра с целью поиска путей оптимизации и приведения в соответствие современным решениям рынка. По результатам проекта SA она была существенно переработана. Количество классов выросло с 6 до 11, каждый из них теперь включает больше параметров и учитывает последние наработки вендоров в области хранения данных. На рис. 1 представлен пример того, как наша компания предлагала решить выявленные в ходе SA проблемы в хранении данных.

Рисунок 1. Пример решения выявленных проблем в хранении данных

 

Почему именно 11 классов, а не 2 и не 20? Для каждого заказчика эта цифра индивидуальна. Для «ВымпелКома» меньшее количество приводило бы к переплате за ресурсы для некоторых систем, а большее — к излишней сложности классификации без существенных плюсов.

 

Классификация делается со строгой оглядкой на ТСО. Часто перспективное техническое решение, архитектурно красивое и правильное, с подходящими эксплуатационными характеристиками, может оказаться невыгодным. Поэтому для каждого класса были подготовлены архитектурное решение и модель расчета ТСО для части конкретных продуктов, представленных на рынке, включающая параметры стоимости поддержки и сопровождения решений. Полученные модели используются в конкретных бизнес-кейсах по модернизации инфраструктуры хранения для ИС заказчика.

 

Для «ВымпелКома» была решена и обратная задача: разработан алгоритм определения необходимого класса хранения для конкретной задачи (внутреннего бизнес-заказчика).

 

  • Выявление проблемных точек. Проблемная точка возникает из-за несоответствия требований к хранению конкретных данных с используемым хранилищем. Например, приложение с маленьким объемом и огромной нагрузкой лежит на SAS-дисках. Для обеспечения производительности приходится использовать большое количество дисков, хотя SSD с такой задачей справится за гораздо меньшие деньги, займет меньше места в ЦОД и т.д. Другая проблема — неоптимальное использование High-end-оборудования. Иногда Mid-range покрывает все потребности ИС и переплаты за High-end можно избежать. На рис. 2 представлен пример модернизации систем хранения High-End-уровня, которая была предложена по итогам проведения SA.
Рисунок 2. Калькулятор сравнения ТСО класса хранения 1
  • Фактически выявление таких проблем — это обнаружение неоптимального хранения данных, что в свою очередь составляет потенциал для снижения затрат за счет модернизации систем хранения.

  • Разработка моделей расчета TCO и бизнес-кейсов. На этапе проекта совершенно невозможно учесть все нюансы будущих модернизаций, например, изменение цен на рынке, политические взаимоотношения с производителями оборудования и ПО, и т.д. Для того чтобы учесть эти особенности, разрабатывают не готовый расчет стоимости хранения, а TCO-модель и калькулятор бизнес-кейсов. В любой момент, например, во время тендера, заказчик может вбить параметры в калькулятор и получить корректное ТСО для одного из предложений. Функционал бизнес-кейсов позволяет сравнить разные предложения и выбрать оптимальный с точки зрения расходов в перспективе 3–5 лет.

Александр Кондрашев

руководитель службы платформ хранения и обработки данных компании «ВымпелКом»:

Комментарий

 

Лидерам рынка, даже таким крупным, как «ВымпелКом», не приходится почивать на лаврах. Конкурентная гонка со временем лишь ускоряется, новые сервисы сегодня выводятся на рынок с ошеломительной скоростью: от новой коммерческой идеи до ее запуска на массовом рынке проходит всего несколько недель, иногда даже дней. Time-to-Market скоро можно будет считать в часах. Такая ситуация — вызов для ИТ-отдела, которому необходимо подготовить тестовую среду, провести пилотное исследование и обеспечить технические условия для запуска коммерческого сервиса на сети оператора.

 

Решить эти задачи традиционными подходами ручной работы специалистов невозможно. Нужный инструмент «ВымпелКом» получил в ходе проекта Storage Assessment. По результатам его реализации ИТ-отдел оператора получил развернутую информацию по выявленным проблемам и несоответствиям в текущем ландшафте системы хранения данных, сформировал векторы развития и оптимизации ландшафта, а также выполнил реклассификацию среди стандартов и классов хранения.

Результаты Storage Assessment в «ВымпелКоме»

 

Основной результат проекта по SA — готовый инструмент оценки различных вариантов развития инфраструктуры хранения данных в зависимости от требований конкретных систем. Этот инструмент также позволит включать в процесс анализа новые технологии, продукты и новых вендоров, когда они будут появляться на рынке.

 

Процесс выделения емкости под проект стал более прозрачным и простым для бизнеса и ИТ. По результатам SA ИТ-департамент «ВымпелКома» получил в свое распоряжение модель услуг с понятным калькулятором стоимости. Теперь бизнес-подразделения могут выбрать нужный класс хранения, учитывая его стоимость и возможности своего бюджета. С точки зрения этих подразделений функционал ИТ-департамента обретает вид прозрачной услуги с понятным ценообразованием.

Следует особо отметить, что «ВымпелКом» получил в свое распоряжение данные о стоимости за ТБ хранилища для каждого класса. Эту информацию оператор планирует использовать при закупках нового оборудования для сравнения предложений разных вендоров.

Кроме того, по результатам проекта ИТ-департамент «Вымпелкома» решил ряд задач оптимизации ИТ-инфраструктуры, в частности:

 

  • Было выявлено устаревшее оборудование, которое сложно модернизировать или слишком дорого поддерживать. Получены предложения по выводу из эксплуатации такого оборудования с заменой на более эффективные технические решения.
  • Данные некоторых систем находились в хранилищах, которые не удовлетворяли заданным требованиям, не соответствовали классификации. Их миграция позволит удешевить хранение для одной части систем, а для другой выполнить их требования к хранению.
  • Выявлены несоответствия применяемой архитектуры требованиям целевых параметров назначения. После чего были выданы рекомендации по приведению инфраструктуры в целевое состояние.

Вывод

 

Проекты Storage Assessment позволяют справиться с лавинообразным ростом объемов и видов используемых данных и широким разнообразием решений от storage-вендоров. Надо понимать, что не для всех компаний Storage Assessment — это большой многомесячный проект. Для многих заказчиков оценку инфраструктуры хранения можно провести в течение недели с минимальными затратами денег и ресурсов. Главное — это системный подход к анализу и компетенция исполнителя, а также готовность заказчика к бизнес-подходу к хранению данных.

 

 

В создании статьи принимали участие:

Андрей Иноземцев, менеджер по развитию бизнеса компании «Инфосистемы Джет»

Всеволод Козинов, ведущий инженер-проектировщик систем хранения данных, компания «Инфосистемы Джет»

Сергей Поняев, менеджер проектов компании «Инфосистемы Джет»

Павел Санин, менеджер программы проектов компании «Инфосистемы Джет»

Уведомления об обновлении тем – в вашей почте

«Заменить объектные хранилища другими решениями практически невозможно»

Проблемы традиционных хранилищ данных. Когда нужно переходить на объектное решение? Подводные камни в эксплуатации S3 и как на них не напороться?

Практика применения решений HDS

Мы тесно сотрудничаем со многими производителями систем хранения данных, что позволяет объективно оценивать качество дисковых массивов разных вендоров.

Интервью с Владимиром Киселевым, руководителем службы поддержки бизнес-приложений в СНГ, и Павлом Смирновым, ведущим менеджером по развитию процессов в СНГ, «ВымпелКом Лтд»

Действительно ли стоит автоматизировать Capacity Management в компаниях Enterprise-уровня? Какие факторы нужно учитывать при построении эффективного процесса управления ИТ-мощностями?

Комплексные решения от Hitachi Data Systems

В настоящее время при построении ИТ-инфраструктур большое внимание уделяется таким показателям, как эффективность использования ресурсов.

Методы построения систем хранения данных

Отсутствие доступа к данным равноценно отсутствию данных!   Доступ к данным невозможен как в случае выхода из строя каналов (доступа) или вычислительных средств, так и в случае отсутствия необходимой производительности для выполнения ...

Как хранят и резервируют данные в 2021 г.

Как правильно управлять критичными данными и защититься от их потери? Основные технологии, применяемые для оптимизации времени восстановления при сбоях? Что умеют решения NetApp?

Замещать нельзя оставить. Часть 1

Долгое время ИТ-сфера в России развивалась без активного участия государства, инвестиции поступали только из частного капитала.

Маленькая «серебряная пуля»

Данные – новая валюта бизнеса. Пожалуй, многие согласятся с таким утверждением

Вызовы обслуживания Инфраструктуры 3.0

Что лежит в основе новых инфраструктурных трендов? Задачи, которые ставит перед компаниями Инфраструктура 3.0. Как и с помощью чего их решать?

Спасибо!
Вы подписались на обновления наших статей
Предложить
авторский материал





    Спасибо!
    Вы подписались на обновления наших статей
    Подписаться
    на тему







      Спасибо!
      Вы подписались на обновления наших статей
      Оформить
      подписку на журнал







        Спасибо!
        Вы подписались на обновления наших статей
        Оформить
        подписку на новости







          Спасибо!
          Вы подписались на обновления наших статей
          Задать вопрос
          редактору








            Оставить заявку

            Мы всегда рады ответить на любые Ваши вопросы

            * Обязательные поля для заполнения

            Спасибо!

            Благодарим за обращение. Ваша заявка принята

            Наш специалист свяжется с Вами в течение рабочего дня