© 1995-2022 Компания «Инфосистемы Джет»
Инструменты для повышения эффективности работы с Big Data
Big Data Big Data

Данные – новая валюта бизнеса. Пожалуй, многие согласятся с таким утверждением

Главная>Big Data>Маленькая «серебряная пуля»
Big Data Тема номера

Маленькая «серебряная пуля»

28.05.2015

Посетителей: 60

Просмотров: 48

Время просмотра: 2.9 мин.

Авторы

Спикер
Роман Петров Руководитель по продажам IBM FlashSystem, IBM Центральная и Восточная Европа
Данные – новая валюта бизнеса. Пожалуй, многие согласятся с таким утверждением. Потеря данных для ряда компаний сравнима с банкротством, при этом их объем растет в геометрической прогрессии. Еще несколько лет назад термин «Большие Данные» вызывал противоречивые чувства: это не про нас, нас это не касается – говорили многие. Однако сейчас с ними сталкивается чуть ли не каждый владелец смартфона, не говоря уже о бизнесе.

 

 

Впрочем, хранить эти огромные объемы структурированных, а чаще неструктурированных данных все уже давно научились. Более того, научились делать это достаточно эффективно. Предлагаемые на рынке решения обеспечивают высочайшую надежность и исчерпывающий набор средств по оптимизации хранения. Но сохранить – это самая простая задача. Чтобы данные превратились в валюту для бизнеса и приносили пользу компании, необходимо эффективно работать с ними, это достаточно проблематично, учитывая их объем. Какими инструментами можно повысить эффективность работы с Big Data?

 

Многие компании тратят огромные суммы на обновление оборудования в ЦОДах. Чаще всего это сводится к покупке новых высокопроизводительных серверов с десятками вычислительных ядер и гигабайтами, а порой даже терабайтами оперативной памяти в каждом. Помимо этого, совершенствуется сетевая инфраструктура, используются огромные системы хранения данных, чтобы обеспечить хранение. Больших Данных. Эти решения по сей день актуальны и определенным образом решают свою задачу: они однозначно работают быстрее, нежели их предшественники. Однако виртуальные машины по-прежнему долго загружаются, подготовка аналитических отчетов занимает часы, а порой и дни, даже самые оптимизированные БД превращаются в неуклюжие и неспешные механизмы по предоставлению запрошенной информации. Вот и приходится пользователям сидеть перед своими мониторами и двигать по экрану мышкой в надежде, что это хоть как-то поможет ускорить выполнение задачи. Компании вынуждены нанимать высококвалифицированных программистов для оптимизации кода приложений, структур баз данных, приобретать больше серверов и, конечно же, лицензий на ПО только для того, чтобы получить нужную информацию сейчас, когда она важна. Ведь завтра будет уже поздно.

 

Проблема не в самых последних моделях процессоров в серверах, которые были куплены пару месяцев назад и, судя по тестам на сайте производителя, должны были ускорить все в десятки раз. С ними как раз все в порядке, их производительность действительно увеличивается с каждым годом. Проблема в том, что данные, которые необходимо обработать, по-прежнему хранятся на дисках, которые были разработаны очень давно. Единственное, в чем индустрия производства дисков преуспела, так это в увеличении их емкости. Таким образом, процессоры вынуждены ждать ответа от дисковых систем просто потому, что диск физически не способен быстро ответить на запрос из-за своей механической природы. Процессор простаивает, при этом его утилизация низка, несмотря на то что инвестиции в оборудование весьма высоки.

 

Итак, вся инфраструктура работает медленно только из-за медленных дисков. Даже если вы приобретете самые быстрые диски, проблема не решится. Существует заблуждение, что производительность системы хранения данных нужно измерять в операциях ввода-вывода в секунду (IOPS). Чем больше IOPS, тем лучше, то есть чем больше дисков в СХД, тем она быстрее. Частично это, конечно, так, поэтому в ЦОДах стоят ряды стоек с дисками, чтобы обеспечить 100–200 тыс. операций ввода-вывода в секунду, при этом заполненность дисков в среднем составляет 50–60%. Эффективно? Вряд ли, ведь нужно найти дорогостоящие квадратные метры для размещения дисковых стоек, обеспечить это оборудование киловаттами электроэнергии, охлаждать его, обслуживать. А в итоге «железо» мигает зелеными лампочками, работает стабильно и надежно, пользователи все так же запускают свои задачи, запрашивают формирование различных отчетов и... идут пить кофе. Все равно отчет будет готов лишь через несколько часов. Или другой пример: вы подходите к банкомату, пытаетесь снять деньги, но «машина» держит вас в напряжении несколько минут, потому что приложение на сервере не успевает быстрее обработать ваш запрос.

 

Причина, к сожалению, не только в операциях ввода-вывода и их количестве. Время отклика дисковой системы – вот что имеет значение в современных ЦОДах. Чем быстрее дисковая система ответит на запрос процессора, тем больше операций произведет вычислительный узел, тем меньше пользователи будут ждать и быстрее получат нужную информацию от приложений.

 

Именно этим и руководствовалась наша компания при разработке своего all-flash массива IBM FlashSystem: необходимо было простое в использовании решение, которое легко интегрируется в любую инфраструктуру и, самое главное, позволяет получить ответ от приложений в разы, а порой даже в десятки, в сотни раз быстрее, чем когда-либо.

 

IBM FlashSystem – семейство систем хранения данных, полностью построенных с применением твердотельной памяти с учетом особенностей срока ее жизни и всего потенциала производительности. Разрабатывалась система так, чтобы была возможность использовать flash-технологию на максимальном уровне. Думаем, каждый знаком с этой технологией: решения не содержат движущихся элементов, работают быстрее и энергонезависимы, потребляют меньше электроэнергии и бесшумны. Все мы используем flash-память в телефонах, планшетах, фотоаппаратах, ноутбуках и т.д. Самое время использовать ее преимущества в ЦОДах.

 

Многие аналитические компании предсказывают, что в ближайшем будущем твердотельные массивы хранения данных будут использоваться в 80% решений. Кроме того, тенденция ведет к тому, что многие решения высокого класса также будут построены с применением flash-памяти. Отметим, что их повсеместное использование приведет к удешевлению производства.

 

Давайте разберемся, что представляет собой это решение. IBM FlashSystem подключается к инфраструктуре через стандартные интерфейсы: FC, FCoE, IB. Множество серверов могут одновременно обращаться к этому сверхбыстрому хранилищу, ведь FlashSystem обеспечивает производительность более 1 млн операций ввода-вывода в секунду при времени отклика менее 200 микросекунд (быстрее работает только оперативная память), при этом занимает всего 2 юнита в серверной стойке и потребляет энергии меньше, чем домашний чайник. Но как понять все эти цифры – много это или мало? Зависит от конкретных задач.

 

Наш опыт последних 2 лет показал, что использование одного такого массива помогало ускорить приложения в 10–15 раз – отчеты формировались не 6 часов, а полчаса. Виртуальные машины загружались моментально у всех пользователей. Аналитические системы предоставляли ответ в секунды. Много ли это для вашей компании? Готовы ли вы тратить деньги на приобретение новых, более мощных решений, лицензий на программное обеспечение, оптимизацию и при этом продолжать ждать?

 

Многие компании уже оценили преимущества IBM FlashSystem и меняют подход к построению ЦОДов. Использование таких решений не только ускоряет бизнес, но и значительно сокращает стоимость владения. Экономическая эффективность очевидна: уменьшаются энергопотребление и охлаждение, сокращается занимаемое в ЦОД пространство, снижается стоимость лицензий на технологии оптимизации хранения данных и др. Чтобы внедрить решение, не нужно менять инфраструктуру или архитектуру приложений.

 

Нельзя сказать, что IBM FlashSystem поможет всем и каждому, кто испытывает сложности с обработкой данных. Каждый случай по-своему уникален. Наше решение идеально подходит для следующих областей:

 

  • базы данных DB2, Oracle, SQL и др.;
  • аналитические и ERP-системы;
  • облачные среды, виртуализация, социальные сети.

 

Все это нагрузки, где IBM FlashSystem может значительно ускорить выполнение задач, поступающих одновременно от огромного количества пользователей.

 

 

Сегодня flash-массивы – это уже не фантастика, а реальность: доступные технологии, которые обеспечивают высокую производительность и надежность. Как они могут помочь лично вам? Протестируйте на ваших данных. Мы уверены, что от сомнений в эффективности решения не останется и следа.

Уведомления об обновлении тем – в вашей почте

Матрица: эволюция

В первой «Матрице» есть эпизод, в котором оператор в режиме реального времени мониторит многочисленные показатели системы и дает Нео совет: «Информации, получаемой из Матрицы, гораздо больше, чем ты можешь расшифровать. Нужно адаптироваться к этому»

Обзор современных платформ архивации данных

С фраз о том, что объем хранимой информации и ее ценность для организации растет с каждым годом начинается добрая половина статей, посвященных теме хранения данных.

Шлюзы как средство интеграции баз данных. Практический подход

Практика показывает, что сейчас в целом завершается этап создания оперативных баз данных организаций. В том или ином виде (в виде персональных или промышленных реляционных БД) во многих из них сформировались центры актуальных данных, ...

Унифицированная ИТ-инфраструктура для SAP ERP в концерне «Силовые машины»

Проектируя ИТ-инфраструктуру для внедрения SAP ERP, специалисты компании «Инфосистемы Джет» должны были решить сразу две глобальные задачи

Виртуальные ленточные библиотеки. Мифы и реальность

Современные системы хранения данных (СХД) обеспечивают исключительно высокий уровень надежности хранения благодаря отказоустойчивой архитектуре оборудования, включающей в себя дублирование компонентов, поддержку механизмов RAID и т.д., а также за счет применения средств создания копий данных, моментальных снимков (snapshot) и репликации.

Использование быстрых носителей для хранения данных

В этом обзоре мы рассмотрим варианты использования быстрой памяти в подсистемах ввода-вывода, а также разберем случаи ее применения в составе современных систем хранения

IBM Cloud Pak for Watson AIOps: как искусственный интеллект поможет в эксплуатации Инфраструктуры 3.0

Зачем современной ИТ-инфраструктуре решения класса AIOps? Кого могут заинтересовать эти системы? Чем выделяется на рынке IBM Cloud Pak for Watson AIOps?

Интервью с Иваном Шиловым, ведущим специалистом по развитию бизнеса IBM Maximo компании IBM EE/A

При всех безусловных достоинствах EAM-систем реализованные в этой сфере проекты в России пока исчисляются единицами. Чем обусловлена сложившаяся ситуация, и когда можно ожидать ее кардинального изменения? Как можно охарактеризовать российский рынок EAM-решений? Свое мнение высказывает Иван Шилов, ведущий специалист по развитию бизнеса IBM Maximo компании IBM EE/A.

Серверная платформа Huawei KunLun – выводы тестирования

Для начала кратко скажем об архитектуре KunLun, поскольку эта информация практически не представлена в русскоязычном сегменте. KunLun создавался как High-End-сервер, отсюда следует дублирование всех его компонентов (в том числе модулей управления и контроллеров NUMA-узлов).

Спасибо!
Вы подписались на обновления наших статей
Предложить
авторский материал





    Спасибо!
    Вы подписались на обновления наших статей
    Подписаться
    на тему







      Спасибо!
      Вы подписались на обновления наших статей
      Оформить
      подписку на журнал







        Спасибо!
        Вы подписались на обновления наших статей
        Оформить
        подписку на новости







          Спасибо!
          Вы подписались на обновления наших статей
          Задать вопрос
          редактору








            Оставить заявку

            Мы всегда рады ответить на любые Ваши вопросы

            * Обязательные поля для заполнения

            Спасибо!

            Благодарим за обращение. Ваша заявка принята

            Наш специалист свяжется с Вами в течение рабочего дня