Exadata – решение для Big Data?
Big Data Big Data

Уже полтора года в нашей компании развернут демо-центр по Oracle Exadata Database Machine, и мы регулярно на различных мероприятиях докладываем о полученных на этом оптимизированном программно-аппаратном комплексе результах.

Главная>Big Data>Exadata – решение для Big Data?
Big Data Тренд

Exadata – решение для Big Data?

Дата публикации:
30.07.2012
Посетителей:
364
Просмотров:
294
Время просмотра:
2.3

Авторы

Автор
Алексей Струченко Руководитель группы оптимизации СУБД и приложений компании «Инфосистемы Джет»
Уже полтора года в нашей компании развернут демо-центр по Oracle Exadata Database Machine, и мы регулярно на различных мероприятиях докладываем о полученных на этом оптимизированном программно-аппаратном комплексе результах. Среди вопросов, которые нам задают в ходе этих презентаций, часто звучит тема Big Data: можно ли считать Exadata решением для Больших Данных, есть ли основания сравнивать Exadata c MPP-решениями от EMC/IBM/Teradata, и вообще, что предлагает Oracle для Big Data?

 

 

Попробую кратко ответить на эти вопросы с позиции партнера, давно занимающегося технологиями Oracle. Понятие Big Data появилось в статье журнала «Nature» относительно недавно и сразу же стало модным. Как и во всякое модное понятие, в него вкладывается разный смысл. Одно из первых значений термина Big Data – описание перехода количества данных в некое новое качество. В этом новом качестве хранить и обрабатывать данные традиционными способами уже невозможно, и для работы с ними необходимы новые, инновационные методы.

 

Big Data Appliance встраивается в цепочку «Big Data Appliance– Exadata–Exalytics», обеспечивающую полный цикл обработки Big Data: от «сырых» неструктурированных данных через реляционную базу к витринам конечных пользователей

 

Авторы

Oracle Exadata задала новое направление в развитии продуктов Oracle – оптимизированные программно-аппаратные комплексы Engineered Systems. Все решения этого направления, проходящего под девизом Hardware and Software, Engineered to Work Together, являются исключительно инновационными. В случае с Exadata специально разработанное для решения задач баз данных Exadata Software позволяет переносить часть SQL-логики на систему хранения данных, что невозможно в традиционных архитектурах «сервер БД–сеть– массив». В этом смысле Exadata, несомненно, способна хранить и обрабатывать Big Data новым, нетрадиционным, экстремально быстрым способом.

 

Второе значение, часто вкладываемое в термин Big Data, – это архитектурные решения, построенные по принципу Shared Nothing. В такой архитектуре каждый узел хранит свою часть данных, при этом координаторы обеспечивают так называемую массивно-параллельную обработку (MPP) данных всеми узлами сразу. При этом принцип Shared Nothing может быть реализован как в технологии NoSQL, так и с помощью реляционных СУБД (IBM Netezza, EMC Greenplum, Teradata).

 

С точки зрения серверов баз данных, в основе Oracle Exadata лежат Oracle Real Application Clusters – кластерные технологии, основанные на принципе Shared Everything. Узлы Exadata видят общие диски, а их память синхронизируется достаточно сложным механизмом Cache Fusion, таким образом, получается, что узлы делят между собой и память, и диски. При этом серверы хранения Exadata при определенных условиях могут работать независимо, т.е. подобно MPP. Неоспоримым преимуществом Shared Everything является гибкость в распределении данных и прозрачность добавления/удаления узлов, в то время как Shared Nothing отличает абсолютная масштабируемость (например, чтобы снизить время обработки данных в два раза, нужно просто добавить вдвое больше узлов). Время покажет, какой из двух подходов более оптимален для Big Data, но уже сейчас можно точно сказать, что Exadata реализует ассоциируемый с понятием Big Data принцип Shared Nothing только на уровне хранения.

 

Наконец, самая узкая и, наверное, самая популярная трактовка понятия Big Data – широкий класс решений, выросших на основе методологии Map/Reduce. Эта методология, в первую очередь связанная с реализацией Hadoop, позволяет массивно и параллельно обрабатывать неструктурированные «сырые» данные NoSQL-способом. Такая трактовка Big Data не распространяется на Exadata, в основе которой лежит Oracle Database (наверное, самая известная и широко распространенная SQL база данных).

 

Поэтому в Engineered Systems, новом продуктовом семействе Oracle, появился программно-аппаратный комплекс, сбалансированный и оптимизированный именно под Map/Reduce решения – Oracle Big Data Appliance. В качестве Hardware этот комплекс использует традиционную для Engineered Systems архитектуру на основе процессоров Intel. В ресурсы каждого из 18 узлов Big Data Appliance входят два 6-ядерных процессора Intel Xeon, 48 Гб памяти и двенадцать 3 Тб SAS дисков (общая емкость 648 Тб). Для объединения узлов в кластер используется самое быстрое на сегодняшний день решение – InfiniBand.

 

В качестве Software используются Oracle Linux, Oracle HotSpot JVM, Apache Hadoop (Cloudera Distribution), аналитический язык R (Open Source) и Oracle NoSQL Database (на основе Berkeley DB).

 

Итак, согласно позиционированию этого решения, Big Data Appliance – это не просто оптимизированный программно-аппаратный комплекс для «Больших Данных» от Oracle. Это решение встраивается в цепочку «Big Data Appliance–Exadata– Exalytics», обеспечивающую полный цикл обработки Big Data: от «сырых» неструктурированных данных через реляционную базу к витринам конечных пользователей.

Уведомления об обновлении тем – в вашей почте

О Сервисном центре от первого лица

Российский рынок ИТ-услуг продолжает динамично развиваться. Возникают новые тренды, смещаются акценты, компании все чаще начинают смотреть в сторону аутсорсинга бизнес систем. Все это время активным участником и одним из законодателей тенденций рынка являлась компания "Инфосистемы Джет".

Проектировщики. Балансировщики нагрузки: практические аспекты внедрения

Технологии балансирования нагрузки между вычислительными ресурсами получили актуальность по мере распространения web-сайтов и других интернет-ресурсов (в том числе социальных сетей), а также приложений и данных, распределенных между удаленными площадками.

Поддержка управления эффективностью компании – Oracle EPM

Решение Oracle «Поддержка управления эффективностью компании» (Oracle Enterprise Performance Management) представляет собой комплексную интегрированную бизнес-платформу, предлагающую апробированные в мире отраслевые практики, методологии, и включающую в свой состав интегрированный набор показателей эффективности деятельности, процессы и прикладные информационные системы управления, обеспечивающие непрерывный мониторинг и поддержку процессов управления эффективностью бизнеса.

Комплексный подход к защите данных. Все по делу, никаких смузи!

Почти все наши заказчики, внедрившие себе системы резервного копирования (СРК), думают, что на этом все их проблемы решены.

Беседа с Игорем Веселовым, операционным ИТ-директором компании «М.Видео»

Тема нашего разговора посвящена сервисным услугам компании «Инфосистемы Джет». Мы уже рассказали о том, чем сегодня живет СЦ. Так сказать осветили часть вопроса, но ведь есть и другая сторона «медали» – взгляд заказчика на предоставляемые ему услуги. За комментарием мы обратились к одному из наших партнеров – компании «М.видео», с которой нас связывают долгосрочные аутсорсинговые отношения.

«Облака»: мифы, ландшафт, стратегия

Шум вокруг «облаков» продолжает расти. На этой волне многие производители стремятся показать, что они современны и держат руку на пульсе. В результате почти на всем появляется лейбл «облачно».

Innovation Pack 17: какие новинки появились в Oracle Siebel CRM

Компания Oracle выпустила очередное крупное обновление Oracle Siebel CRM— Innovation Pack 17. В этой статье будет краткий рассказ о ключевых особенностях нового релиза и преимуществах, которые получат владельцы CRM-системы после обновления.

«Нам важен каждый клиент, мы стремимся, чтобы он получил качественный сервис»

Николай Яшин рассказал о том, какое место непрерывность бизнеса занимает в компании «ЛУКОЙЛ-Интер-Кард»

Интеграционные решения Oracle: обзор важнейших направлений

Когда речь заходит об интеграции, в голове обычного представителя ИТ-профессии начинает проноситься куча понятий: сервисы, шина данных, единый интерфейс, консолидация данных, сквозные процессы, единая точка входа и т.д.

Спасибо!
Вы подписались на обновления наших статей
Предложить
авторский материал






    Спасибо!
    Вы подписались на обновления наших статей
    Подписаться
    на тему



      Выберите тему





      Спасибо!
      Вы подписались на обновления наших статей
      Оформить
      подписку на журнал








        Спасибо!
        Вы подписались на обновления наших статей
        Оформить
        подписку на новости








          Спасибо!
          Вы подписались на обновления наших статей
          Задать вопрос
          редактору









            Оставить заявку

            Мы всегда рады ответить на любые Ваши вопросы

            * Обязательные поля для заполнения

            Спасибо!

            Благодарим за обращение. Ваша заявка принята

            Наш специалист свяжется с Вами в течение рабочего дня