Изучение функций Oracle In-Memory и SQL in Silicon в процессоре M7
СХД, СРК СХД, СРК

Одной из существенных инноваций процессора M7 является возможность переноса части SQL-логики на специальные сопроцессоры DAX (Data Analytics Accelerator). Эта технология получила название SQL in Silicon.

Главная>СХД, СРК>Изучение Oracle In-Memory и SQL in Silicon
СХД, СРК Обзор

Изучение Oracle In-Memory и SQL in Silicon

Дата публикации:
04.07.2016
Посетителей:
456
Просмотров:
387
Время просмотра:
2.3

Авторы

Автор
Алексей Струченко Руководитель группы оптимизации СУБД и приложений компании «Инфосистемы Джет»
Одной из существенных инноваций процессора M7 является возможность переноса части SQL-логики на специальные сопроцессоры DAX (Data Analytics Accelerator). Эта технология получила название SQL in Silicon. На сегодняшний день доступ к DAX открыт для разработчиков через специальные библиотеки, а база данных Oracle использует эту технологию для ускорения работы Database In-Memory в версии 12c. Отметим, что Database In-Memory – одна из самых обсуждаемых опций новой версии Oracle Database 12c. Несколько слов о том, что она из себя представляет.

 

 

Традиционные базы (в том числе Oracle Database) используют строчное хранение данных (Row Database) как в памяти, так и на дисках. Принято считать, что такое хранение оптимально для транзакционных систем класса OLTP, а вот в хранилищах класса DWH определенные аналитические запросы могут работать гораздо быстрее при колоночном хранении. Базы данных, реализующие такое хранение (Columnar Database), достаточно активно развиваются, в том числе в направлении колоночного хранения в памяти.

 

Появившаяся в Oracle Database 12c опция Database In-Memory реализует колоночное хранение данных в памяти дополнительно к традиционному строчному хранению. Такое хранение возможно благодаря специальной области памяти, в которой администратор Oracle Database может кэшировать данные как целых таблиц, так и отдельных колонок либо партиций в колоночном формате. Эти данные поднимаются в In-Memory кэш при старте экземпляра Oracle и затем поддерживаются в консистентном состоянии с данными обычного буферного кэша Oracle и с данными на дисках.

Такое дополнительное колоночное хранение данных в памяти является прозрачным для приложения, при этом у оптимизатора Oracle появляется возможность выбора из памяти нужных данных как в строчном, так и в колоночном представлении. То есть в Oracle Database реализовано уникальное сочетание строчного и колоночного хранения данных в памяти.

 

При этом опция In-Memory – это не просто работа с данными в памяти в новом для Oracle колоночном формате, это еще и новые математические подходы: доработанные алгоритмы сжатия, механизмы быстрого определения минимальных и максимальных значений, Bloom фильтры. В результате использование In-Memory в ряде случаев может приводить к серьезному ускорению SQL-запросов (прежде всего аналитических).

При построении хранилищ и витрин данных мы регулярно применяем «шинный» подход к архитектуре, при котором одни и те же справочники используются для разных витрин и разрезов данных. Использование In-Memory для таких справочников позволит значительно ускорить работу бизнес-приложений, в том числе аналитических систем. Например, в банковском секторе скорость и качество обслуживания клиентов во многом зависят от доступности сервисов – от скорости предоставления информации, будь то выписка по счету, список уже приобретенных клиентом услуг или консультации по новым продуктам. Применение In-Memory гарантирует оперативные предоставление и анализ требуемых данных.

Мы неоднократно знакомили оракловое сообщество с результатами, полученными в наших тестированиях работы In-Memory, в частности, мы разработали методику, эмулирующую работу систем класса DWH. В таблицу базы данных Oracle были сложены случайным образом сгенерированные данные о жителях Европы и их зарплатах, а роль аналитика эмулировал запрос, считающий сумму всех зарплат жителей конкретной европейской страны.

 

На этом запросе нам удалось получить ускорение в сотни и даже тысячи раз при чтении данных из In-Memory кэша в сравнении с чтением данных с дисков. При этом по сравнению с чтением из буферного кэша чтение из кэша In-Memory оказалось быстрее почти в 4 раза (0,51 секунды против 1,9 секунды). Результат значительного ускорения по сравнению с чтением с дисков очевиден, а вот 4-кратное ускорение по сравнению со строчным форматом, на наш взгляд, является заслугой заложенных в In-Memory математических подходов. Этот результат демонстрирует Print Screen из Enterprise Manager, приведенный на рис. 1. Для исследования работы In-Memory мы использовали хинт оптимизатора /* +no_inmemory(имя_таблицы) */, в явном виде запрещающий оптимизатору Oracle использовать In-Memory кэш.

 

 

Enterprise Manager: демонстрация работы In-Memory
Рисунок 1. Enterprise Manager: демонстрация работы In-Memory

 

Поскольку заложенная Oracle в новые процессоры SPARC M7 технология SQL in Silicon на сегодняшний день может ускорять работу именно In-Memory, важной частью тестирования серверов T7-2 стала проверка на них работы опции In-Memory по уже отлаженной методике (в ее основе лежит аналитический запрос, считающий суммарную зарплату).

 

Для таких тестов крайне важно было научиться явно включать возможности сопроцессора DAX на уровне как OS (соответствующие патчи Solaris), так и Oracle Database (специальный параметр экземпляра), а также правильно мониторить работу DAX. Команда busstat вполне адекватно показывает участие сопроцессоров DAX в работе основного процессора с точки зрения OS: на рис. 2 и 3 приведены выводы команды busstat в сравнении с выключенным и включенным параметром экземпляра.

 

Вывод busstat с отключенным DAX
Рисунок 2. Вывод busstat с отключенным DAX

 

Вывод busstat с включенным DAX
Рисунок 3. Вывод busstat с включенным DAX

 

Итак, запрос, суммирующий зарплату жителей всех европейских стран на букву R (Россия и Румыния), в наших тестах показал 1,95 секунды при традиционной работе Oracle Database и 0,51 секунды при настройке опции In-Memory и поднятии части данных (колонка с зарплатой) в специальный In-Memory кэш. Включение дополнительных возможностей сопроцессоров DAX (SQL in Silicon) дало результат 0,39 секунды, т.е. дополнительное ускорение на 30% сверх 4-кратного ускорения в In-Memory. Эти результаты сведены в табл. 1.

 

Табл. 1. Ускорение работы In - Memory с помощью сопроцессора DAX

 

Работа запроса

Время исполнения, сек

OS: busstat -w dax

без In-Memory (обычный кеш)

1,95

0

с In-Memory и выключенным DAX

0,51

0 (Рис.2)

с In-Memory и включенным DAX

0,39

Восемь строк >0 (Рис.3 )

 

Много это или мало? С одной стороны, параллельно исследованию SQL in Silicon мы провели тестирование работы сопроцессоров DAX с помощью специально созданного приложения. Это приложение использовало DAX напрямую (через открытые Oracle библиотеки) и показало ускорение в 4–6 раз стандартных математических операций по преобразованию множеств. На фоне этого ускорение работы In-Memory выглядит скромнее. С другой стороны, работа опции In-Memory сама по себе достаточно оптимизирована, и ускорение в 4 раза по сравнению с буферным кэшем наглядно это подтверждает.

 

Тем не менее вполне возможно, что продуктивные аналитические запросы наших заказчиков смогут ускориться за счет DAX более существенно, поэтому технология SQL in Silicon заслуживает тщательного тестирования на реальных данных реальными аналитическими запросами.

Уведомления об обновлении тем – в вашей почте

Open UI: инновации для бизнеса

Было время, когда эргономика промышленных интерфейсов АСУ и ERP систем стояла на последнем плане… В те далекие времена требовалось автоматизировать бизнес-процессы и перенести информацию с бумаги в информационные системы.

Как провести успешный апгрейд Siebel CRM

Компания Oracle разработала функционал IRM, облегчающий процесс установки новых версий Siebel CRM

Exadata - решение для Big Data?

Уже полтора года в нашей компании развернут демо-центр по Oracle Exadata Database Machine, и мы регулярно на различных мероприятиях докладываем о полученных на этом оптимизированном программно-аппаратном комплексе результах.

Инструменты лидера

Эффективность деятельности организации определяется эффективностью работы ее лидеров – руководителей высшего звена. Как показывают исследования, эффективные руководители сочетают в себе и качества лидера, и функции менеджера. Как лидеры, они должны формировать видение, определять вектор развития организации, доносить это видение до подчиненных, трансформировать видение в конкретные, измеряемые показатели деятельности, мотивировать подчиненных для достижения заданных целевых показателей.

Шлюзы как средство интеграции баз данных. Практический подход

Практика показывает, что сейчас в целом завершается этап создания оперативных баз данных организаций. В том или ином виде (в виде персональных или промышленных реляционных БД) во многих из них сформировались центры актуальных данных, ...

Интеллектуальное хранение

Пакет решений Symantec Veritas Storage Foundation (VxSF) на сегодняшний день является одним из лидирующих продуктов Enterprise-уровня для управления хранением данных.

Рисковать по системе

В настоящее время риск-менеджмент в российской банковской системе как область стандартизации и средство повышения эффективности работы кредитно-финансовой организации является одним из самых актуальных направлений деятельности

Теперь можно Exadata’ться по полной

В ноябре прошлого года наша компания получила авторизацию на оказание услуг «Installation & Configuration» для программно-аппаратных комплексов Oracle Exadata Database Machine и Oracle Exadata Storage Expansion Rack

Принцип службы поддержки - преемственность опыта

Если углубляться в историю Сервисного центра, то в конце 90-х годов мы сделали себе имя на том, что являлись, по сути, "точечным" сервисом: практически каждый из наших специалистов был известен на рынке. Этот факт обусловлен в том числе тем, что экспертов в ИТ-сфере было не так много, и практически всех из них знали поименно.

Спасибо!
Вы подписались на обновления наших статей
Предложить
авторский материал





    Спасибо!
    Вы подписались на обновления наших статей
    Подписаться
    на тему







      Спасибо!
      Вы подписались на обновления наших статей
      Оформить
      подписку на журнал







        Спасибо!
        Вы подписались на обновления наших статей
        Оформить
        подписку на новости







          Спасибо!
          Вы подписались на обновления наших статей
          Задать вопрос
          редактору








            Оставить заявку

            Мы всегда рады ответить на любые Ваши вопросы

            * Обязательные поля для заполнения

            Спасибо!

            Благодарим за обращение. Ваша заявка принята

            Наш специалист свяжется с Вами в течение рабочего дня