Тренды рынка Business Intelligence, взаимодействие BI c Big Data и ML
Программное обеспечение Программное обеспечение

Как Артур Конан Дойл описал ожидания от работы BI за 100 лет до его появления.

Главная>Программное обеспечение>Анализируй это, или Тренды рынка BI
Программное обеспечение Тренд

Анализируй это, или Тренды рынка BI

Дата публикации:
29.06.2018
Посетителей:
388
Просмотров:
354
Время просмотра:
2.3

Авторы

Автор
Дмитрий Кулагин Директор Центра управления данными компании «Инфосистемы Джет»
Для начала поговорим о цифрах — от Gartner и IDC. 1,7 МБ в секунду — ровно столько данных будет создаваться на одного жителя Земли к 2020 г. Совокупный объем накопленных данных составит 44 зеттабайта (44 трлн гигабайт) и будет удваиваться каждый год.
 
Львиная доля этих данных придется на корпоративный контент, причем его подавляющую часть будет составлять неструктурированная информация. Мировой рынок BI продолжит расти, так Gartner прогнозирует его рост в 2017 г. на 7,3% по отношению к 2016 г. — до 18,3 млрд долл., а к концу 2020 г. рынок должен достигнуть 22,8 млрд долл.

Человек должен обставить чердачок своего мозга всем,

что ему, вероятно, понадобится,

а остальные знания он должен сложить в чулан при своей библиотеке,

откуда сможет сразу же достать их в случае надобности.

 

«Приключения Шерлока Холмса», или как Артур Конан Дойл описал ожидания от работы BI за 100 лет до его появления.

 

Эти бизнес-тенденции, естественно, подразумевают дальнейшее развитие технологий BI. В 2016–2017 гг. некоторые тренды только набирали обороты.

 

Перечислим их:

  • Использование Big Data в качестве фундамента для применения алгоритмов Machine Learning.
  • Потребность в Real-Time аналитике и Self-Service BI.
  • Интерес SMB-сектора к аналитическим решениям на базе Open Source.

 

Ниже мы рассмотрим особенности перечисленных трендов, сферы их применения и перспективы каждого направления. Сразу оговоримся, что революционных скачков в развитии BI в ближайшей перспективе не предвидится, для него характерна поступательная эволюция.

К 2018 г. большинство крупных игроков российского рынка обзавелись уже не одной, а несколькими BI-системами, делящими между собой разные аналитические задачи. Сегодня компании «докручивают» имеющиеся решения, расширяя их функциональность — повышая скорость обработки данных (Real-Time), сокращая издержки при использовании BI (с помощью Self-Service). Конечно, BI «на коленке» все еще встречается, но в компаниях регионального масштаба.

Союз Big Data и Machine Learning

 

За последние несколько лет Большие Данные из источника головной боли для компаний трансформировались в генератор бизнес-возможностей, в том числе они активно используются технологиями машинного обучения в BI-инструментах.

 

Классические BI-решения нацелены на постфактумный анализ, а вот Большие данные позволяют строить предиктивную аналитику, они являются поставщиком разнообразнейшей информации, которая ложится в основу математических моделей, составляющих основу Machine Learning. Для примера возьмем продуктовый ритейл: у нас есть профиль клиента в программе лояльности, история его покупок, данные о том, в какое время дня он чаще/реже всего посещает магазин, голосует рублем за спецпредложения и какие именно. Используя этот массив информации, можно создать модель для проведения будущих маркетинговых кампаний.

 

Подобные компетенции мы использовали в ходе пилота у одного из лидеров парфюмерно-косметического рынка России. В нашем распоряжении была информация из ряда источников (CRM, BI, чековые данные и т.д.) о покупателях и их покупках, в том числе детальные данные о клиентопотоке, о том, какие именно товары предпочитали клиенты и в какое время происходили эти покупки. Мы построили вероятностную модель, прогнозирующую количество покупателей в определенный временной период в том или ином магазине, а также содержимое их корзин. На основе этого прогноза были разработаны несколько маркетинговых кампаний. Затем, после выполнения кампаний, вместе с заказчиком мы сравнили, насколько точно наша модель попала в цель.

Помимо ритейлеров, на технологии Machine Learning в ближайшем будущем пристальное внимание обратят производственные и нефтегазовые компании. Нефтегазовый сектор исторически интересуется решениями, позволяющими использовать Big Data. Технологические системы ежедневно генерируют лавину неструктурированных данных, которые невозможно привести к единому формату (только навскидку: данные сейсморазведки, показатели контроллеров систем управления на скважинах, записи рестартов напряжения из журналов учета аварий и др.). Эта «сырая» информация стекается в «озера данных» (Data Lake) — репозитории, для которых характерна плоская архитектура хранения. Отсюда ее и черпают инструменты Machine Learning. Благодаря применению методов математического моделирования технологического процесса можно спрогнозировать объемы добычи и оптимизировать режимы работы скважин, сформировать отвечающие текущим требованиям план-графики ремонта оборудования и т.д.

 

Банковский сектор не меньше заинтересован в решениях, основанных на Machine Learning. Они открывают огромные возможности, в том числе выявление мошеннических действий (как клиентов, так и сотрудников), улучшение качества кредитного скоринга, подготовка максимально привлекательного персонального предложения для клиентов банка, чат-боты и т.д.. Одним из первопроходцев на нашем рынке является Сбербанк: в настоящее время он создает новую банковскую платформу, включающую инструменты машинного обучения.

 

Спрос на максимально эффективное использование потенциала BigData и технологий Machine Learning породил предложение — появились эксперты по данным, или Data Scientists. Разрабатывая математические модели, применяя методы статистического анализа данных, выявляя закономерности в массивах информации, эти специалисты помогают компаниям «превращать данные в деньги».

 

Стоит сказать несколько слов и о технологической стороне вопроса. Для работы с Big Data обычно используется общеизвестный инструментарий Open Source — Apache Hadoop и экосистема связанных с ним платформ. Если говорить о машинном обучении, на первый план выходят 2 технологии: Apache Spark и Apache Mahout. Это базовый фреймворк, который лежит в основе множества прикладных решений, в том числе нашей компании. Кроме того, в сторону Machine Learning смотрят ведущие производители ПО. Так, IBM продолжает развивать свою когнитивную систему Watson, Oracle в октябре 2017 г. анонсировала облачный сервис Oracle AI Platform Cloud Service, во все уровни которого «встроен сквозной искусственный интеллект».

 

Real’ная аналитика

 

Постоянно растет потребность в Real-Time-аналитике, особенно со стороны ритейлеров, банковского сектора, интернет-компаний. Анализ данных в реальном времени в разы увеличивает ценность полученной информации, поскольку на ее основе можно принимать своевременные управленческие, оперативные и стратегические решения.

 

Так, банки стремятся максимально ускорить работу кредитного конвейера, чтобы решение о выдаче кредита принималось в минимальные сроки. Один рабочий день люди еще готовы подождать, но, если речь идет о неделе неопределенности, скорее всего, они обратятся к конкуренту.

 

Розничная торговля тоже понимает, что может «опоздать», но уже с маркетинговыми предложениями. Клиенту неинтересны акции на товары, которые он приобрел еще вчера. Сегодня необходимо генерировать персональные предложения в режиме реального времени — пока покупатели находятся в магазине. При этом можно учитывать, в какой торговой точке находится клиент, историю его покупок, каковы остатки на складе в данном магазине и т.д.

 

Технологии, приближенные к Real-Time-аналитике, мы в свое время реализовали в ряде проектов. Например у одного из наших заказчиков, мы разработали облегченную Intraday-область. В ней находится минимальный объем информации, необходимый для формирования оперативной отчетности, причем период хранения данных не превышает 3 месяцев. При этом данные актуализируются в Intraday-области с задержкой, не превышающей 15 минут. Таким образом, руководство компании может анализировать показатели бизнеса практически в реальном времени.

Назовем некоторые решения, обеспечивающие возможности Real-Time BI. Из ряда промышленных систем и сервисов выделяются:

 

• Microsoft Azure Stream Analytics.

• Quest SharePlex.

• Oracle GoldenGate.

• IBM Netezza Analytics.

Курс на открытость

 

Российский сектор SMB в 2017 году продемонстрировал интерес к Open Source BI.

 

Ввиду ограниченности бюджетов малые и средние компании при решении задач бизнес-аналитики традиционно обходились неспециализированными инструментами, которые решали задачи формирования отчетов, но не могли предоставить весь необходимый функционал полноценных решений BI. Данным компаниям мы рекомендуем обратить внимание на BI системы с открытым кодом. Данные системы во-первых позволяют минимизировать CAPEX, а по своему инструментарию уже приближаются к классическим проприетарным решениям. Во-вторых, в отличие от неспециализированных инструментов они предлагают практически неограниченные возможности по интеграции системы с другими бизнес-приложениями — источниками данных. Все это повышает привлекательность открытого BI в глазах ИТ-сообщества. Среди решений Open Source и Community-версий проприетарного enterprise-софта BI наибольшую популярность завоевали Jasper, Pentaho, а также BIRT.

 

В то же время, в отличие от западного рынка, российские компании пока не могут похвастаться богатым проектным опытом в данной области. И здесь на сцену выходят системные интеграторы, обладающие практикой внедрения промышленных аналитических систем и способные грамотно выстроить процесс построения решения на базе открытого кода. Принимая во внимание эти факторы, мы ожидаем в 2018 г. дальнейшее совершенствование функциональности Open Source аналитических решений и увеличение числа реализуемых на них проектов.

Откровенно говоря, картина ИТ-мира с четким разделением ПО на 2 лагеря: Open Source и коммерческих систем, — устарела еще несколько лет назад. Сегодня происходит их постепенная взаимная интеграция. Исследования рынка показывают, что авторами более чем 50% программного кода Open Source являются команды разработчиков из корпоративного лагеря, а не программисты-энтузиасты. И в части технологий Business Intelligence с их ориентиром на Big Data и Machine Learning эта тенденция сразу бросается в глаза. Хотя интеграция промышленных BI-систем и систем с открытым ПО имеет место быть, когда речь идет о необходимости создания принципиально новой архитектуры и решения специфических задач. 

Аналитик на все руки

 

О Self-Service BI западный рынок активно заговорил в 2011–2012 гг. Именно в этот период целый ряд производителей (IBM, SAP, Oracle, Qlik, Microsoft) выпустили решения Business Intelligence. Данный класс решений позволяет пользователям работать с ними в режиме полного самообслуживания без помощи со стороны ИТ-специалистов.

 

Классическая многозвеньевая цепочка, необходимая для эффективного функционирования BI, трансформируется.. Теперь мяч находится на стороне бизнес-пользователей, в том числе уже упомянутых Data Scientist. И такое преобразование является новой эволюционной ступенью в развитии Business Intelligence.

 

Ключевая «фишка» Self-Service BI заключается в том, что пользователи самостоятельно могут не только создавать AdHoc-запросы, но и подключать к BI-системе разнообразные дополнительные источники информации (файлы Excel) для реализации необходимых отчетов, проводить What-If-анализ и т.д.

 

В России на инструменты Self-BI корпоративный сектор обратил свое внимание совсем недавно. В настоящий момент, в отечественном enterprise-сегменте идут несколько подобных проектов, в том числе в банке, входящем в топ-10. После апробирования технологии и публичного освещения результатов их проектов вполне можно ожидать волну пилотов Self-Service BI.

 

Сапожник с сапогами

 

Внедренное в нашей компании решение применяется для анализа проектной деятельности. Им пользуются менеджеры проектов, менеджеры по работе с клиентами, руководители подразделений и, конечно, сотрудники проектного офиса, непосредственно контролирующие исполнение проектов.

 

Система наглядно представляет многочисленные показатели выполнения проектов, благодаря ей мы своевременно вносим коррективы, принимаем оперативные управленческие решения. Так что мы сами активно используем те технологии, которые предлагаем заказчикам.

 

Наше BI-решение использует хранилище данных, которое агрегирует информацию из нескольких источников. Это ERP-система, в которой хранятся данные по контрактам, система учета проектов и плановых трудозатрат, система учета фактических трудозатрат и планы проектов. Данные в хранилище обновляются 2 раза в день, ведется история изменения показателей для отслеживания их динамики.

 

Функционально BI для проектной отчетности состоит из двух модулей: дашборды с преднастроенными отчетами с drill-down по показателям и, как называют их пользователи, гибкие отчеты (self-service компонента), позволяющие разносторонне анализировать данные и выполнять различные сверки.

 

Self-service BI активно используется сотрудниками проектного офиса и менеджерами проектов. В системе уже настроено порядка 20 шаблонов отчетов. Мы активно используем и функцию обогащения корпоративной модели данных из внешних источников (Excel): сотрудники проектного офиса догружают специальные метрики по категориям проектов и, используя показатели хранилища, рассчитывают KPI для менеджеров непосредственно в BI без участия ИТ.

 

Помимо отчетности, BI-решение в автоматическом режиме контролирует сроки выполнения планов проектов и при появлении отклонений или просрочек автоматически выполняет e-mail-рассылку менеджерам, а при необходимости — эскалацию на их руководителей.

 

Несмотря на то что мы уже реализовали в BI множество требований по ведению проектов, система продолжает активно развиваться. В планах — добавление новых контролирующих метрик, разработка новостного проектного информера и специального табло для топ-менеджмента.

Таким образом, BI за последние пять лет перестал быть в России просто инструментом для построения отчетов, показывающих состояние дел в компании постфактум. Благодаря возможностям по использованию Big Data, механизмам Machine Learning, принципам Self-Service BI бизнес аналитика интегрируется в самые разные бизнес-процессы, обогащает их принципиально новыми данными, позволяет более эффективно использовать имеющиеся ресурсы, осуществлять оперативное и стратегическое планирование. Стоит ли говорить, что российские компании действительно нуждаются в подобных решениях? Конечно да, и поэтому в ближайшем будущем мы ожидаем дальнейшего роста числа BI-проектов.

Уведомления об обновлении тем – в вашей почте

ETL – технология, сопутствующая любой BI-инициативе

Десятилетия прошли с тех пор, как ИТ-индустрия начала предпринимать первые шаги по построению систем, направленных на анализ данных для планирования дальнейшей деятельности компании и поддержки принятия управленческих решений.

Social Mining - анализ данных о Homo Socialis

Информация о поисковых запросах, друзьях в социальных сетях, отмеченных местоположениях уже давно является «лакомым куском» для интернет-компаний

Выбор BI-инструментов для SAP HANA

Не так давно одна российская компания – крупный игрок сферы розничной торговли – обратилась к нам с просьбой увеличить скорость работы ее аналитических отчетов

Маленькая «серебряная пуля»

Данные – новая валюта бизнеса. Пожалуй, многие согласятся с таким утверждением

Внедрение системы анализа эффективности производства в Группе компаний Danone-Юнимилк

Международная компания Danone работает в более чем 120 странах по всему миру. Головное предприятие, расположенное во Франции, формирует требования в отношении отчетности, которую региональные подразделения представляют руководству концерна

Exadata - решение для Big Data?

Уже полтора года в нашей компании развернут демо-центр по Oracle Exadata Database Machine, и мы регулярно на различных мероприятиях докладываем о полученных на этом оптимизированном программно-аппаратном комплексе результах.

Как не утопить ваши данные в болоте

Практика говорит: все больше и больше заказчиков приходит с идей построить единое хранилище, да еще на новых технологиях.

Тенденции в мире СХД

Задумавшись над вопросом о современных тенденциях в мире СХД, можно сделать, на первый взгляд, банальный вывод

Спасибо!
Вы подписались на обновления наших статей
Предложить
авторский материал





    Спасибо!
    Вы подписались на обновления наших статей
    Подписаться
    на тему







      Спасибо!
      Вы подписались на обновления наших статей
      Оформить
      подписку на журнал







        Спасибо!
        Вы подписались на обновления наших статей
        Оформить
        подписку на новости







          Спасибо!
          Вы подписались на обновления наших статей
          Задать вопрос
          редактору








            Оставить заявку

            Мы всегда рады ответить на любые Ваши вопросы

            * Обязательные поля для заполнения

            Спасибо!

            Благодарим за обращение. Ваша заявка принята

            Наш специалист свяжется с Вами в течение рабочего дня