Эволюция интеграции данных от компании Informatica
Интеграция систем Интеграция систем

Любая компания – это живой организм, поэтому она проходит в своем развитии несколько этапов: от детства до зрелости.

Главная>Интеграция систем>Эволюция интеграции данных от компании Informatica
Интеграция систем Тема номера

Эволюция интеграции данных от компании Informatica

Дата публикации:
21.02.2013
Посетителей:
476
Просмотров:
405
Время просмотра:
2.7 мин.

Авторы

Спикер
Алексей Сидоров Технический директор, Informatica Россия и СНГ
Любая компания – это живой организм, поэтому она проходит в своем развитии несколько этапов: от детства до зрелости. Вместе с компанией взрослеет и ее ИТ-подразделение, проходя долгий и порой непростой путь. Изначальной задачей ИТ-специалистов практически всегда является обслуживание и администрирование различных приложений, будь то 1С или логистические и складские программы. По мере взросления компании количество таких приложений неуклонно растет. Некоторые отделы и подразделения начинают использовать специализированное ПО, тогда как потребности остальных удовлетворяются набором электронных таблиц. Зачастую возникает необходимость обмена информацией между подразделениями. Так, например, для маркетолога, работающего в CRM, нужны данные из финансового приложения, а для работы складской программы необходимо загрузить данные из различных электронных документов. По мере роста числа независимых приложений и связей между ними ИТ-архитектура компании начинает напоминать схему, изображенную на рис. 1.

 

 

Рис. 1. ИТ-архитектура при схеме интеграции «один-к-одному»

Чем больше разрозненных приложений и связей между ними необходимо поддерживать ИТ-подразделению, тем ниже становится управляемость такой структуры, тем более усложняются процессы поддержки и внесения изменений. В то же время такая архитектура не позволяет решать задачи получения консолидированной отчетности на уровне компании и проведения какой-либо аналитической работы. Этот момент обычно и становится началом первого этапа взросления ИТ с точки зрения интеграции данных. Принимается решение о построении корпоративного (централизованного) хранилища данных (КХД). Типовая архитектура КХД представлена на рис. 2.

 

Рис. 2. Архитектурная схема корпоративного хранилища данных

 

Одной из основных задач при построении КХД является разработка процесса загрузки данных в хранилище и их выгрузки в витрины данных, предназначенные для конкретных целей отчетности и аналитики. В классической архитектуре данный процесс носит название ETL (Extract, Transform, Load). Такое же название получил и класс программных продуктов для обеспечения надежного автоматического перемещения данных из различных источников в приемники. Именно со своим ETL-продуктом Informatica PowerCenter и появилась на рынке компания Informatica. Последние 10 лет продукт занимает одну из лидирующих позиций на рынке инструментов ETL.

 

На каком бы из этапов на пути эволюции интеграции данных вы ни стояли, в любом случае важно иметь инструменты для получения полной и своевременной информации

 

Что же дает внедрение КХД? Выгоды очевидны. Компания имеет возможность получать консолидированную отчетность и анализировать данные, полученные из различных приложений и файлов. Однако закон интеграции данных гласит: Garbage In – Garbage Out. То есть если мы имеем на входе «мусорную» информацию, то получим «мусор» и на выходе. Именно с этой проблемой зачастую сталкиваются ИТ-подразделения после внедрения КХД. Качество получаемых отчетов и аналитики напрямую зависит от качества исходных данных. Имея неполные, дублирующие друг друга, а порой просто неверные входные данные невозможно получить качественный результат. Для решения проблем их очистки и дедупликации перед загрузкой в КХД используются специализированные программные продукты, например, Informatica DataQuality. С их помощью данные проверяются на наличие дубликатов, освобождаются от ложной информации и обогащаются недостающими значениями. Результат – высокое качество отчетов и аналитических расчетов на выходе (см. рис. 3).

 

Рис. 3. Архитектурная схема КХД с элементом повышения качества данных

 

Следующим логическим этапом в эволюции интеграции данных стало появление систем класса Master Data Management (MDM). Существуют различные архитектурные подходы к их построению, но все они призваны решать одну задачу. Представьте, что при сборе информации о клиенте из различных систем предприятия выявляется такой факт: данные об одном и том же человеке, например, в системах CRM и ERP, существенно отличаются. Номера паспортов одинаковы, но адреса проживания и телефоны разные. Какой из этих двух адресов актуален? По какому телефону звонить клиенту сотрудникам отдела маркетинга? Или более сложная задача: девушка вышла замуж, взяла фамилию мужа и поменяла паспорт. В одной системе эта информация отражена, а в другой – нет. Как понять, что это один и тот же человек, и занести в КХД только актуальную и выверенную информацию? Решения класса MDM, в частности, Informatica Master Data Management, дают возможность получить ответы на все эти вопросы. Существенной особенностью продукта компании Informatica является возможность работы не только с клиентской информацией, но и с такими сущностями, как товар, контрагент, местоположение и т.д.

 

На рис. 4 показана одна из возможных схем встраивания системы МДМ в существующую ИТ-архитектуру.

 

Рис. 4. Архитектурная схема КХД с вынесенным хабом MDM

 

Сегодня прогресс не стоит на месте. Все чаще ИТ-подразделениям приходится сталкиваться с задачами по выгрузке и интеграции данных из социальных сетей, анализу Больших Данных (Big Data), таких как, например, файлы CDR в телекоммуникационных компаниях. Начинаются внедрения в промышленную эксплуатацию кластеров Hadoop, способных хранить и анализировать данные петабайтных объемов. Решение каждой из этих задач требует высокопрофессиональной работы ИТ-архитекторов и применения передовых технологий и инструментов по интеграции (см. рис. 5). Продукт Informatica PowerExchange легко справляется с загрузкой и выгрузкой данных из систем класса Hadoop и позволяет интегрировать их в ИТ-инфраструктуру компании.

 

Рис. 5. Гибридная экосистема КХД и кластер Hadoop с загрузкой данных из социальных сетей и технической информации, создаваемой различным оборудованием

 

Возможно, вы – молодая быстрорастущая торговая компания, которая начинает построение хранилища данных для консолидации информации о клиентах. Или вы – солидная транснациональная корпорация. Но на каком бы из этапов на пути эволюции интеграции данных вы ни стояли, в любом случае важно иметь инструменты для получения полной и своевременной информации. Только так можно одерживать верх в конкурентной борьбе и уверенно двигаться по собственному эволюционному пути. Ведь побеждает тот, кто владеет информацией.

Уведомления об обновлении тем – в вашей почте

Защита Big Data

Как правильно строить защиту больших данных? Какие ИБ-проблемы есть у Hadoop? Существует ли универсальная пилюля от всех уязвимостей Big Data?

«Этим можно заниматься бесконечно»: переход на data-driven в «СИБУРе»

Почему не стоит создавать цифрового двойника для отдельного участка производства? Зачем нужен «спецназ» по работе с данными? Почему заводы «СИБУРа» пока не смогут работать без людей?

Дирижер в оркестре сервисов

Практически каждая компания при развитии своей ИТ-инфраструктуры сталкивается с моментом, когда нужно поддерживать большое количество систем, интегрированных друг с другом по технологии «точка–точка».

Анализируй это, или Тренды рынка BI

Как Артур Конан Дойл описал ожидания от работы BI за 100 лет до его появления.

Современные Сизифы

Сизиф, царь Коринфа, был великим мошенником. Благодаря своей хитрости он собрал несметные сокровища.

ИТ-интеграция – миссия выполнима

Для начала нужно определиться с тем, что же такое интеграция. Это слово пришло к нам из латинского языка: integrum (integer) означает «целый, единый».

EMC Greenplum Database - основа платформы аналитики предприятия

СУБД Greenplum - один из лидеров в отрасли специализированных СУБД для систем хранилищ данных и аналитики. Российский и зарубежный опыт показывает, что объем данных увеличивается в среднем в 1,5 - 2,5 раза в год. Greenplum позволяет справиться с этим экспоненциальным ростом.

Business Intelligence – модная тема или реальный источник конкурентного преимущества?

Термин Business Intelligence (BI) был введен в обиход в 1989 году Говардом Дреснером, аналитиком компании Gartner Group. Это понятие определяло набор концепций и методов, используемых для повышения эффективности процесса принятия бизнес-решений и базирующихся на информационных системах, которые содержат основанную на фактах информацию.

Exadata - решение для Big Data?

Уже полтора года в нашей компании развернут демо-центр по Oracle Exadata Database Machine, и мы регулярно на различных мероприятиях докладываем о полученных на этом оптимизированном программно-аппаратном комплексе результах.

Спасибо!
Вы подписались на обновления наших статей
Предложить
авторский материал





    Спасибо!
    Вы подписались на обновления наших статей
    Подписаться
    на тему







      Спасибо!
      Вы подписались на обновления наших статей
      Оформить
      подписку на журнал







        Спасибо!
        Вы подписались на обновления наших статей
        Оформить
        подписку на новости







          Спасибо!
          Вы подписались на обновления наших статей
          Задать вопрос
          редактору








            Оставить заявку

            Мы всегда рады ответить на любые Ваши вопросы

            * Обязательные поля для заполнения

            Спасибо!

            Благодарим за обращение. Ваша заявка принята

            Наш специалист свяжется с Вами в течение рабочего дня