Эволюция интеграции данных от компании Informatica
Интеграция систем Интеграция систем

Любая компания – это живой организм, поэтому она проходит в своем развитии несколько этапов: от детства до зрелости.

Главная>Интеграция систем>Эволюция интеграции данных от компании Informatica
Интеграция систем Тема номера

Эволюция интеграции данных от компании Informatica

Дата публикации:
21.02.2013
Посетителей:
572
Просмотров:
531
Время просмотра:
2.3

Авторы

Спикер
Алексей Сидоров Технический директор, Informatica Россия и СНГ
Любая компания – это живой организм, поэтому она проходит в своем развитии несколько этапов: от детства до зрелости. Вместе с компанией взрослеет и ее ИТ-подразделение, проходя долгий и порой непростой путь. Изначальной задачей ИТ-специалистов практически всегда является обслуживание и администрирование различных приложений, будь то 1С или логистические и складские программы. По мере взросления компании количество таких приложений неуклонно растет. Некоторые отделы и подразделения начинают использовать специализированное ПО, тогда как потребности остальных удовлетворяются набором электронных таблиц. Зачастую возникает необходимость обмена информацией между подразделениями. Так, например, для маркетолога, работающего в CRM, нужны данные из финансового приложения, а для работы складской программы необходимо загрузить данные из различных электронных документов. По мере роста числа независимых приложений и связей между ними ИТ-архитектура компании начинает напоминать схему, изображенную на рис. 1.

 

 

Рис. 1. ИТ-архитектура при схеме интеграции «один-к-одному»

Чем больше разрозненных приложений и связей между ними необходимо поддерживать ИТ-подразделению, тем ниже становится управляемость такой структуры, тем более усложняются процессы поддержки и внесения изменений. В то же время такая архитектура не позволяет решать задачи получения консолидированной отчетности на уровне компании и проведения какой-либо аналитической работы. Этот момент обычно и становится началом первого этапа взросления ИТ с точки зрения интеграции данных. Принимается решение о построении корпоративного (централизованного) хранилища данных (КХД). Типовая архитектура КХД представлена на рис. 2.

 

Рис. 2. Архитектурная схема корпоративного хранилища данных

 

Одной из основных задач при построении КХД является разработка процесса загрузки данных в хранилище и их выгрузки в витрины данных, предназначенные для конкретных целей отчетности и аналитики. В классической архитектуре данный процесс носит название ETL (Extract, Transform, Load). Такое же название получил и класс программных продуктов для обеспечения надежного автоматического перемещения данных из различных источников в приемники. Именно со своим ETL-продуктом Informatica PowerCenter и появилась на рынке компания Informatica. Последние 10 лет продукт занимает одну из лидирующих позиций на рынке инструментов ETL.

 

На каком бы из этапов на пути эволюции интеграции данных вы ни стояли, в любом случае важно иметь инструменты для получения полной и своевременной информации

 

Что же дает внедрение КХД? Выгоды очевидны. Компания имеет возможность получать консолидированную отчетность и анализировать данные, полученные из различных приложений и файлов. Однако закон интеграции данных гласит: Garbage In – Garbage Out. То есть если мы имеем на входе «мусорную» информацию, то получим «мусор» и на выходе. Именно с этой проблемой зачастую сталкиваются ИТ-подразделения после внедрения КХД. Качество получаемых отчетов и аналитики напрямую зависит от качества исходных данных. Имея неполные, дублирующие друг друга, а порой просто неверные входные данные невозможно получить качественный результат. Для решения проблем их очистки и дедупликации перед загрузкой в КХД используются специализированные программные продукты, например, Informatica DataQuality. С их помощью данные проверяются на наличие дубликатов, освобождаются от ложной информации и обогащаются недостающими значениями. Результат – высокое качество отчетов и аналитических расчетов на выходе (см. рис. 3).

 

Рис. 3. Архитектурная схема КХД с элементом повышения качества данных

 

Следующим логическим этапом в эволюции интеграции данных стало появление систем класса Master Data Management (MDM). Существуют различные архитектурные подходы к их построению, но все они призваны решать одну задачу. Представьте, что при сборе информации о клиенте из различных систем предприятия выявляется такой факт: данные об одном и том же человеке, например, в системах CRM и ERP, существенно отличаются. Номера паспортов одинаковы, но адреса проживания и телефоны разные. Какой из этих двух адресов актуален? По какому телефону звонить клиенту сотрудникам отдела маркетинга? Или более сложная задача: девушка вышла замуж, взяла фамилию мужа и поменяла паспорт. В одной системе эта информация отражена, а в другой – нет. Как понять, что это один и тот же человек, и занести в КХД только актуальную и выверенную информацию? Решения класса MDM, в частности, Informatica Master Data Management, дают возможность получить ответы на все эти вопросы. Существенной особенностью продукта компании Informatica является возможность работы не только с клиентской информацией, но и с такими сущностями, как товар, контрагент, местоположение и т.д.

 

На рис. 4 показана одна из возможных схем встраивания системы МДМ в существующую ИТ-архитектуру.

 

Рис. 4. Архитектурная схема КХД с вынесенным хабом MDM

 

Сегодня прогресс не стоит на месте. Все чаще ИТ-подразделениям приходится сталкиваться с задачами по выгрузке и интеграции данных из социальных сетей, анализу Больших Данных (Big Data), таких как, например, файлы CDR в телекоммуникационных компаниях. Начинаются внедрения в промышленную эксплуатацию кластеров Hadoop, способных хранить и анализировать данные петабайтных объемов. Решение каждой из этих задач требует высокопрофессиональной работы ИТ-архитекторов и применения передовых технологий и инструментов по интеграции (см. рис. 5). Продукт Informatica PowerExchange легко справляется с загрузкой и выгрузкой данных из систем класса Hadoop и позволяет интегрировать их в ИТ-инфраструктуру компании.

 

Рис. 5. Гибридная экосистема КХД и кластер Hadoop с загрузкой данных из социальных сетей и технической информации, создаваемой различным оборудованием

 

Возможно, вы – молодая быстрорастущая торговая компания, которая начинает построение хранилища данных для консолидации информации о клиентах. Или вы – солидная транснациональная корпорация. Но на каком бы из этапов на пути эволюции интеграции данных вы ни стояли, в любом случае важно иметь инструменты для получения полной и своевременной информации. Только так можно одерживать верх в конкурентной борьбе и уверенно двигаться по собственному эволюционному пути. Ведь побеждает тот, кто владеет информацией.

Уведомления об обновлении тем – в вашей почте

«Большая вода»… «Большая руда»… Большие Данные!

Термин "Big Data" родился 4 сентября 2008 года с лёгкой руки журнала "Nature" и его редактора Клиффорда Линча (Clifford Lynch). В этот день вышел номер журнала "Nature" с темой номера "Большие Данные. Наука петабайтной эры" ("Science in the Petabyte era").

В омут с головой? Что может дать «озеро данных» бизнесу

Методология data lake при правильном использовании позволяет справиться с обработкой и хранением увеличивающихся объемов данных/

Exadata - решение для Big Data?

Уже полтора года в нашей компании развернут демо-центр по Oracle Exadata Database Machine, и мы регулярно на различных мероприятиях докладываем о полученных на этом оптимизированном программно-аппаратном комплексе результах.

Управление бизнес-процессами - новый подход

Бизнес-процессы существуют в каждой компании. При этом они могут быть не описаны и не формализованы.

Защита Big Data

Как правильно строить защиту больших данных? Какие ИБ-проблемы есть у Hadoop? Существует ли универсальная пилюля от всех уязвимостей Big Data?

Какие профессии в ИТ будут востребованы в 2021 году

Можно сказать однозначно: вакансий для ИТ-специалистов меньше не станет ни в течение нынешнего года, ни в 10-летней и даже более отдаленной перспективе. Материал подготовлен экспертами Trud.com

«Мы строим с нуля и берем лучшие мировые технологии»

Несколько лет подряд Москва становится номинантом престижной международной премии World Smart City Awards.

«Этим можно заниматься бесконечно»: переход на data-driven в «СИБУРе»

Почему не стоит создавать цифрового двойника для отдельного участка производства? Зачем нужен «спецназ» по работе с данными? Почему заводы «СИБУРа» пока не смогут работать без людей?

Шерлок против Big Data

Шерлок Холмс: Но я-то не каждый, Ватсон, поймите: человеческий мозг — это пустой чердак, куда можно набить всё, что угодно.

Спасибо!
Вы подписались на обновления наших статей
Предложить
авторский материал





    Спасибо!
    Вы подписались на обновления наших статей
    Подписаться
    на тему







      Спасибо!
      Вы подписались на обновления наших статей
      Оформить
      подписку на журнал







        Спасибо!
        Вы подписались на обновления наших статей
        Оформить
        подписку на новости







          Спасибо!
          Вы подписались на обновления наших статей
          Задать вопрос
          редактору








            Оставить заявку

            Мы всегда рады ответить на любые Ваши вопросы

            * Обязательные поля для заполнения

            Спасибо!

            Благодарим за обращение. Ваша заявка принята

            Наш специалист свяжется с Вами в течение рабочего дня