© 1995-2021 Компания «Инфосистемы Джет»
Эволюция интеграции данных от компании Informatica
Интеграция систем

Любая компания – это живой организм, поэтому она проходит в своем развитии несколько этапов: от детства до зрелости.

Интеграция систем Тема номера

Эволюция интеграции данных от компании Informatica

Автор
Алексей Сидоров Технический директор, Informatica Россия и СНГ

21.02.2013

Посетителей: 232

Просмотров: 189

Время просмотра: 1 мин.

Любая компания – это живой организм, поэтому она проходит в своем развитии несколько этапов: от детства до зрелости. Вместе с компанией взрослеет и ее ИТ-подразделение, проходя долгий и порой непростой путь. Изначальной задачей ИТ-специалистов практически всегда является обслуживание и администрирование различных приложений, будь то 1С или логистические и складские программы. По мере взросления компании количество таких приложений неуклонно растет. Некоторые отделы и подразделения начинают использовать специализированное ПО, тогда как потребности остальных удовлетворяются набором электронных таблиц. Зачастую возникает необходимость обмена информацией между подразделениями. Так, например, для маркетолога, работающего в CRM, нужны данные из финансового приложения, а для работы складской программы необходимо загрузить данные из различных электронных документов. По мере роста числа независимых приложений и связей между ними ИТ-архитектура компании начинает напоминать схему, изображенную на рис. 1.

 

 

Рис. 1. ИТ-архитектура при схеме интеграции «один-к-одному»

Чем больше разрозненных приложений и связей между ними необходимо поддерживать ИТ-подразделению, тем ниже становится управляемость такой структуры, тем более усложняются процессы поддержки и внесения изменений. В то же время такая архитектура не позволяет решать задачи получения консолидированной отчетности на уровне компании и проведения какой-либо аналитической работы. Этот момент обычно и становится началом первого этапа взросления ИТ с точки зрения интеграции данных. Принимается решение о построении корпоративного (централизованного) хранилища данных (КХД). Типовая архитектура КХД представлена на рис. 2.

 

Рис. 2. Архитектурная схема корпоративного хранилища данных

 

Одной из основных задач при построении КХД является разработка процесса загрузки данных в хранилище и их выгрузки в витрины данных, предназначенные для конкретных целей отчетности и аналитики. В классической архитектуре данный процесс носит название ETL (Extract, Transform, Load). Такое же название получил и класс программных продуктов для обеспечения надежного автоматического перемещения данных из различных источников в приемники. Именно со своим ETL-продуктом Informatica PowerCenter и появилась на рынке компания Informatica. Последние 10 лет продукт занимает одну из лидирующих позиций на рынке инструментов ETL.

 

На каком бы из этапов на пути эволюции интеграции данных вы ни стояли, в любом случае важно иметь инструменты для получения полной и своевременной информации

 

Что же дает внедрение КХД? Выгоды очевидны. Компания имеет возможность получать консолидированную отчетность и анализировать данные, полученные из различных приложений и файлов. Однако закон интеграции данных гласит: Garbage In – Garbage Out. То есть если мы имеем на входе «мусорную» информацию, то получим «мусор» и на выходе. Именно с этой проблемой зачастую сталкиваются ИТ-подразделения после внедрения КХД. Качество получаемых отчетов и аналитики напрямую зависит от качества исходных данных. Имея неполные, дублирующие друг друга, а порой просто неверные входные данные невозможно получить качественный результат. Для решения проблем их очистки и дедупликации перед загрузкой в КХД используются специализированные программные продукты, например, Informatica DataQuality. С их помощью данные проверяются на наличие дубликатов, освобождаются от ложной информации и обогащаются недостающими значениями. Результат – высокое качество отчетов и аналитических расчетов на выходе (см. рис. 3).

 

Рис. 3. Архитектурная схема КХД с элементом повышения качества данных

 

Следующим логическим этапом в эволюции интеграции данных стало появление систем класса Master Data Management (MDM). Существуют различные архитектурные подходы к их построению, но все они призваны решать одну задачу. Представьте, что при сборе информации о клиенте из различных систем предприятия выявляется такой факт: данные об одном и том же человеке, например, в системах CRM и ERP, существенно отличаются. Номера паспортов одинаковы, но адреса проживания и телефоны разные. Какой из этих двух адресов актуален? По какому телефону звонить клиенту сотрудникам отдела маркетинга? Или более сложная задача: девушка вышла замуж, взяла фамилию мужа и поменяла паспорт. В одной системе эта информация отражена, а в другой – нет. Как понять, что это один и тот же человек, и занести в КХД только актуальную и выверенную информацию? Решения класса MDM, в частности, Informatica Master Data Management, дают возможность получить ответы на все эти вопросы. Существенной особенностью продукта компании Informatica является возможность работы не только с клиентской информацией, но и с такими сущностями, как товар, контрагент, местоположение и т.д.

 

На рис. 4 показана одна из возможных схем встраивания системы МДМ в существующую ИТ-архитектуру.

 

Рис. 4. Архитектурная схема КХД с вынесенным хабом MDM

 

Сегодня прогресс не стоит на месте. Все чаще ИТ-подразделениям приходится сталкиваться с задачами по выгрузке и интеграции данных из социальных сетей, анализу Больших Данных (Big Data), таких как, например, файлы CDR в телекоммуникационных компаниях. Начинаются внедрения в промышленную эксплуатацию кластеров Hadoop, способных хранить и анализировать данные петабайтных объемов. Решение каждой из этих задач требует высокопрофессиональной работы ИТ-архитекторов и применения передовых технологий и инструментов по интеграции (см. рис. 5). Продукт Informatica PowerExchange легко справляется с загрузкой и выгрузкой данных из систем класса Hadoop и позволяет интегрировать их в ИТ-инфраструктуру компании.

 

Рис. 5. Гибридная экосистема КХД и кластер Hadoop с загрузкой данных из социальных сетей и технической информации, создаваемой различным оборудованием

 

Возможно, вы – молодая быстрорастущая торговая компания, которая начинает построение хранилища данных для консолидации информации о клиентах. Или вы – солидная транснациональная корпорация. Но на каком бы из этапов на пути эволюции интеграции данных вы ни стояли, в любом случае важно иметь инструменты для получения полной и своевременной информации. Только так можно одерживать верх в конкурентной борьбе и уверенно двигаться по собственному эволюционному пути. Ведь побеждает тот, кто владеет информацией.

Уведомления об обновлении тем – в вашей почте

Какие профессии в ИТ будут востребованы в 2021 году

Можно сказать однозначно: вакансий для ИТ-специалистов меньше не станет ни в течение нынешнего года, ни в 10-летней и даже более отдаленной перспективе. Материал подготовлен экспертами Trud.com

В омут с головой? Что может дать «озеро данных» бизнесу

Методология data lake при правильном использовании позволяет справиться с обработкой и хранением увеличивающихся объемов данных/

Интеграционные решения Oracle: обзор важнейших направлений

Когда речь заходит об интеграции, в голове обычного представителя ИТ-профессии начинает проноситься куча понятий: сервисы, шина данных, единый интерфейс, консолидация данных, сквозные процессы, единая точка входа и т.д.

Современный ритейлер трансформируется в цифровую компанию

Руководитель направления “Стратегия и инновации” ИТ-дирекции X5 Retail Group Виталий Порубов рассказал нам об особенностях цифровой трансформации одного из крупнейших отечественных ритейлеров в условиях, когда инновации стали важным способом оптимизации бизнеса.

ИТ-интеграция – миссия выполнима

Для начала нужно определиться с тем, что же такое интеграция. Это слово пришло к нам из латинского языка: integrum (integer) означает «целый, единый».

EMC Greenplum Database - основа платформы аналитики предприятия

СУБД Greenplum - один из лидеров в отрасли специализированных СУБД для систем хранилищ данных и аналитики. Российский и зарубежный опыт показывает, что объем данных увеличивается в среднем в 1,5 - 2,5 раза в год. Greenplum позволяет справиться с этим экспоненциальным ростом.

Управление бизнес-процессами - новый подход

Бизнес-процессы существуют в каждой компании. При этом они могут быть не описаны и не формализованы.

«Большая вода»… «Большая руда»… Большие Данные!

Термин "Big Data" родился 4 сентября 2008 года с лёгкой руки журнала "Nature" и его редактора Клиффорда Линча (Clifford Lynch). В этот день вышел номер журнала "Nature" с темой номера "Большие Данные. Наука петабайтной эры" ("Science in the Petabyte era").

Матрица: эволюция

В первой «Матрице» есть эпизод, в котором оператор в режиме реального времени мониторит многочисленные показатели системы и дает Нео совет: «Информации, получаемой из Матрицы, гораздо больше, чем ты можешь расшифровать. Нужно адаптироваться к этому»

Спасибо!
Вы подписались на обновления наших статей
Предложить
авторский материал





    Спасибо!
    Вы подписались на обновления наших статей
    Подписаться
    на тему







      Спасибо!
      Вы подписались на обновления наших статей
      Оформить
      подписку на журнал







        Спасибо!
        Вы подписались на обновления наших статей
        Оформить
        подписку на новости







          Спасибо!
          Вы подписались на обновления наших статей
          Задать вопрос
          редактору








            Оставить заявку

            Мы всегда рады ответить на любые Ваши вопросы

            * Обязательные поля для заполнения

            Спасибо!

            Благодарим за обращение. Ваша заявка принята

            Наш специалист свяжется с Вами в течение рабочего дня