x
© 1995-2019 Компания «Инфосистемы Джет» Разработано в Liqium

В цехах и на агрегатах предприятия эксплуатируются десятки систем, которые накапливают и обрабатывают информацию о производственных и технологических процессах. Кроме того, в помещениях установлены десятки тысяч датчиков, которые непрерывно собирают и передают данные. Подразделению Data Science НЛМК требовался удобный инструмент для работы с получаемыми данными под разрабатываемые модели машинного обучения (ML). Для решения задачи Центр программных решений ИТ-компании «Инфосистемы Джет» совместно с командой НЛМК создали Data Lake емкостью 300 терабайт на базе отечественного дистрибутива распределенной платформы хранения Hadoop. Для решения задач сбора, передачи, трансформации и накопления данных были использованы такие сервисы, как Apache Kafka, Apache NiFi, Apache Hive.

 

В рамках проекта специалисты запустили регулярную загрузку данных в Data Lake из более чем 70 источников (датчиков, а также MES и АСУ ТП), загрузили исторические данные за последние несколько лет работы предприятия и разработали карты данных технологических и производственных процессов отдельных цехов. В рамках проекта команда «Инфосистемы Джет» разработала для НЛМК модель унифицированной витрины данных, а также процессы загрузки в неё, реализовала управление мета-данными средствами Apache Atlas (тэгирование, поиск и т.д.), настроила централизованную ролевую модель и её интеграцию с Active Directory. Это дало возможность дата-сайнтистам НЛМК оперативнее получать в Data Lake доступ к нужным им данным.

 

Для контроля работы Data Lake был также настроен комплексный мониторинг состояния сервисов системы в Zabbix, а также разработаны автотесты для контроля целостности и полноты данных. Для особо важных и уязвимых данных была создана возможность резервного копирования: то есть, в случае непреднамеренного уничтожения данных пользователем их можно будет восстановить.

Реклама

Следите за нашими обновлениями

13
12

«Инфосистемы Джет» расширила продуктовый портфель решениями Аванпост

Инфосистемы Джет получила статус Золотого партнера (Partner Gold)

12
12

Московский рынок HR-Tech

ICT.Moscow и Департамент информационных технологий (ДИТ) города Москвы провели исследование рынка HR-Tech решений

11
12

В Москве прошла конференция «Эффективное производство 4.0»

Эксперты обсудили необходимость цифровой трансформации для предприятий

Спасибо!
Ваш материал отправлен.
Мы с вами свяжемся
Предложить
авторский материал
Спасибо!
Вы подписались на обновления наших статей
Подписаться
на рубрику
Спасибо!
Ваша заявка отправлена.
Мы с вами скоро свяжемся.
Оформить
подписку на журнал
Спасибо!
Вы подписались на наши новости.
Оформить
подписку на Новости
Ваш комментарий отправлен.
После прохождения модерации комментарий будет опубликован на сайте.
Оставить
комментарий
Спасибо!
Ваша заявка отправлена.
Мы с вами скоро свяжемся.
Задать вопрос
редактору

Оставить заявку

Мы всегда рады ответить на любые Ваши вопросы

* Обязательные поля для заполнения

Спасибо!

Благодарим за обращение. Ваша заявка принята

Наш специалист свяжется с Вами в течение рабочего дня