© 1995-2022 Компания «Инфосистемы Джет»
Главная>Новости>Новости «Инфосистемы Джет»>«Инфосистемы Джет» построила Data Lake для НЛМК

04.10.2019

Посетителей: 96

Просмотров: 87

Время просмотра: 2.3

В цехах и на агрегатах предприятия эксплуатируются десятки систем, которые накапливают и обрабатывают информацию о производственных и технологических процессах. Кроме того, в помещениях установлены десятки тысяч датчиков, которые непрерывно собирают и передают данные. Подразделению Data Science НЛМК требовался удобный инструмент для работы с получаемыми данными под разрабатываемые модели машинного обучения (ML). Для решения задачи Центр программных решений ИТ-компании «Инфосистемы Джет» совместно с командой НЛМК создали Data Lake емкостью 300 терабайт на базе отечественного дистрибутива распределенной платформы хранения Hadoop. Для решения задач сбора, передачи, трансформации и накопления данных были использованы такие сервисы, как Apache Kafka, Apache NiFi, Apache Hive.

 

В рамках проекта специалисты запустили регулярную загрузку данных в Data Lake из более чем 70 источников (датчиков, а также MES и АСУ ТП), загрузили исторические данные за последние несколько лет работы предприятия и разработали карты данных технологических и производственных процессов отдельных цехов. В рамках проекта команда «Инфосистемы Джет» разработала для НЛМК модель унифицированной витрины данных, а также процессы загрузки в неё, реализовала управление мета-данными средствами Apache Atlas (тэгирование, поиск и т.д.), настроила централизованную ролевую модель и её интеграцию с Active Directory. Это дало возможность дата-сайнтистам НЛМК оперативнее получать в Data Lake доступ к нужным им данным.

 

Для контроля работы Data Lake был также настроен комплексный мониторинг состояния сервисов системы в Zabbix, а также разработаны автотесты для контроля целостности и полноты данных. Для особо важных и уязвимых данных была создана возможность резервного копирования: то есть, в случае непреднамеренного уничтожения данных пользователем их можно будет восстановить.

Уведомления об обновлении новостей – в вашей почте

04
10

«Инфосистемы Джет» построила Data Lake для НЛМК

Подразделению Data Science НЛМК требовался удобный инструмент для работы с получаемыми данными.

01
12

«МУЛЬТИФАКТОР» и «Инфосистемы Джет» объединяют экспертизу в сфере информационной безопасности

«Инфосистемы Джет» подписала партнерское соглашение с отечественным разработчиком «МУЛЬТИФАКТОР» и пополнила свой портфель системой многофакторной аутентификации и контроля доступа MULTIFACTOR. Решение входит в реестр российского ПО.

06
12

«Инфосистемы Джет» обеспечила ИТ-инфраструктурой офис крупной компании

ИТ-компания внедрила комплекс решений и обеспечила бесшовный переезд сотрудников заказчика в новый офис. Проект стал одним из крупнейших в России по внедрению стандарта беспроводной связи Wi-Fi 6.

Спасибо!
Вы подписались на обновления наших статей
Предложить
авторский материал





    Спасибо!
    Вы подписались на обновления наших статей
    Подписаться
    на тему







      Спасибо!
      Вы подписались на обновления наших статей
      Оформить
      подписку на журнал







        Спасибо!
        Вы подписались на обновления наших статей
        Оформить
        подписку на новости







          Спасибо!
          Вы подписались на обновления наших статей
          Задать вопрос
          редактору








            Оставить заявку

            Мы всегда рады ответить на любые Ваши вопросы

            * Обязательные поля для заполнения

            Спасибо!

            Благодарим за обращение. Ваша заявка принята

            Наш специалист свяжется с Вами в течение рабочего дня