Главная>Новости>Новости «Инфосистемы Джет»>«Инфосистемы Джет» построила Data Lake для НЛМК

04.10.2019

Посетителей: 108

Просмотров: 96

Время просмотра: 2.3

В цехах и на агрегатах предприятия эксплуатируются десятки систем, которые накапливают и обрабатывают информацию о производственных и технологических процессах. Кроме того, в помещениях установлены десятки тысяч датчиков, которые непрерывно собирают и передают данные. Подразделению Data Science НЛМК требовался удобный инструмент для работы с получаемыми данными под разрабатываемые модели машинного обучения (ML). Для решения задачи Центр программных решений ИТ-компании «Инфосистемы Джет» совместно с командой НЛМК создали Data Lake емкостью 300 терабайт на базе отечественного дистрибутива распределенной платформы хранения Hadoop. Для решения задач сбора, передачи, трансформации и накопления данных были использованы такие сервисы, как Apache Kafka, Apache NiFi, Apache Hive.

 

В рамках проекта специалисты запустили регулярную загрузку данных в Data Lake из более чем 70 источников (датчиков, а также MES и АСУ ТП), загрузили исторические данные за последние несколько лет работы предприятия и разработали карты данных технологических и производственных процессов отдельных цехов. В рамках проекта команда «Инфосистемы Джет» разработала для НЛМК модель унифицированной витрины данных, а также процессы загрузки в неё, реализовала управление мета-данными средствами Apache Atlas (тэгирование, поиск и т.д.), настроила централизованную ролевую модель и её интеграцию с Active Directory. Это дало возможность дата-сайнтистам НЛМК оперативнее получать в Data Lake доступ к нужным им данным.

 

Для контроля работы Data Lake был также настроен комплексный мониторинг состояния сервисов системы в Zabbix, а также разработаны автотесты для контроля целостности и полноты данных. Для особо важных и уязвимых данных была создана возможность резервного копирования: то есть, в случае непреднамеренного уничтожения данных пользователем их можно будет восстановить.

Уведомления об обновлении новостей – в вашей почте

Титан под контролем: Как видеонаблюдение за выплавкой повышает качество металла

Российская металлургическая компания ПАО «Корпорация ВСМПО-АВИСМА» — лидер по производству титана. Корпорация глубоко интегрирована в мировую аэрокосмическую индустрию и является стратегическим поставщиком для компаний из 50 стран. Слиток титана плавится до 10 часов, и все это время специалист должен неотрывно наблюдать за печью. Чтобы автоматизировать и оптимизировать процессы, было принято решение разработать систему технического зрения.

Шерлоки Холмсы цифрового века

Установление причин инцидента и расследование киберпреступлений. Процедуры реагирования на инциденты: шаги по обнаружению, анализу, регистрации, противодействию и устранению последствий.

Киберучения: от сценарного подхода до платформы киберразвития

Киберучения позволяют комплексно подойти к развитию карьеры, точечно проработать hard&soft skills. Специалист «не на своем месте» вредит бизнесу. На киберучениях такие сотрудники видны лучше всего.

Другие новости из этой рубрики

30
03

«Инфосистемы Джет» протестировала российский продукт SafeMobile в собственной лаборатории

В лаборатории компании «Инфосистемы Джет» на базе платформы киберучений Jet CyberCamp смоделированы риски, связанные с доступом к корпоративной информации и ее хранением на мобильных устройствах. В качестве варианта решения для защиты доступа к корпоративным данным специалисты ИТ-компании протестировали российский продукт UEM SafeMobile.

31
03

«Инфосистемы Джет» разработала стратегию развития ИБ для ИНК

«Инфосистемы Джет» провела аудит и определила направления развития информационной безопасности для Иркутской нефтяной компании (ИНК). В результате выполненных работ в компании разработана стратегия развития системы обеспечения ИБ на три года.

03
04

«Инфосистемы Джет» модернизировала центр управления сетями энергетической компании в вологодской области

Специалисты «Инфосистемы Джет» оснастили диспетчерскую центра управления сетями Вологодской областной энергетической компании аудиовизуальным комплексом с видеостеной для работы диспетчеров. Эти решения позволили повысить качество коммуникации сотрудников и ускорить реакцию инженеров на сбои в электроснабжении региона.

Спасибо!
Вы подписались на обновления наших статей
Предложить
авторский материал





    Спасибо!
    Вы подписались на обновления наших статей
    Подписаться
    на тему







      Спасибо!
      Вы подписались на обновления наших статей
      Оформить
      подписку на журнал







        Спасибо!
        Вы подписались на обновления наших статей
        Оформить
        подписку на новости







          Спасибо!
          Вы подписались на обновления наших статей
          Задать вопрос
          редактору








            Оставить заявку

            Мы всегда рады ответить на любые Ваши вопросы

            * Обязательные поля для заполнения

            Спасибо!

            Благодарим за обращение. Ваша заявка принята

            Наш специалист свяжется с Вами в течение рабочего дня