Подписаться
Читать в телеграм
Почему подход к мониторингу ИТ-инфраструктуры начал меняться?
Какую роль в этом играют Open Source, базы данных и машинное обучение?
Почему современные системы мониторинга — это решения Business Critical?
Как клиенты стали важнее серверов
В области мониторинга ИТ-инфраструктуры идут серьезные перемены. Владельцы бизнеса больше не задаются вопросом «Хорошо ли работает моя ИТ-инфраструктура?», их интересуют качество услуги, которую получает клиент, ее скорость и доступность. Компаниям важно понимать, насколько быстро работает тот или иной бизнес-процесс. В основе этих перемен лежат массовая цифровизация и возрастающая конкуренция. За внимание потребителя бьются не только компании, но и целые экосистемы. Рынок систем мониторинга тоже реагирует на эти тенденции — сейчас на нем превалирует сервисный подход.
Попытки реализовать этот подход начались еще 15 лет назад, но тогда рынок технически не был к этому готов. Инструменты мониторинга не обеспечивали необходимую функциональность, а крупные игроки не спешили исправлять ситуацию. Это снижало гибкость рынка, и в какой-то момент он начал откровенно стагнировать. Сейчас ситуация изменилась. Ниже я подробно рассмотрю причины этих изменений — развитие Open Source, нереляционных баз данных и машинного обучения (в частности, решений класса AIOps).
Но сначала…
Мониторинг как система business critical
Вопрос «Какова важность систем мониторинга в современной ИТ-инфраструктуре?» имеет простой ответ: без них бизнес остановится. Большинство компаний обслуживают клиентов и генерируют прибыль с помощью цифровых сервисов, у которых есть высокие требования к доступности. Я вживую наблюдал, как у заказчика упал онлайн-магазин: за 4 часа простоя компания потеряла 50 млн рублей, потому что не могла локализовать и решить проблему. При наличии соответствующих инструментов простой длился бы 15 минут.
Причина изменений в мониторинге № 1: Open Source
ПО с открытым кодом уже догнало коммерческие продукты по функциональности, местами даже начинает вытеснять их с рынка. Определенно можно сказать, что инфраструктурный мониторинг практически на 100% сегодня можно закрыть подобными решениями. Например, Zabbix сейчас представляет собой полноценную универсальную систему мониторинга для инфраструктур любого размера. Prometheus де-факто является стандартом для оперативного мониторинга контейнерных сред. Elasticsearch повсеместно используется для сбора большого количества структурированных или неструктурированных данных для ретроспективной и real-time-аналитики. 90% наших заказчиков изучают ПО Open Source и планируют его использовать в своей ИТ-инфраструктуре. Вокруг продуктов с открытым кодом собралось большое комьюнити: на тематических форумах можно найти ответ практически на любой вопрос, то есть проблема поддержки, о которой часто говорят противники Open Source, на самом деле решается легко. В то же время вендоры охотно переупаковывают открытое ПО и предлагают свою поддержку. Например, Zabbix продает сервис напрямую или через партнеров.
Причина № 2: базы данных NoSQL
У реляционных БД есть недостатки: они масштабируются до определенных пределов, медленно обрабатывают запросы к историческим данным и плохо работают с неструктурированной информацией. А современные системы не всегда раскладывают данные по размеченным полям таблицы — чаще всего сейчас на вход идет именно неструктурированный поток.
Здесь на помощь бизнесу пришли БД NoSQL. Они позволяют хранить неструктурированные данные в любом объеме, и у них нет проблем с поиском. Ярким примером является все та же Elasticsearch — база данных и поисковая система, которая может практически безгранично масштабироваться. Решением пользуются Quora, SoundCloud, GitHub и Netflix. Другой пример — ClickHouse, колоночная аналитическая СУБД с открытым кодом, которую разрабатывает «Яндекс».
Теперь системы мониторинга получили возможность накапливать данные для аналитики за длительный период времени из большего количества источников и быстро получать к ним доступ. Это, в свою очередь, обеспечивает более вариативную выборку для своевременного определения истинной причины проблемы.
Причина № 3: машинное обучение
Как и в случае с NoSQL, движущей силой перемен стали возросшие объемы данных, которые системы мониторинга должны собирать из разных источников. Вручную искать проблемы в потоке информации становится все сложнее, рукописные правила корреляции больше не работают: слишком много нюансов, учесть все практически невозможно. Из-за этого бизнес может получать недостоверную информацию.
Решение проблемы — машинное обучение. Специализированные инструменты, основанные на методах ML, способны объединять информацию из разных источников, сопоставлять несопоставимые данные, события и метрики и выявлять закономерности.
Пока технологии ML применяются далеко не во всех системах мониторинга, где-то работают в усеченном варианте, но тренд очевиден. Со временем машинное обучение заменит написание правил вручную.
Здесь уместно упомянуть решения класса AIOps. Как правило, компании используют несколько систем мониторинга, поэтому получают фрагментированные данные о состоянии ИТ-инфраструктуры. AIOps-платформы, в частности Watson AIOps от IBM, интегрируются со всеми инструментами мониторинга, к ним также можно подключить системы управления процессами. Они сводят полученную информацию воедино и предоставляют пользователю комплексную аналитику.
С помощью методов машинного обучения AIOps позволяет выявлять инциденты в режиме реального времени с помощью интеллектуальной корреляции событий. Платформа AIOps сопоставляет события, поступающие от разных источников: сетей, инфраструктуры, инженерных систем, приложений, баз данных и т.д. События, поступающие в платформу, проходят несколько этапов: сбор и анализ данных, «шумоподавление» ненужных инцидентов, извлечение полезной информации, расчет, анализ данных и выявление ключевых проблем. Решения этого класса способны поддерживать гетерогенные, мультивендорные среды и готовы к работе с любыми существующими и будущими технологическими стеками.
Поскольку теперь мониторинг — это системы business critical, относиться к ним нужно должным образом. Это уже не просто инструмент, который упрощает работу системных администраторов. Это инструмент бизнеса, который помогает не потерять деньги или как минимум сократить убытки. Следующий шаг — развивать системы мониторинга, чтобы с их помощью оптимизировать ресурсы компании и грамотнее управлять имеющимися мощностями. Главное — поменять свое восприятие и сделать это прямо сейчас.
Сегодня мы наблюдаем, как меняется отношение к мониторингу у наших клиентов. Пять лет назад все платили «мзду» за поддержку одному из больших вендоров, например HP или BMC. Интерес к мониторингу был на уровне «эта штука просто должна быть, так мне айтишники сказали». Мы делаем десятки комплексных инфраструктурных проектов в год. И почти каждый заказчик по той или иной причине недоволен своим мониторингом и хочет его изменить. Мы развернули собственную лабораторию мониторинга с классическими решениями (Zabbix, Grafana, Prometheus, ELK), продуктами APM, AIOps, зонтичным, облачным мониторингом и т.д. В ней можно проверить эти технологии в деле.
