ИТ-портал компании «Инфосистемы Джет»

Jet Capacity: ИТ готовы к изменениям бизнеса в режиме 24×7

Jet Capacity: ИТ готовы к изменениям бизнеса в режиме 24×7

Хроническая головная боль ИТ-департамента: как совместить требования бизнеса с параметрами ИТ-инфраструктуры и откуда срочно взять дополнительные ИТ-мощности, — теперь поддается лечению. «Лекарство» называется Jet Capacity.

Развитие бизнеса практически всегда приводит к усложнению ИТ-систем, запутанным связям сервисов, приложений, баз данных и ИТ-ресурсов. Даже лобовое решение задачи: добавление процессоров, памяти и т.д., — не всегда дает желаемый эффект. Попытки прогнозировать рост потребностей в ресурсах и планировать закупки оборудования тоже не дают стопроцентного результата, зачастую приводя к лишним затратам.

Это фундаментальная проблема: как совместить показатели ИТ и бизнеса для точного прогнозирования затрат? И мы смогли ее решить.

Опыт — сын ошибок трудных

В части планирования развития инфраструктуры сила головной боли ИТ-шников практически не зависит от объема бизнеса и ИТ-бюджета. Даже если компания владеет сетью из нескольких сотен магазинов по всей стране и планирует экспансию по ряду регионов, у нее та же проблема, что и у владельца небольшого бизнеса, раздумывающего об открытии еще 2–3 точек в соседних районах.

Решать эту задачу у одного из наших заказчиков мы начали с использования вендорского продукта. Выбрали бизнес-факторы, влияющие на результат (в первую очередь количество магазинов). Завели в систему данные оперативного мониторинга ИТ-инфраструктуры, добавили данные из бизнес-систем, смоделировали развитие ситуации, но не получили корреляций между параметрами загрузки оборудования и бизнес-факторов. В итоге мы вручную сделали прогноз и пришли к выводам, что:

1. Если речь идет о моделировании ситуации, в которой есть объекты, связанные друг с другом, и они должны настраиваться под конкретные условия использования, вендорский продукт не подходит.

2. Методика ручного анализа — отличная база для создания собственного продукта для прогнозирования роста ИТ-мощностей в зависимости от изменений в бизнесе.

3. Такой продукт нужен нам самим. Имея опыт сервисной поддержки крупных интернет-магазинов, мы можем точно сказать: нельзя пропустить срок наращивания оборудования к «черной пятнице» или рекламной акции. Это приведет к недоступности сайта и потерям клиентов.

Итак, опыт Сервисного центра и Центра программных разработок соединился в решении Jet Capacity. Собственно, это система прогнозирования требований к параметрам ИТ-ресурсов на основе методов искусственного интеллекта. Создание Jet Capacity стало возможно благодаря платформе Jet Galatea. Решение позволяет реализовывать различные прикладные системы, связанные с обработкой и интеллектуальным анализом данных, работающие в реальном времени.

Цифровая платформа Jet Galatea — разработка нашей компании. Она обеспечивает процессы хранения и обработки информации, включая ETL-процедуры, менеджмент пользователей внутри системы безопасности и т.п. с помощью технологий машинного обучения (Mashine Learning, ML). Ее функционал стал инструментом для решения практически любой прикладной задачи, связанной с загрузкой, трансформацией, обработкой и анализом информации в реальном времени. С помощью Jet Galatea мы создали собственные ML-системы: Jet Pluton (система обнаружения сетевых атак нового поколения), Jet Detective (антифрод-система), Jet AML (система противодействия отмыванию доходов и финансированию терроризма) и Jet Capacity.

Первая же версия Jet Capacity, запущенная на исторических данных крупного интернет-магазина объемом в несколько месяцев показала хорошие результаты. В качестве бизнес-параметров были выбраны количество сессий и посетителей, одновременно присутствующих на сайте. По всем нескольким десяткам серверов система адекватно отражала изменения нагрузок, которые, как ожидалось, должны были произойти в результате изменений бизнес-параметров. Система также проанализировала специфику нагрузки серверов с разными ролями и «увидела», что батч-сервер — один, но его функционирование настолько критично, что для поддержки бизнес-нагрузки следует поставить еще 3. Одновременно Сервисный центр в ходе своей обычной работы продумывал, как не только увеличить ресурс этого сервера, но и распараллелить его загрузку.

И так происходило не единожды: те решения, к которым мы приходили опытным путем, совпадали с теми, что предсказывала система. Мы гоняли ее по хорошо знакомой инфраструктуре, для которой не раз проводили нагрузочные тесты, и убедились, что продукт позволяет построить разумный прогноз по историческим данным мониторинга, по всем метрикам, которые собирают системы мониторинга заказчика. Формируя результат, система не просто выдает оценку состояния по всем серверам, но и выделяет критически важные участки.

Многообразие факторов влияния

Качество работы аналитического продукта зависит от того, насколько хорошо мы понимаем, какие параметры влияют на точность прогноза. Наш Сервисный центр имеет большой опыт и знания о тех факторах, которые оказывают влияние на необходимость развития ИТ-мощностей. Их можно разделить на 2 группы: технические и бизнес-факторы.

Технические факторы охватывают обновления системного и прикладного ПО, выпуск новых релизов и т.п. Эти события происходят регулярно: каждые 3–4 недели появляется новый функционал и, как правило, изменяются нагрузки на ИТ-инфраструктуру.

Бизнес-факторы имеют разнообразную природу:

• Скачки в потреблении услуг компании. Маркетологи и службы продаж знают о пиках и спадах в потреблении товаров и услуг их компаний. Так, у ритейла горячий сезон совпадает с подготовкой к новогодним праздникам, у страховых компаний — с началом туристического сезона.

• Плановый рост бизнеса. Этот фактор также может иметь разную форму, например, экспансия компании в новые регионы с открытием офисов и точек продаж, ежегодный рост бизнеса, изменение макроэкономической или рыночной ситуации и реализация отложенного спроса.

• Неплановый рост бизнеса: сделки слияний и поглощений, выход в новые рыночные ниши и прочие события, обусловленные текущей бизнес-конъюнктурой.

Откуда данные?

Jet Capacity обрабатывает данные из различных источников (см. рис. 1) — в этом качестве можно использовать любую техническую или бизнес-систему.

Учет технических данных

Сведения из систем мониторинга дают возможность строить тренды с прогнозом развития ситуации. Система дает ответ по каждой машине (см. рис. 2), например, что будет с загрузкой центрального процессора: она будет расти, падать или останется неизменной в течение трех месяцев, полугода, года?




Помимо графиков прогнозов, система формирует отчет с рекомендациями, где отмечаются важные события, например, что 30% серверного парка выйдут за границу нагрузки в 80%.

Отметим, что Jet Capacity постоянно перерассчитывает нагрузку с учетом поступающих данных. Это гарантирует, что пользователь всегда работает с актуальными данными, отражающими недавние системные события. Срок, за который системный инженер должен получить извещение о будущей проблеме, зависит от внутренних корпоративных регламентов, в частности от закупочных процедур. Эти временные параметры можно настраивать в зависимости от корпоративных правил.

Учет бизнес-данных

Учет влияния бизнес-параметров на прогноз продемонстрирован на рис. 4.

Накопленные в системе данные о корреляции бизнес-показателей и характеристик ИТ-мощностей дают возможность прогнозировать загрузку инфраструктуры в различных ситуациях, например, в ходе маркетинговой акции или в пик горячего сезона. Например, отдел маркетинга предполагает, что количество посещений интернет-магазина в течение недели увеличится на 30–40%. Jet Capacity даст прогноз по нагрузке и рекомендации в случае необходимости нарастить определенные виды ресурсов.

Технологии машинного обучения, воплощенные в Jet Capacity, позволяют предсказывать потребности в ИТ-мощностях в перспективе 3 месяцев с высокой степенью достоверности, в перспективе полугода и года с более низкой достоверностью (по законам математической статистики). При этом прогноз учитывает детали роста бизнеса и позволяет моделировать ситуации.

Функционал Jet Capacity

• Работает практически в реальном времени. Решение имеет высокую производительность: при довольно слабом «железе» оно позволяет обрабатывать порядка 5–7 тысяч системных сообщений в секунду. Для того чтобы обрабатывать более интенсивный поток событий, понадобится усилить аппаратную платформу. Однако для задачи планирования ИТ-мощностей базовых требований обычно достаточно — подразумевается загрузка и актуализация данных 1 раз в день.

• Полностью отечественное решение, которое к тому же использует открытые библиотеки математических методов анализа данных.

• Гибкость. Jet Capacity обеспечивает большую гибкость в настройке на конкретные источники данных для работы математических моделей.

• Различные варианты использования: в составе ИТ-инфраструктуры заказчика либо по сервисной модели (SaaS). При втором варианте мы периодически забираем данные у заказчика, проводим расчеты и возвращаем результат прогнозирования.

• Информационная безопасность. Jet Capacity поддерживает большое количество прав и ролей пользователей, обеспечивает удобные средства конфигурирования прав доступа. Поскольку заказчик может самостоятельно корректировать логические правила и настраивать пороговые параметры, в Jet Capacity реализованы инструменты контроля, включая тестирование правил типа «почему так получилось?», а также восстановление состояния. Система устойчива и стабильна: процессы дублируются, а в особо важных элементах дублируются дважды.

Решение создавалось при непосредственном участии нашего Центра информационной безопасности. Это значит, что система пройдет сертификацию при использовании внутри периметра контроля ИБ. Jet Capacity поддерживает корпоративную ИБ-политику, например, обеспечивает различные варианты доступа, интеграцию с Active Directory и т.д.

• Базовые модели бизнес-процессов. В решении формализованы наши знания о влиянии на ИТ-ресурсы распространенных бизнес-систем, например, CRM, ERP, АБС, популярных фронтальных систем (фронт-офис банка, интернет-магазин, сайт страховой компании и т.д.).

• Удобная настройка с учетом специфики конкретной компании. Jet Capacity имеет средства настройки логических правил под специфику задач: в реальном времени можно вводить дополнительные условия, корректировать модели ситуаций и виды отчетов, пересчитывать параметры.

Синергия опыта заказчика и интегратора

Система Jet Capacity создавалась исходя из условий самостоятельной работы заказчика с ПО, а это подразумевает возможность его доступа ко всем компонентам. Мы сразу понимали, что заказчик будет приносить в систему не только свои данные, но и свой опыт анализа. Поэтому Jet Capacity не может рассматриваться в виде коробочного решения, хотя и содержит информацию о базовых бизнес-системах для отдельных отраслей, а также о специфических системах типа карточного процессинга и процессинга банкоматов. Наше сотрудничество с компанией при внедрении Jet Capacity подразумевает совместную работу над наполнением системы специфическими знаниями.

С одной стороны, заказчик обладает знаниями о специфике собственных бизнес-процессов и опытом управления ИТ-мощностями в своей инфраструктуре. С другой, интегратор лучше понимает нюансы ETL-процедур, агрегации, консолидации и очистки данных, а также имеет более глубокие знания в области мониторинга и анализа нагрузок, которые требуются для правильной интерпретации данных мониторинга технических систем.

Дело в том, что для анализа загрузки нет универсального метода — каждый компонент требует отдельного подхода. Есть системы, которые почти всегда загружены по максимуму. Например, загрузка процессинга всегда больше 90%, и с этой системой нужно работать отдельно. Тестовые системы нагружаются на все 100%, и использовать нагрузочный профиль такого компонента в рамках единой системы анализа нужно предельно аккуратно.

Иными словами, каждая подсистема требует понимания того, в каком месте общей системы она установлена, какую нагрузку и с каким профилем держит. Но знания о том, какая величина нагрузки является пиковой, какой ее характер говорит о негативном тренде, а какой — о стабильной работе, невозможно получить исходя из графиков параметров. Нужен опыт человека — специалиста, который уже походил по граблям ошибок. И мы приходим к современному разделению труда: заказчик решает задачи анализа и прогноза самостоятельно, а в тех случаях, когда требуются сильные компетенции в сфере получения, хранения и обработки данных или специализированные знания сервисных инженеров, к работе подключаются наши эксперты.

Большой плюс в том, что набор возможностей решения не ограничивается рамками платформы и best practices конкретного вендора, как это обычно бывает с зарубежными продуктами. Мы как разработчик и Jet Capacity, и программной платформы можем оперативно реализовать любой функционал.

Резюме для заказчика

Jet Capacity включает следующие элементы:

• Сбор и хранение данных о конфигурациях технических средств, их загрузке и других параметрах из различных источников. Количество и специфика источников меняются с течением времени.

• Автоматизация анализа загрузки ИТ-оборудования и достоверный прогноз загрузки в перспективе. Актуализация исходных данных осуществляется в реальном времени с заданной регулярностью.

• Настройка правил и оповещений инцидент-менеджмента для ситуаций выхода прогнозных значений за заданные границы.

• Обоснованные оценки роста бизнеса, включая соответствующие затраты на ИТ, понятные коммерческому руководству.

***

Таким образом, с помощью ПО планирования ИТ-мощностей Jet Capacity можно решить задачу бесперебойного развития ИТ. А это, в свою очередь, обеспечит адекватную поддержку любым бизнес-изменениям.

Вернуться к списку статей
Оставьте комментарий
Мы не публикуем комментарии: не содержащие полезной информации или слишком краткие; написанные ПРОПИСНЫМИ буквами; содержащие ненормативную лексику или оскорбления.
О журнале

Журнал Jet Info регулярно издается с 1995 года.

Узнать больше »
Подписаться на Jet Info

Хотите узнавать о новых номерах.

Заполните форму »
Контакты

Тел: +7 (495) 411-76-01
Email: journal@jet.su