Умные хранилища данных

Как искусственный интеллект изменит СХД

Нейросети и технологии машинного обучения влияют на множество процессов повседневной жизни, а также на широкий ряд узкоотраслевых задач. Содержание постоянно растущего объема информации является одной из наиболее очевидных сфер приложения возможностей искусственного интеллекта (ИИ). Что получат привычные системы хранения данных (СХД) от симбиоза с нейросетями, рассказывает генеральный директор компании «Аэродиск» Вячеслав Володкович.

BIG DATA В СОТНИ ЛЕТ

По информации Forbes, в период с 2010 по 2020 год глобальный объем создаваемых данных увеличился на 5000 процентов. И как раз в тот момент, когда компании начали осознавать перспективы следующей декады своего развития в свете новой роли данных, COVID-19 резко изменил жизнь. Люди внезапно оказались привязаны к дому, а компании были вынуждены быстро адаптировать облачные технологии и внедрять мобильные инструменты кооперации.

В результате сегодня объемы генерируемых данных достигли эпических масштабов. Согласно исследованию компании Domo,

каждый день в мире производится 2,5 экзабайта информации, что эквивалентно содержанию видеозвонка длиною в 237 823 года

С распространением цифровизации по отраслям экономики и новым географическим регионам эти объемы постоянно растут.

Способность IТ-специалистов управлять, контролировать и поддерживать крупномасштабные хранилища данных становится узким местом для любого бизнеса. Особенно при необходимости масштабировать операции и поддерживать высокий уровень эффективности работы. Компании могут собирать горы данных и хранить их в СХД. Однако генерировать полезную информацию становится все сложнее без использования интеллектуальных и автоматизированных систем, способных самостоятельно анализировать задачи по обработке данных в режиме реального времени.

Если не заниматься вопросами организации хранения, то существенно возрастают риски того, что запуск дата-ориентированного проекта обернется не прорывом в развитии, а созданием «болота данных», малопригодного для работы.

СПИСОК ТРЕБОВАНИЙ К УМНОЙ СХД

Корпоративные решения во многом полагаются в своей работе на хранилища, способные обрабатывать огромные объемы разнородных данных и поддерживать сложные, изменчивые и часто непредсказуемые рабочие нагрузки. СХД должна обеспечивать безопасность и целостность информации, а также решать вопросы конфиденциальности и соответствия нормативным требованиям.

При работе с новыми задачами уровня Enterprise недостаточно просто увеличить емкость или установить более быстрые диски. Предприятиям нужны интеллектуальные системы хранения данных с применением ИИ, машинного обучения для упреждающего выявления потенциальных проблем, а также оптимизации работы всей инфраструктуры хранения.

Все больше приложений предъявляют повышенные требования к СХД для поддержки интенсивных рабочих нагрузок, таких как аналитика больших данных

Одновременно растет число сложных угроз безопасности, например, атак шифровальщиков. Нельзя забывать и о необходимости соблюдения нормативных требований и правил конфиденциальности при обработке данных, которые варьируются от региона к региону.

Для решения этих задач СХД должны быстро оценивать ситуацию и автоматически принимать соответствующие меры, обеспечивая при этом прозрачность процессов на всех уровнях стека хранения данных в режиме реального времени.

МАШИННОЕ И ГЛУБОКОЕ ОБУЧЕНИЕ

В идеале СХД с искусственным интеллектом должна уметь собирать и анализировать метрические данные о работе инфраструктуры и использовать их для:

сокращения времени простоя;
максимального использования ресурсов;
оптимизации рабочих нагрузок приложений;
обеспечения доступности.

Инструментарий ИИ также сможет вывести задачи мониторинга и оповещения для отслеживания возможных проблем информбезопасности (ИБ) и соответствия нормативным требованиям на новый уровень качества

Искусственный интеллект помогает оценивать такие показатели производительности, как пропускная способность, задержки и высокие загрузки по IOPS (количество операций ввода-вывода, выполняемых системой хранения данных, за одну секунду), а также использование кеша. Система анализирует весь комплекс этой информации и выявляет закономерности, которые можно использовать для:

прогнозирования тенденций;
выявления «узких мест»;
отслеживания отказов оборудования;
прогнозирования потенциальных проблем до их возникновения.

ИИ включает в себя две важные формы обучения, которые обычно используют интеллектуальные СХД: машинное (МО) и глубокое. Первое позволяет компьютерам учиться на основе данных, не требуя определенного набора запрограммированных инструкций. По мере поступления большего количества информации система МО продолжает совершенствоваться и в процессе становится все лучше в составлении прогнозов.

Глубокое обучение – подраздел машинного, в котором используются многоуровневые искусственные нейронные сети, имитирующие человеческое обучение для извлечения смысла из примеров. Далее МО используется для запуска предиктивной аналитики на базе собранных телеметрических данных.

ПРИЗНАКИ SMART-СИСТЕМ

Варианты исполнения «интеллектуальных» СХД могут отличаться в зависимости от конкретного предложения. У производителей разнится и понимание того, что делает систему хранения умной.

С моей точки зрения, главный признак – интеллектуальная СХД должна обеспечивать подход к хранению данных, который выходит за рамки базовых операций и дает проактивную автоматизированную среду, оптимизирующую производительность. Это первый, базовый уровень умной СХД. Далее этот функционал может и должен развиваться в таких направлениях, как непосредственный анализ данных в целях не только операционной эффективности, но и решения прикладных бизнес-задач.

Так, хранилища с поддержкой ИИ могут использовать различные аналитические инструменты и процессы, которые позволяют реализовать максимально быстрый доступ к данным и запускать высокопроизводительные процессы по обработке больших массивов хранимых объектов.

Искусственный интеллект помогает создавать отчеты о состоянии информации и полученных аналитических инсайтах при их обработке. Он также позволяет настраивать оповещения для решения проблем, связанных с отказами хранилищ или аномалиями движения потоков данных.

Сбои в работе СХД могут оказать огромное влияние на производительность IТ-систем и бизнеса в целом. При возникновении сбоя необходимо найти, какие данные были потеряны, а затем восстановить их из резервной копии. Это занимает время и снижает производительность.

Инструменты ИИ позволяют обеспечить раннее обнаружение сбоев и восстановление данных из последней сохраненной точки

В сумме интеллектуальные инструменты управления СХД повышают экономическую эффективность IТ-инфраструктуры: хранилища с поддержкой ИИ помогают определить полезность и характер использования хранимых данных. Это способствует принятию важных решений по выбору типа СХД, приоритетных по важности или ненужных данных. Такие возможности помогают организациям разумно инвестировать в СХД и экономить на задачах, связанных с хранением больших массивов данных.

Хранилище с поддержкой ИИ имеет более гибкую и подвижную архитектуру:

интеллектуальный контроль права доступа;
динамическое перенаправление данных ЦОД;
автоматическое регулирование охлаждения ЦОД, тем самым оптимизируется потребление энергии.

Хранилища с поддержкой ИИ оснащены интеллектуальными функциями безопасности для обнаружения потери пакетов данных во время транспортировки или в дата-центрах. Это помогает предотвратить потерю информации, повысить доступность и скорость восстановления во время простоя.

ГДЕ ПРИМЕНЯЮТСЯ ТЕХНОЛОГИИ

ИИ и машинное обучение сегодня широко используются глобальными лидерами отрасли – NetApp, HPE, Pure Storage – прежде всего, для прогнозирования роста объемов рабочих нагрузок СХД, анализа показателей производительности системы, возможных сбоев в ее работе и так далее.

Второе направление практического применения технологий – задачи саморемонта СХД. Например, вылетает диск и система активирует запасной, заново перераспределяя нагрузку и оповещая администратора об инциденте. Третье направление – ИБ: искусственный интеллект позволяет внедрять улучшенные алгоритмы мониторинга и оповещения, а также запускать сценарии реагирования на инциденты. Одновременно ИИ может увязывать события локального уровня с верхнеуровневой системой корреляции таких эпизодов для распознавания масштабных атак и своевременного реагирования.

То есть фактически

сегодня ИИ выполняет задачи гиперавтоматизации, выводя ее на новый уровень и масштабируя при необходимости

Возможности искусственного интеллекта можно распространить на работу контроллеров, серверных нод для автоматического приведения процессов СХД в норму.

РИСКИ ОТ УМА

Необходимо помнить, что любое усовершенствование системы увеличивает площадь возможной ИБ-атаки. Поэтому все расширения функционала СХД за счет ИИ должны быть обоснованны.

В идеальной ситуации «мира во всем мире» и полного равновесия – где СХД не масштабируется, потому что объем данных не растет, где хакеры не активны, а государства не шпионят друг за другом, нет проблем на уровне управления инфраструктурой, там ИИ для задач СХД будет излишней технологией.

Но мы живем в мире реальном: необходима цифровизация экономики в масштабах страны, ИБ-вызовы со стороны коммерческих хакеров и действий спецслужб актуальны на все 100%, не хватает кадров для развития и управления СХД-решениями.

Самое главное – СХД постоянно масштабируются в результате лавинообразного роста данных

Поэтому любой smart-функционал, который снижает затраты IТ-кадров на управление нужным объемом инфраструктуры, будет востребован.

Определение конкретных потребностей в ИИ для СХД должно происходить в результате аудита в режиме case by case.

ПЕРСПЕКТИВНЫЕ СЦЕНАРИИ

В России внедрение таких решений уже происходит в практике «Яндекса», Mail.ru (VK) и Сбера, у множества банков. Это их реальные потребности для обеспечения роста бизнес-моделей и масштабирования.

Дальнейший вектор развития направления будет очень сильно зависеть от способности экономики сохранять баланс запроса на гиперавтоматизацию и стремления к операционному упрощению бизнеса.

Однозначно можно говорить, что ИИ-функционал СХД будет востребован в сфере ИБ и национальной безопасности, в рамках крупных инфраструктурных проектов, а также для задач госуправления – в оборонном, силовом, социальном и финансовом сценариях.

Изображение: RSpectr, Adobe Stock, Freepik.com

ЕЩЕ ПО ТЕМЕ:

Машинный разум на конвейере
Как нейросети меняют российскую промышленность