Замещение BI-систем

Обзор решений и примеров успешного перехода на отечественные и «открытые» ПО

После того как лидеры в области бизнес-аналитики, такие как Tableau, Qlik и Power BI, прекратили продажу и продление лицензий для нашего рынка, многие российские компании ищут замену среди отечественных аналогов или open-code-платформ. Директор по разработке ПО ИТ-компании «Формат кода» Полина Чеснокова рассказала о нескольких доступных в России популярных решениях: их достоинствах, недостатках и возможностях.

АНАЛИЗИРУЙ ЭТО

Аналитическая платформа Polymatica от компании «Полиматика Рус» предназначена для качественной аналитики и визуализации больших массивов данных в любой предметной области в режиме интерактивности. Это браузерное ПО обладает широким спектром возможностей, а высокая скорость взаимодействия обеспечивается за счет технологий In-Memory и GPU, а также собственной технологии «Мультисфер» для хранения и сжатия данных.

В Polymatica присутствуют широкие возможности по фильтрации данных. Создание расчетных значений осуществляется в удобном графическом редакторе, а графический интерфейс способен быстро перестраивать срезы данных. Имеется возможность гибкой настройки и экспорта. С помощью интерактивных графиков можно наглядно визуализировать данные – предлагается порядка 20 типов диаграмм. Возможности интерактивных графиков позволяют представить в наглядном виде результаты анализа, а также вывести данные на интерактивную географическую карту.

Интерфейс Polymatica предназначен для бизнес-пользователя – все манипуляции с данными осуществляются в режиме drag-and-drop, без программирования

В аналитическую платформу встроены методы продвинутой аналитики, такие как кластеризация, прогнозирование, профилирование и ассоциативные правила. Есть и возможность подключить модули машинного обучения через библиотеку Python, адаптированную к API. Результаты аналитики можно сохранить и обновлять по мере изменения данных в автоматическом режиме.

К достоинствам данного решения можно отнести наличие обучающих видео, глубокую настройку прав доступа, а также экспорт отчетов по заданным шаблонам.

Недостатками являются:

• Сложность кастомизации, которую невозможно осуществить собственными силами.
• Ценовая политика компании. Лицензии Polymatica приобретаются на модули, отдельно на серверную часть и отдельно для каждого пользователя. Кроме того, ценовая политика непрозрачная и предоставляется только по запросу.

РЕШЕНИЕ ОТ ИТ-ГИГАНТА

Сервис визуализации и анализа данных является частью решения Yandex Cloud Data Platform и предоставляет возможности хранения, обработки данных и разработки визуальных представлений. В основе сервиса лежит продукт Yandex Stat – внутренняя система аналитической отчетности «Яндекса».

DataLens позволяет настраивать аналитические дашборды с диаграммами, таблицами и другими вариантами визуализации различных источников, открывая к ним сторонний доступ.

Платформа «Яндекс.Облако», на которой работает Yandex DataLens, предоставляет частным и корпоративным пользователям в формате as a service ряд инфраструктурных сервисов (Yandex Compute Cloud, Yandex Object Storage и т.д.), а также платформенные сервисы (например, Yandex Managed Service). Экосистема облачной платформы и соответствие не только российским, но и международным требованиям безопасности.

Лицензия DataLens полностью бесплатна, без ограничений по количеству пользователей, объему хранилища или вариантов визуализаций, однако при реализации полноценных проектов возникает потребность в использовании других продуктов экосистемы Yandex Cloud, которые имеют собственные, зачастую платные лицензии.

Быстрый старт, полноценный self-service, а также возможность работы без участия вендора и партнера относятся к достоинствам данного инструмента

Также можно отметить красивую визуализацию и приятные в использовании фильтры (селекторы).

Недостатками системы являются:

• Отсутствие собственных ETL-инструментов, которые представлены в других продуктах Yandex Cloud.

• Невозможность отформатировать под желаемый стиль при встраивании дашборда в рабочую область.
• Невозможность глубокой кастомизации интерфейса.
• Отсутствие возможности интеграции со сторонними программами.
• Ограниченная функциональность аналитических объектов.
• Отсутствие функции автосохранения.
• Неинтуитивный интерфейс.
• Невозможность скопировать дашборд (приходится создавать «с нуля»). Если новый дашборд работает на другой таблице базы данных, то заново приходится создавать каждую визуализацию.

ПЛАТФОРМА ОТ «РОСТЕХА»

Платформа Alpha BI, разработанная «БАРС Груп» (дочерней компанией «Ростеха»), предназначена для решения таких задач, как централизация большого количества несвязанных данных из различных источников, их обработка, анализ и информативная визуализация в произвольных аналитических срезах. Доступ к Alpha BI предоставляется бесплатно.

На платформе Alpha BI возможно построить готовое решение, позволяющее загружать и обрабатывать данные с помощью собственного ETL-модуля, анализировать «плоские» данные и проводить многомерный анализ (OLAP), а также настроить визуализацию данных и регламентные отчеты. Alpha BI имеет современную сервисную архитектуру и стабильную релизную политику, обеспечивая цифровизацию полного жизненного цикла сбора и анализа данных.

Все модули работают в веб-интерфейсе в режиме конструкторов, обученные пользователи могут выполнить полный цикл работ без привлечения программистов – начиная с загрузки данных до построения конечной визуализации.

Слабой стороной платформы является минимум данных по расширенной аналитике.

LUXMS BI

Платформа визуального контроля и бизнес-аналитики Luxms BI от ГК Luxms помогает компаниям контролировать внутренние процессы, анализировать показатели эффективности, визуализировать и публиковать их как интерактивные дашборды.

Luxms BI, кроме возможности визуализировать информацию, включает в себя продвинутый функционал для информирования сотрудников, контроля нормативов, расчета KPI, интеграции с системами заказчика, моделирования и прогнозирования с использованием ML и AI.

Платформа автоматически собирает данные из источников, обрабатывает и представляет их на интерактивных панелях и картах в виде графиков, схем, диаграмм.

Главные технологические конкурентные преимущества платформы Luxms BI – высочайшая скорость отклика и неограниченная горизонтальная масштабируемость

Платформа обладает продвинутым функционалом аналитической системы класса BI:

• Широкие возможности по визуализации информации, включая работу с инфографикой и географическими картами.
• Self-Service – активная работа с данными конечных пользователей без программирования.
• Большой набор ETL-возможностей.
• Drag-and-drop разработка.
• Интеграция с системами и процессами заказчика.
• Прогнозирование и моделирование (AI/ML) – инструментарий для глубокой аналитики данных.
• Библиотека масштабируемой аналитики в базе данных, расчет статистических функций и выполнение машинных методов обучения для структурированных и неструктурированных данных.
• Процессинг текстовой информации и полнотекстовый поиск в массово-параллельной архитектуре (MPP).

К недостаткам данного решения можно отнести:

• Отсутствие пользовательских сообществ и обучающей документации.
• Ограниченные возможности для построения моделей данных.

ОТКРЫТЫЙ APACHE

Apache Superset – один из наиболее популярных on-premise-инструментов для визуализации и исследования больших данных. Это решение с открытым исходным кодом, что позволяет реализовывать любые необходимые конкретному заказчику доработки, включая добавление новых элементов интерфейса, а также интеграцию с другими информационными системами.

Достоинствами решения являются:

Минус данного решения – отсутствие поддержки вендора.

Что касается личного опыта, изучив все решения, для реализации бизнес-задачи одного из наших клиентов мы выбрали именно Apache Superset. Заказчику требовался инструмент, позволяющий автоматически собирать разноформатные данные из нескольких источников, собирать витрины данных, визуализировать их в удобном формате, а также обладать достаточным инструментарием для подготовки данных для аналитики.

Реализованное нами решение использует связку Apache NiFi и Apache Airflow для обработки сырых данных и сбора витрин данных, а Apache Superset – для создания отчетов и дашбордов.

С помощью инструмента удалось учесть все пожелания заказчика:

•   Исходный код доступен для просмотра, изучения и изменения, что позволяет убедиться в отсутствии уязвимостей.

•   Минимальные сроки развертывания.

•   Работа на локально размещенных БД, совместимость с большинством SQL-ориентированных источников данных.

•   Наличие большого набора готовых инструментов «из коробки» и в репозиториях сообщества разработчиков.

•   Широкие возможности для модификации, поддержка плагинов визуализации и интеграция с Apache ECharts.

•   Аутентификация пользователей с использованием OpenID, LDAP, OAuth.

Плюсом данного решения является и то, что лицензия Apache дает пользователю право использовать программное обеспечение для любых целей, свободно изменять и распространять измененные копии.

Как мы видим, несмотря на непростую ситуацию, на российском рынке варианты для замены недоступных продуктов существуют. Так как у каждого из них есть свои сильные и слабые стороны, то выбор инструмента зависит от поставленной задачи. На наш взгляд, решение с открытым кодом может быть очень интересным и перспективным вариантом не только благодаря предоставляемым возможностям, но и развитым системам безопасности.