Дата Саммит

25 мая 2023 года

Вселенная данных
Современные инструменты
Олег Гиацинтов
Технический директор, DIS Group
 Сопровождаем 6 1 Знакомимся
и развиваем в течение с задачами
всего жизненного цикла
Что именно и изучаем
данные

Вводим в эксплуатацию
решение и проводим
5 мы делаем? 2 Проводим
концептуальное
стабилизацию Решения «под проектирование
ключ»
Определяем
Обеспечиваем адаптацию, 4
кастомизацию ПО и устраняем 3 функциональные
дефициты
функциональные дефициты
 ПОТРЕБИТЕЛИ ДАННЫХ И ИНСТРУМЕНТОВ

ПЛАТФОРМА | ВСЕ, ЧТО НЕОБХОДИМО ДЛЯ РАБОТЫ С ДАННЫМИ

КАТАЛОГ ИНТЕГРАЦИЯ РЕПЛИКАЦИЯ КАЧЕСТВО MDM- ЗАЩИТА УПРАВЛЕНИЕ

ДАННЫХ ДАННЫХ ДАННЫХ ДАННЫХ РЕШЕНИЕ ДАННЫХ ДАННЫМИ

ИСТОЧНИКИ ДАННЫХ

3
Интеграция данных

4
Бизнес-задачи
для интеграционных
решений
o Быстрое принятие решений на основе качественных данных
o Ускорение подготовки отчетов и выгрузок данных
для аналитики до 60%
o Резкое снижение затрат на проработку аналитических гипотез
o Повышение качества и достоверности данных, поступающих
на анализ и в отчетность
o Сокращение времени на выявление финансового
мошенничества
o Снижение TCO инфраструктуры и разработок за устранения
дублирования данных.
5
Плюс7 ФормИТ – мощное ETL-
решение для всех видов
интеграционных
o Поддержка большинства типовзадач
СУБД и файлов
для извлечения и записи данных

o Визуальная разработка процессов интеграции

данных

o Единый интерфейс разработки и тестирования

для всех модулей Плюс7 ФормИТ

o Динамическое создание логики процессов на

основе шаблонов и метаданных

o Пакетный и онлайн-режимы работы

o Высокая производительность и стабильность

решения
 Плюс7 ФормИТ
платформа интеграции данных

o Построение хранилищ и витрин данных для формирования управленческой,

финансовой, аналитической отчетности

o Проектирование и разработка межсистемных интерфейсов

o Миграция данных при замене или объединении систем (например, SAP ->
1C)

o Выполнение задач в пакетном и онлайн-режимах

o Независимость от типов систем-источников и приемников

o Чтение данных в режиме CDC (Change Data Capture)

7
 Плюс7 ФормИТ on
Hadoop
Интеграция данных на кластере Hadoop

o Наполнение озер данных для последующих

аналитических исследований

o Трансформация данных на кластере

Hadoop

o Анализ и профилирование данных на

Hadoop

o Обработка данных в Hadoop в режиме

Pushdown

o Мониторинг и управление процессов обработки данных

на
8 Hadoop
Плюс7 ФормИТ Стриминг
Обработка данных IoT

o Доставка данных в концентраторы событий,

озера данных и облака

o Бесшовное взаимодействие с ФормИТ on

Hadoop
и ФормИТ DQ on Hadoop

o Доставка потоковых данных - логи, блоги, навигация

по сайту, социальные сети, API и Kafka

o Доставка данных IoT – MQTT, OPC, AMQP совместимые

устройства и датчики

o Обогащение потоковых данных в реальном времени

o Оперативная реализация действий в реальном времени

 Юниверс ETL – ключевые
возможности
Модуль работы с данными
o Хранение первичных, промежуточных
Модуль мониторинга
o Трассировка данных до получателям
и финальных данных
o Гарантированная доставка до потребителя o Отслеживание и обработка ошибок

o Композитные бизнес-объекты

Интеграция Реестр моделей данных

o Бесшовная интеграция с источниками o Централизованное ведение моделей
и приемниками данных и правил конвертации
o Поддержка IoT o Версионность
o Готовые интеграции с Apache NiFi

Модули обработки данных Интеллектуальные алгоритмы

o Нормализация o Автоматическое определение моделей
o Обогащение o Автоматическая конвертация данных
o Контроль целостности композитных данных и приведение их к каноническому виду
10
 Датафлот Репликация

Создание онлайн-копий данных

• Производительное формирование реплик данных систем
в режиме реального времени или близком к нему

• Поддержка различных программных и аппаратных

платформ,
включая российские

• Поддержка различных источников и приемников данных

• Сохранение целостности транзакций данных

• Низкая нагрузка на системы-источники

• Возможности аудита репликации.Поддержка загрузки данных

в несколько приемников одновременно
11
Управление
качеством данных

12
 Сценарии применения решений
по управлению качеством Проверка

oданных
качества
Создание единого реестра проверок качества данных

для предоставления бизнес-пользователям в рамках инициатив Data

Governance
o Проверка на соответствие данных требованиям бизнес-
и технических подразделений и обеспечение качества Управление
Выявление
Мониторинг качеством причин
данных
o Валидация данных при их передаче в озеро или
хранилище данных
o Выявление дубликатов, проверка и обеспечение качества мастер-
данных
Обеспечени
o Проверка качества для проектов обезличивания данных е качества

при создании тестовых сред

o Сверка данных между системами для выявления
Совместная работа
несовпадений Бизнес ИТ

o Мониторинг проверок качества и профилирование данных

 Контроль и оценка качества данных

Плюс7 ФормИТ
DQ
Проверка Обеспечение Мониторинг
качества данных качества данных качества данных

Задачи Решение Результат

o Обеспечение качества o Создание проверок силами бизнес- o Доверие к данным,
данных пользователей предоставляемым
o Проверка и обеспечение качества данных бизнес-подразделениями
o Мониторинг полноты
на основе технических требований o Проактивный мониторинг
и качества данных
o Сверка данных между системами качества данных
o Выявление дубликатов
с оповещением владельцев
и обеспечение чистоты o Единый реестр проверок качества данных
данных в случае изменения
данных o Валидация данных при их передаче уровня качества
o Стандартизация o Выявление дубликатов и построение o Сквозной мониторинг
и консолидация мастер-записей для всех видов данных качества данных в каждой
данных o точке их преобразования
Мониторинг проверок качества
и профилирование данных на всех этапах
14
 Управление качеством для решений MDM и Data Governance

Юниверс
DQФункция качества
Фазы обеспечения качества
o Программный компонент, трансформирующий o Фильтрация данных
входные данные в выходные o Валидация данных
o Набор стандартных функций по очистке
o Очистка данных
данных
o Проверка согласованности
o Возможность разработать и подключить
сторонние функции o Обогащение внутренними и внешними
o Построение новых функций как композиций источниками
существующих функций
Правила качества
Основные возможности o Реализация правил качества данных на
o атрибутах реестра или справочника
Хранение и классификация найденных
ошибок o Функций качества на основе Groovy
o Возможность расширения классификации o Использование внешних SOAP & REST
o сервисов
Фильтрация и индикация записей с ошибками
15
в пользовательском интерфейсе
Data Governance

16
Важность управления
данными
Управление данными является стратегической задачей организаций:
o своевременное обеспечение пользователей данными для эффективной монетизации данных
o данные должны быть доступными, защищёнными и достоверными
o пользователи не должны сами искать или оценивать качество данных

Почему сейчас:
o более сложным стал слой систем: он содержит сотни новых программ, которыми пользуются
различные направления деятельности организации
o более сложным стал слой данных: их стало больше, и больше людей их используют
o более сложным стал слой инфраструктуры: облачные технологии и интернет вещей кардинально
изменили ИТ-архитектуру
o обеспечение конфиденциальности и защищённости данных стало сложнее
17
Data Governance -
возможности
Модуль подписок
Каталог Управление Моделирование активов
o Параметры
o Каталог связей активами Моделирование o Управление активами подписки
организации, активов и связей,
o Поиск o Управление связями o Каналы
визуализация создание правил
o Визуализация качества доставки
связей потоков
Статусные модели
o Статусы
информационных
активов
Извлечение Бизнес-процессы o Переходы
метаданных Построение
Автоматическое процессов o Схемы БП
o Информационные
распознавание согласования o Задачи
системы (ERP и т.д.) метаданных и управления Доступ
o СУБД, файлы
o BI, ETL, SQL задачами o Ролевая модель
Сканеры метаданных o Пользователи

o Профилирование данных
o Оценка качества данных
Управление качеством данных
o Выявление доменов данных
Data Governance
Управление
мастер-данными

20
 Бизнес-задачи –управление НСИ

o Построение единого взгляда на клиента, контрагента, продукт и т.п. – Everything 360

o Управление всеми видами нормативно-справочной информации

o Построение «единой версии правды»

мастер-данных

o Уточнение Next best offer для клиентов

o Персонализация коммуникаций с клиентами и контрагентами

o Ведение сложных классификаторов, ТМЦ, продуктов, услуг и связей

21
Единый взгляд на мастер-
данные
Связи в
социальны
Информация х сетях
о работе и
покупках
Контактная
информация Бизнес-
связи

Профиль Клиент
клиента

Семейные
связи
Предпочтени
я Устройств Транзакции и Продукты и
Клиента а взаимо- сервисы
действия

Активности/ Поддержка
Маркетинговый
предложения пользователя
отклик
и потребности
 Юниверс MDM – ключевые возможности

Централизация Исторические данные

управления данными и версионирование

Проверки и обеспечение
Моделирование качества данных

Визуализация процессов Обеспечение

управления данными безопасности

Поиск дубликатов Регламенты

и консолидация управления данными

23
Обезличивание данных

24
 Плюс7 ФормИТ
Маскинг
Обезличивание / маскирование данных

o Статическое маскирование – обезличивание

данных (в БД и Big Data) при создании тестовых Классификация Определение
сред и исследование и добавление

o Эффективный способ защиты конфиденциальной

информации

o Замена реальных данных фиктивными данными Контроль

и аудит
o Сохранение возможности работы с данными

o Возможность сохранения текущего уровня

качества обезличиваемых данных
25
 Правила и техники
обезличивания
o Создание правил с использованием техник случайного
замещения, маскирования по формату, выбора
из диапазона и размывания, перемешивания

o Сохранение связей и ссылочной целостности между

таблицами и системами

o Специализированные правила и справочники (карты, ID,

телефоны, адреса, e-mail, URL и т.п.)

o Любые трансформации и логика обработки данных

на платформе ФормИТ, возможность подключения
внешних алгоритмов и библиотек

o Возможность создания и повторного

использования
собственных, в том числе сложных правил

o Возможность подстановки идентичных значений

при обезличивании (все Петровы->Максимовы и
 Пример
внедрения
БИЗНЕС-ЗАДАЧИ
o Снижение затрат на создание и проверку тестовых сред
o Создание единой системы обезличивания
Сбербанк России

РЕШЕНИЕ
o Создана и введена в промышленную эксплуатацию АС
«Обезличивание»
o Автоматизированы процедуры выявления конфиденциальных данных
в БД
o Проведено успешное обезличивание нескольких десятков различных
систем, процессы обезличивания для них переведены в режим
сопровождения
o Автоматизированы процедуры сравнения исходных и обезличенных
данных для проверки корректности обезличивания

РЕЗУЛЬТАТЫ

Создание o Обезличено более 50 АС, объём обезличенных данных более 100

единой системы ТБ
o В сравнении с ручным написанием скриптов время обезличивания
обезличивания сократилось в 3 раза – с 50 до 18 дней
данных o Разработан и утвержден банковский стандарт по обезличиванию
27 o Разработана технологическая схема процесса обезличивания
Управление знаниями

28
Бизнес-задачи –
управление
знаниями
o Быстрый поиск нужной информации по всем
направлениям деятельности компании
o Повышение клиентского опыта и
обеспечение омниканальности для клиентов
o Упрощение обучения новых сотрудников

o Повышение лояльности целевой аудитории

29
 Плюс7 МаяК – ключевые
возможности Сбор обратной связи
Современный механизм
поиска – подсказки, о качестве контента
исправление опечаток и и контроль за
раскладки, фильтры ознакомлением

Структурирование Интеграция
знаний при помощи со сторонними
шаблонов решениями

Масштабируемость
Гибкая ролевая модель
и развитие решения для
(для каждого элемента
российских
статьи)
пользователей

Возможности сравнения Наличие отчетов

материала (статей) и аналитики
Плюс7 МаяК –
применимость
HR МАРКЕТИНГ ДИТ
o Медленная адаптация o Плохая информированность o Жалобы на низкое качество
сотрудников сотрудников о новостях поддержки
и достижениях компании пользователей
o Выгорание и текучка
кадров o Слабая аналитика из-за o Медленное принятие новых
отсутствия технологий и систем
o Отсутствие инструментов
«исторических» данных сотрудниками
обучения и проверки
знаний o Отсутствие накопленной
КЛИЕНТСКИЕ СЕРВИСЫ ЗАКУПКИ экспертизы
o Падение продаж o Недобросовестные
поставщики
o Неудовлетворенность
клиентов o Сложные системы
качеством и процессы
сервиса управления
закупками
o Репутационные риски
Автоматизация
бизнес-решений

32
 Плюс7 Форсаж – ключевые
возможности
Low-code платформа, основа продуктов для автоматизации процессов
Автоматизация Упрощенный запуск
Плюс7 Форсаж
бизнес-функции различных процессов

Задачи Решение Результат

o Любая сложная задача o Создание конечных решений o Срок разработки MVP – 2-3 недели
по автоматизации для автоматизации конкретных задач вместо 3-6 месяцев
требований бизнес- o Унификация операций и интерфейсов o Эффективная автоматизация
пользователей, o Ролевое разграничение доступа любых бизнес-функций,
которая связана с включая
к сущностям и данным
бизнес- процессами, узкоспециализированные
но не покрывается o Настройка инструментов
o Отсутствие противоречия
функциями управления
процессами и данными с системами сквозной
универсальных решений корпоративной автоматизации,
o Отсылка уведомлений
интеграция с ними
пользователям
o Различные варианты
в момент изменения состояния сущностей
системы разработки
конечного продукта:
o Организация иерархической системы
самостоятельная
Совместные решения
с партнерами

34
 o …

Повышение доступности MDM-систем с

Tarantool
o Задача:
o Данные системы MDM активно используются
множеством микросервисов
o Большая нагрузка на MDM и снижение времени
отклика
o Решение:

Highly
o Масштабирование MDM-системы путем
Available
Cache
реализации витрины часто запрашиваемых
данных
o Захват изменений с минимальным отставанием
путем использования CDC-инструментов
o Преимущества:
o Неограниченное горизонтальное
масштабирование
Внутреннее устройство
кластера Tarantool
o Минимальные доработки на стороне MDM
o Реализация в продуктивной среде менее
35 2 месяцев
 CedrusData Аналитическая система
o CedrusData — аналитическая система, которая позволяет
компаниям быстро и гибко анализировать свои данные
через единую точку доступа
o Работает в облаке и on-premise
o Основана на популярном массивно-параллельном open source
движке Trino
Преимущества:
o Эффективная обработка больших данных вплоть до петабайтного
масштаба.
o Быстрое внедрение в аналитический контур предприятия
Технологии DIS Group o Интеграция с популярными инструментами анализа данных
o Минимальные накладные расходы на инфраструктуру
o Прозрачная работа с распространенными источниками данных
ИНТЕГРАЦИЯ РЕПЛИКАЦИЯ КАЧЕСТВО
ДАННЫХ ДАННЫХ ДАННЫХ

36
СПАСИБО
ЗА ВНИМАНИЕ!

УЗНАЙТЕ БОЛЬШЕ НА САЙТЕ

WWW.DIS-GROUP.RU

+7 (495) 645 02 01

info@dis-group.ru