Вы находитесь на странице: 1из 20

<Insert Picture Here>

Решения Oracle по интеграции данных


Грановский Александр
Integration Architect, Oracle Russia
План презентации

<Insert Picture Here>


•Краткий обзор продуктов Oracle
– Oracle Data Integrator
– Oracle Data Quality and Data Profiling
– Oracle GoldenGate

•Типовая архитектура решения

•Примеры внедрений

2
Решение от Oracle – комплексный подход к интеграции
данных

ERP / CRM Заказные MDM, НСИ Аналитика BAM SOA


приложения системы решения

Комплексное интеграционное решение


SOA Abstraction Layer
Процессы Интеграционная Шина Сервисы Федеративные данные

Oracle Data Integrator Oracle GoldenGate Oracle Data Quality

ELT/ETL Данные реального времени Качество данных

Трансформации Oracle CDC Статистика и анализ

Пакетные репликации Двухсторонняя репликация Обработка и очистка

Data Lineage Верификация “на лету” Выверка и объединение

Storage Data Warehouse/ OLTP OLAP Cube Flat Files Web 2.0 Web and Event
Data Mart System Services, SOA

3
Oracle Data Integrator 11g (ODI-EE)

Источники Oracle Data Integrator Enterprise Edition Консолидация


данных из данных для
текущих приложений
систем Графическое проектирование
процессов движения данных
Бизнес-
приложения Огромное количество готовых
адаптеров к СУБД и приложениям

Централизация управления, контроля и


аудита
OLTP Базы
данных в Открытая архитектура, возможность Хранилища
филиалах данных и
расширения
аналитические
системы

4
Удобство работы с ODI

• Среда разработки на
базе JDeveloper

• Графические редакторы
процессов
трансформации и
workflow

• Автоматическая проверка
на ошибки

• Непосредственный
доступ к данным

5
Удобство работы с ODI: диаграммы

6
Управление

• Единая среда управления


системой в Web
• Инструменты для
мониторинга и
отслеживания
интеграционных сессий в
реальном времени
• Запуск, останов,
обслуживание
компонентов системы

7
Oracle GoldenGate 11g

Синхронизация данных в
реальном времени
Миграции на новые
приложения,
Шины данных серверы и т.д.
Системы высокой
надежности 24\7
Реплики, Standby
системы
Измененные
данные
Отчетность и аналитика в
реальном времени
СУБД
Распределенные
системы
Нет дополнительной
нагрузки на приложения
Хранилища данных

Приложения Event Driven Architecture,


SOA
Message Bus

8
Oracle Data Quality and Data Profiling 11g

Oracle Data Profiling, Oracle Data Quality

Любые Сверка метаданных источников и получателей


исходные данных
системы и
базы данных Поиск дублей, сравнение и объединение

Глобальная система выверки адресов

Настраиваемые алгоритмы проверки


Приложения

Oracle Data Integrator


Хранилища
данных

9
Oracle Data Information Management

Industry Process Models

Metadata Management, Business Rules, Policies,


Transaction Business Content
Collaboration
Application and Data Services Processing Intelligence Management
Services
Services Services Services

Identity Management Access Management Entitlements Directory Services Provisioning

Governance and ILM


EIM Infrastructure
Customer Hub Product Hub Supplier Hub Financial Hub Custom Hub Oracle DRM

Predictive Analytics
Oracle SOA

EPM applications
BI applications
Oracle MDM
Workflow
Product Data Quality
Process
Customer Data Quality
Mediator Oracle Data Integration
Registry
Suite Oracle EPM/BI
Service Bus
ETL/ELT CDC Data Replication Data Federation BI Server Foundation

Infrastructure Services Backup, Recovery, Archiving Data Encryption, Access HA, Disaster Recovery

Storage Data Warehouse/ OLTP OLAP Cube Files and Web 2.0 Web and Event
Data Mart System Content Management Services, SOA

10
FAQ и Best Practices

• Ключевые отличия ODI (ELT) от стандартных ETL


систем:
– Не требуется выделенных “middle tier” серверов
– Обработка преобразований может происходить как на
источнике, так и на получателе данных

• ODI или GoldenGate: Если требуется


«мгновенная» синхронизация данных между
системами, то используйте GoldenGate. Если
необходимо обеспечить регламентные загрузки и
трансформации, то ODI, или ODI + GoldenGate

11
<Insert Picture Here>

Типовая архитектура

12
Типовая архитектура решения

• Продукты

- Oracle Data
Integrator EE
- Oracle
GoldenGate
- Oracle Data
Quality for
ODI

13
Процесс консолидации данных
1. Данные выгружаются из системы-источника:
1. формируется набор измененных данных (запросы к БД
агентами ODI или GoldenGate) Буферная зона

2. Данные передаются по текущим каналам связи в БД


Агент ODI

буферную зону (прямое соединение между СУБД, прямая


передача данных GoldenGate, архивы файлов по FTP).
2. Пакеты данных, переданные на центральный узел
FTP
обрабатываются и загружаются в Буферную БД:
1. Данные загружаются в буферный слой – автоматически Источник

или регламентно с помощью агента ODI на центральном Агент ODI


узле БД
2. Отрабатывают процедуры верификации и очистки
3. Отрабатывают процедуры интеграции данных Файлы

3. Готовые данные перегружаются в Хранилище

14
Особенности и преимущества решения

• Единая технологическая платформа для всего


комплекса задач
– Поддержка множества типов источников данных –
универсальность и расширяемость решения
– Единая консоль управления на центральном узле
– Интегрированный набор продуктов, работающих как «единое
целое»
• Все трансформации происходят на уровне СУБД
• Визуальные средства разработки
• Открытая к расширению и интеграции платформа
• Лицензируется только центральный узел, на котором
совершается трансформация данных

15
<Insert Picture Here>

Заказчики

16
Обзор основных заказчиков в Европе

Transportation Fin. Serv. Media Public Sector

Energy/Industrial Insurance / Health Retail Other

17
Finansbank
Задачи
 Реализовать автоматизированную систему насыщения хранилищ
данных, избежать ручного кодирования процессов.
 Обеспечить единообразие в проектировании и разработке,
минимизировать время на обучение
 Обеспечить лучший контроль за данными для быстрого решения
возникающих вопросов и проблем.

Решение Oracle Возврат инвестиций


 Oracle Data Integrator и GoldenGate  Скорость обновления данных поднялась
обеспечивает загрузку всей информации с 1 дня до 1 часа.
в хранилища данных и аналитические  Период обучения для новых сотрудников
системы. уменьшился с 6 недель до 3 дней.
 Интеграционное решение на базе Oracle  Сократилось время поиска источника
Database, Oracle Performance Analyzer, исходных данных в бизнес-отчетах с двух
Oracle Financial Data Manager для дней до секунд.
повышения качества и эффективности  Оценка влияния изменений на исходные
управления данные уменьшилась с недель до минут.

18
М.Видео
Задача
• Обмен данными на единой платформе, с единым интерфейсом
разработки и мониторинга;
• Высокая доступность и отказоустойчивость платформы интеграции;
• Широкий спектр используемых интерфейсов для обмена данными;
• Возможность заменить ПО - источник или потребителя данных, не
меняя при этом интерфейс обмена с другими системами;
• Уменьшение TCO интеграционной платформы путем унификации
используемого программного обеспечения и существенного Продукты Oracle
сокращения времени проведения необходимых модификаций. • Oracle Data
Решение Integrator
• Решение от Oracle включило ODI для организации процессов • Database EE
движения данных, хранение в Oracle Database и выполнение • Real Application
приложений на операционной системе Oracle Solaris. Clusters
Преимущества • Oracle Solaris
• Интеграционная платформа работает на кластере, обеспечивающем
восстановление обмена данными в течение 10 минут при сбое сети
или программных компонентов платформы;
• Обмен транзакционными данными между реляционными базами
данных идёт со скоростью ~ 17000 строк в секунду;
• Интегрированны следующие приложения: 1С, SAP, HP OpenView,
Lotus Notes, Siebel CRM, Sybase IQ, офисные форматы данных

19
For More Information

Quote Attribution
Title, Company

Get Started
• Oracle Fusion Middleware 11g: www.oracle.com/fusionmiddleware11g
• Oracle Data Integration 11g: www.oracle.com/goto/odi

• Oracle GoldenGate 11g: www.oracle.com/goldengate

• Data Integration Events http://www.oracle.com/events

20