Golden gate oracle как работает

Обратная связь

Веб-форма не найдена.

Oracle GoldenGate 11g — это высокопроизводительное программное обеспечение для захвата изменений данных (CDC), их преобразования и доставки, обеспечивающее двустороннюю репликацию на основе журналов СУБД. GoldenGate помогает гарантировать доступность критических систем в режиме 24/7, а также извлекать данные, необходимые для принятия решений, из различных источников.

Oracle GoldenGate обеспечивает сбор, трансформацию, маршрутизацию и доставку транзакций баз данных в гетерогенной среде в реальном времени. Он перемещает данные с очень большой скорость, низкой нагрузкой и задержкой менее секунды, но при этом сохранят транзакционную целостность. Компонентная архитектура Oracle GoldenGate помогает компаниям решать задачи, связанные с обеспечением непрерывной доступности и интеграции данных в реальном времени, которые возникают при построении корпоративных систем.

Обеспечение высокой доступности для критических систем

Oracle GoldenGate может быть сконфигурировано, чтобы использоваться в следующих сценариях:

• Восстановление после аварии и защита данных. Создать и поддерживать резервную систему с задержкой менее минуты, чтобы минимизировать время восстановления для бизнес-критичных систем. GoldenGate может работать как в среде баз данных Oracle, так и в случае СУБД сторонних производителей.
• Работа без простоя. Не останавливать бизнес во время обновления систем, миграции и плановых работ.
• Распространение данных. Синхронизировать данные для распределенных приложений в реальном времени для повышения доступности и масштабируемости.
• Вынос нагрузки. Гарантировать высокую производительность промышленных систем за счет выноса нагрузки «на чтение» на отдельную систему (возможно на другой платформе или СУБД).

Интеграция данных всего предприятия в реальном времени

Oracle GoldenGate в режиме реального времени собирает измененные данные и доставляет их в Хранилище Данных, отчетные системы и другие транзакционные системы с минимальным воздействием на производительность систем-источников. Доступ к информации в реальном времени дает лучшее понимание происходящих в компании бизнес-процессов.

• Хранилища данных реального времени. GoldenGate обеспечивает постоянный захват измененных данных и их перемещение из OLTP-источников в единое хранилище данных. При необходимости Oracle GoldenGate интегрируется с ETL-инструментами (например, Oracle Data Integrator).
• Оперативная отчетность. GoldenGate позволяет разгрузить промышленную базу данных от решения задач отчетности за счет переноса необходимых данных на более дешевые сервера в реальном времени.
• Интеграция оперативных данных. GoldenGate позволяет интегрировать оперативные данные между транзакционными системами в реальном времени. Наличие в организации SOA-инфраструктуры (построенной, например, на базе Oracle SOA Suite) позволяет обмениваться измененными данными по сервисной шине с использованием адаптеров GoldenGate.

Ключевые особенности и выгоды Oracle GoldenGate

Использование Oracle GoldenGate обеспечивает следующие возможности и преимущества:

• Данные в реальном времени. Моментальный захват, преобразование и доставка транзакционных данных в другие системы с задержкой по времени менее секунды. Это дает значительное преимущество в задачах принятия решений в масштабах всей организации.
• Поддержка различных систем. За счет подключения к информационному обмену различных баз данных и платформ сохраняются инвестиции в ИТ системы и снижается общая стоимость владения.
• Надежность. GoldenGate обеспечивает перемещение данных без необходимости остановки систем-источников и работает в условиях отсутствия специальных регламентных временных окон. GoldenGate также гарантирует передачу всех подтвержденных (committed) транзакций в целевую систему даже в случае сбоев в сети.
• Высокая производительность с минимальной нагрузкой. GoldenGate обеспечивает передачу тысяч транзакций в секунду с минимальной нагрузкой на существующие системы. Это дает возможность получать критически важную информацию в режиме реального времени, не создавая дополнительную нагрузку на промышленные сервера.
• Транзакционная целостность. GoldenGate гарантирует соблюдение требований ACID (Атомарность, Согласованность, Изоляция, Долговечность) в процессе передачи транзакционных данных между исходной и целевой системами. Это обеспечивает целостность в рамках всей топологии репликации (промышленные, резервные, отчетные базы данных).
• Интеграция. GoldenGate может быть использована в ETL-продуктах, например, Oracle Data Integrator. Использование программных адаптеров GoldenGate также позволяет передавать данные посредством сервисной шины.
• Гибкая поддержка различных топологий. GoldenGate может использоваться в различных конфигурациях: один источник и один приемник, одна приемник и несколько источников, несколько приемник и один источник, двунаправленные механизмы, каскадирование и т.д.
• Обнаружение и разрешение конфликтов. GoldenGate позволяет обнаруживать и разрешать конфликты при использовании топологии с несколькими активными базами данных.
• Маршрутизация, сжатие и шифрование данных. GoldenGate использует TCP/IP для пересылки данных и не имеет специфичных требований к расстоянию между источником и приемником. Кроме того, к данным может применяться сжатие и шифрование.
• Отложенная доставка. GoldenGate позволяет применять изменения с задержкой, заданной пользователем, без потери транзакционной целостности данных.

Oracle GoldenGate помогает организациям сохранять существующие инвестиции в ИТ и улучшать операционную деятельность бизнес-подразделений за счет обеспечения постоянного доступа к критически важной информации в режиме реального времени.

Благодаря поддержке разнообразных интеграционных сценариев, Oracle GoldenGate обеспечивает надежную основу для решения актуальных задач информационного обмена в современных организациях.

Разработчики:	Oracle
Дата последнего релиза:	февраль 2015 года
Технологии:	BI, СУБД

Содержание Oracle GoldenGate 11g обеспечивает интеграцию данных в реальном времени и постоянную доступность данных для критически важных систем с помощью уникальных возможностей сбора, распределения и доставки данных с минимальным воздействием и минимальным временем задержки. Часть семейства связующего программного обеспечения Oracle Fusion Middleware Продукт Oracle GoldenGate 11g сертифицирован для решений задач операционной отчетности на базе приложений Oracle, таких как Oracle E-Business Suite, Oracle PeopleSoft и Oracle JD Edwards. Oracle GoldenGate 11g обеспечивает переход на приложения Oracle следующего поколения за счет поддержки новых, дополнительных типов данных. Oracle GoldenGate 11g сертифицирован для Oracle Exadata Database Machine. Oracle GoldenGate 11g теперь также поддерживает доставку данных в СУБД Oracle TimesTen. Oracle GoldenGate 11g поддерживает захват данных из журналов СУБД IBM DB2, а также захват данных из JMS-систем обмена сообщениями и доставку данных в базы данных IBM DB2 for iSeries. Oracle GoldenGate 11g для СУБД Oracle Database обеспечивает значительное сокращение времени восстановления для длительных транзакций, которые прерываются во время работы. Этот продукт также улучшает трассировку транзакций в целях упрощения выявления «узких мест» и оптимизации производительности среды интеграции данных. Oracle GoldenGate 11g Release 2 Корпорация Oracle сообщила летом 2012 года о выпуске Oracle GoldenGate 11g Release 2 — новой версии своего решения для интеграции данных в режиме реального времени. Oracle GoldenGate 11g R2 является компонентом семейства связующего программного обеспечения Oracle Fusion Middleware, который позволяет улучшить получение ценной для бизнеса информации за счет интеграции данных в режиме реального времени для критически важных бизнес-приложений. Oracle GoldenGate 11g R2 обеспечивает повышение производительности OLTP-приложений за счет освобождения их отчетной нагрузки (Query Offload), миграцию приложений без остановки между различными версиями СУБД и платформами, а также позволяет создавать отказоустойчивые системы, в том числе работающих в режиме active-active, говорится в сообщении корпорации. По словам разработчиков, новая версия Oracle GoldenGate 11g R2 является более эффективной с точки зрения поддержки высоконагруженных систем, глобальных развертываний и гетерогенных платформ, кроме того, она предлагает расширенные возможности информационной безопасности. Для обеспечения более быстрого и надежного доступа к информации в масштабах предприятия в новой версии улучшена интеграция с существующими бизнес-приложениями Oracle Applications и технологиями Oracle, включая Oracle Database 11g, оптимизированный программно-аппаратный комплекс Oracle Exadata и Oracle Enterprise Manager. Среди новых функций Oracle GoldenGate 11g R2 в корпорации выделяют: интегрированный сбор данных — позволяет эффективно собирать измененные данные в системах, хранящих большие объемы информации, и в системах с высокой пропускной способностью благодаря тесной интеграции функций сбора данных с ядром СУБД Oracle Database 11g; поддержку сжатых данных Oracle Advanced Compression — позволяет собирать и манипулировать сжатыми объектами в средах Oracle Database 11g и Oracle Exadata; более простой и мощный функционал выявления и разрешения конфликтов при репликации — позволяет сократить время, требуемое для обнаружения и разрешения конфликтов за счет автоматизации процесса в масштабе нескольких развернутых систем; улучшенную безопасность — при передаче и хранении данных используются современные алгоритмы преобразования информации; полную поддержку Unicode — облегчает глобальное развертывание Oracle GoldenGate 11g R2 и позволяет собирать данные из баз данных в многобайтовой кодировке (multibyte character set)/Unicode-кодировке; расширенную поддержку платформ и СУБД — обеспечивает поддержку извлечения и передачи данныхиз журналов СУБД IBM DB2 на системах iSeries, а также расширенную поддержку для MySQL, Microsoft SQL Server, Sybase, Teradata и IBM DB2 z/OS. Плагин Oracle GoldenGate Plug-In for Oracle Enterprise Manager позволяет осуществлять мониторинг и дает консолидированное представление о развернутых компонентах Oracle GoldenGate 11g R2, возможность просматривать детальную информацию о них, отображая в цифровом и графическом виде важные параметры. Также поддерживает автоматически сгенерированные уведомления и заявки на обслуживание — и все это из среды Oracle Enterprise Manager. GoldenGate 12c 22 октября 2013 года корпорация Oracle сообщила о выходе новой версии GoldenGate 12c. В GoldenGate 12c вдвое ускорена доставка данных в базу-приемник при тиражировании. Расширена поддержка источников данных — GoldenGate работает с самыми новыми версиями Sybase и MySQL. GoldenGate 12c (12.1.2.1) 25 ноября 2014 года Oracle сообщила о выпуске обновления версии GoldenGate 12c (12.1.2.1). Беспрецедентные темпы роста объемов данных существенно усложняют использование информации в процессах принятия стратегических бизнес-решений и достижении конкурентных преимуществ. Для извлечения максимальной выгоды из данных и преимуществ новейших технологий компаниям необходимо иметь возможность перемещения данных между разнородными ИТ-средами и межсетевыми экранами с минимальной задержкой. Oracle GoldenGate 12c помогает интеграции информации в реальном времени, реплицирует данные транзакций между ИТ-средой, развернутой на предприятии и облачной средой. Среди новых возможностей усовершенствованной версии Oracle GoldenGate 12c: Инструменты для миграции с Oracle Streams — Новая функциональность Streams2OGG помогает клиентам Oracle Streams мигрировать на решение Oracle GoldenGate и использовать его новейшие возможности: Integrated Extract, Integrated Delivery и мощную систему разрешения конфликтов. Поддержка для IBM Informix — Oracle GoldenGate 12c поддерживает сбор и доставку данных в реальном времени для новейших версий СУБД Informix на всех основных платформах. Поддержка распространена на Oracle GoldenGate Veridata — теперь клиенты IBM Informix могут безостановочно мигрировать, провести интеграцию и репликацию больших объемов данных реального времени для гетерогенных бизнес-сред. Расширенная поддержка для Microsoft SQL Server и MySQL — В новой версии добавлена поддержка сбора и доставки данных в реальном времени (из журналов СУБД) для Microsoft SQL Server 2012 и 2014, для баз данных MySQL Community Edition. Совместимость с сетевым протоколом SOCKS5 — Oracle GoldenGate 12c использует клиентские настройки совместимости с протоколом SOCKS для передачи данных, позволяя клиентам осуществлять репликацию между средами, развернутыми непосредственно на предприятии, и облачными средами без открытия дополнительного внешнего VPN-соединения. Поддержка Big Data — Oracle GoldenGate Adapter for Java обеспечивает интеграцию с Oracle NoSQL, Apache Hadoop, Apache HDFS, Apache HBase, Apache Storm, Apache Flume, Apache Kafka и другими системами, позволяет реализовать потоковую передачу данных в целевые приложения обработки Big Data для получения ценной бизнес-информации и улучшения качества обслуживания клиентов. Восстановление несогласованных данных — В дополнение к возможностям сравнения гетерогенных баз данных и генерации отчетов по расхождениям данных без прерывания бизнес-операций, Oracle GoldenGate Veridata 12c предоставляет возможности восстановления несогласованных данных. Захват изменений из Oracle Active Data Guard — Клиенты Oracle Active Data Guard, которые хотят устранить влияние репликации на рабочую среду, могут использовать Oracle GoldenGate 12c на дублирующих (резервных) системах для захвата изменений в реальном времени. Упрощенное обновление приложений — Новая версия упрощает процесс обновления приложений для клиентов, использующих функцию Oracle Database Edition-Based Redefinition, путем согласования обновлений и приведения целевой базы данных к соответствующей версии. Улучшенное управление и мониторинг — Клиенты, использующие новую версию, также получают возможность запускать и останавливать процессы, редактировать файлы параметров, собирать информацию об операциях и диагностировать проблемы с помощью подключаемого модуля Oracle Enterprise Manager Plug-In 12.1.3, который входит в состав пакета Oracle Management Pack для Oracle GoldenGate 12c. Oracle GoldenGate — часть портфолио решений Oracle Data Integration, содержашего функции крупномасштабного и выполняемого в реальном времени перемещения данных, из преобразования, управления и контроля, виртуализации и обеспечения качества данных. Продукт помогает компаниям следовать новейшим технологическим тенденциям — облачные вычисления, аналитика Больших данных, бизнес-анализ в реальном времени и постоянная доступность данных. В данной статье мне хотелось бы продолжить описание технологий, используемых в Банке ТКС при построении DWH. Статья может быть интересна тем, кто планирует использовать LogMining Change Data Capture (CDC) для репликации данных из операционных источников в онлайн-стэйджинг Хранилища, построенного на основе СУБД GreenPlum. Вместо вступления. Во всех современных ИТ и финансовых организациях существует множество различных операционных учетных систем, которые предназначены для хранения и обработки операционных данных. Так как нагрузка на эти источники с целью построения отчетности не допустима (она может повлиять на производительность business-critical процессов), организации строят DWH, при этом загрузка данных в Хранилище в большинстве случаев производится по ночам в период наименьшей нагрузки на операционные системы. Технология CDC LogMining позволяет решить сразу несколько задач: — снижение нагрузки на операционные источники в момент загрузки данных в DWH. Продукты, реализующие данную технологию, в большинстве случаев читают транзакционные лог-файлы систем-источников, разбирают их и применяют в систему-приемник. Именно за счет того, что происходит разбор транзакционных логов средствами стороннего ПО и уменьшается нагрузки на системы-источники; — онлайн (или близкая к онлайн) реплика данных системы-источника в системе-приемнике, что позволяет строить близкую к онлайн отчетность; — возможность ETL-разработчикам обращаться к репликам таблиц источников в любое время (не только в те промежутки, которые выделены для чтения систем-источников); — большинство продуктов параллельно с репликами позволяют создавать т.н. change-таблицы, в которых отображается вся история изменения в исходных таблицах-источниках. Сводные показатели по системам-источникам Банка, необходимым для репликации DWH в Банке построено на базе СУБД GreenPlum, все необходимые для репликации источники данных — под управлением СУБД Oracle. Сводные показатели реплицируемых источников приведены в таблице:

40

50 млн.

Параметр	Значение
Количество систем-источников для репликации	5
Количество реплицируемых таблиц	200
Объемы транзакционных логов (Гбайт/час)
минимальный	10
максимальный	160
средний
Суммарное количество операций в сутки

Поиск готовых решений.

В качестве CDC-решения нами рассматривались следующие продукты:

• Oracle Golden Gate. Продукт, в настоящее время разрабатываемый и поддерживаемый Oracle. Замечательный, как нам показалось, продукт по части стабильности и производительности чтения изменений из систем-источников. Однако к недостаткам Golden Gate можно отнести то, что он не поддерживает GreenPlum из коробки, нет встроенных средств первоначальной загрузки данных
• Informatica Data Replicator. Продукт, поддерживающий Oracle как источник и Greenplum как приемник, имеет инструменты первоначальной загрузки данных. Продукт гарантирует целостность данных между источником и приемником, однако, для этого требует наличие транзакционных логов на все открытые в момент старта репликации транзакции, что не всегда является допустимо в виду ограничения объема дисковых систем хранения транзакционных логов
• Attunity Replicate. Новый продукт, поддерживающий Oracle как источник и Greenplum как приемник, так же как и Informatica Data Replicator имеет инструменты первоначальной загрузки данных. Решение имеет простую систему управления, нацелено на работу «out-of-the-box»

Механизмы применения изменений в приемник у различных CDC решений свои и во многом зависят от уровня supplemental logging на источнике (о supplemental logging рекомендую прочесть замечательную статью Александра Рындина ). Oracle Golden Gate — система, которая замечательно может быть применена при полном supplemental logging (последовательно применяя на приемник в виде батча все INSERT, последний UPDATE по ключу и все DELETE). Особенностью одного из наших источников является то, что количество колонок в его таблицах — велико, количество обновлений строк в источнике — также велико, но при этом количество обновляемых полей в рамках одного update на источнике — мало. Включение полного supplemental logging на всех полях в источнике приводило к невероятному росту объемов транзакционных логов, и было принято решение о включении supplemental logging только на первичные ключи. В связи с этим пришлось писать сложные скрипты агрегации и применения изменений.

Старт проекта в production

Итак, нами был выбран продукт Attunity Replicate. Он оказался единственным продуктом, удовлетворяющим всем требованиям нашего пилотного проекта. На момент начала внедрения актуальной была версия 2.0.
В этой версии был реализован единственный метод применения изменений — row-by-row, в котором каждое изменение на источнике применялось в приемник в виде самостоятельного SQL-запроса:

Недостатки этого подхода в Greenplum выявились сразу после включения в репликацию данных, объемы которых (как по количеству строк, так и по количеству операций) превышали те, которые мы использовали в пилотном проекте. Очевидно, что Greenplum не может переварить суммарное количество транзакций из баз-источников. С одной стороны, это аналитическая СУБД, не предназначенная для высокой транзакционной нагрузки, а с другой, суммарное количество транзакций всех баз-источников настолько велико, что будет проблемой для любой СУБД. Для такого рода CDC системы, на наш взгляд, оптимальным является режим мини-батчей, при котором на базе-приемнике изменения применяются в виде предварительно агрегированных детальных транзакций. Изменения копятся в CDC-системе, а затем раз, например, в минуту, применяются на приемнике. Такой режим мы применяли, ранее исследуя применимость GoldenGate. Были разработаны скрипты агрегации и применения изменений. Эти скрипты были переданы в Attunity для изучения. Детально изучив скрипты, Attunity выпускает новую версию replicate 2.1, в которой появляется режим мини-батчей. Теперь обновления могут применяться следующим образом:

Здесь net — это таблица, в которую изменения «предрасчитываются» самим Attunity Replicate. В результате внедрения этой доработки количество запросов к базе-приемнику резко сократилось и мы теперь способны обрабатывать полный объем изменений, которые производят наши источники. Данную технологию Attunity назвали turbo stream CDC и она полностью себя оправдывает: при средней нагрузке на источнике данные реплицируются в GreenPlum с задержкой в среднем 60-80 секунд. Есть, конечно, проблемы. При пиковой нагрузке на источнике (например, при закрытии операционного дня) задержка возрастает, иногда значительно, вплоть до 1,5 часов. Причина кроется в том, что Attunity Replicate работает через LogMiner, который не всегда успевает обработать логи базы при пиковых нагрузках.
В процессе применения изменений возможны так называемые apply conflicts — конфликты применения изменений в приемник. К наиболее часто встречающимся можно отнести: 0 rows affected (на приемнике не обновилось ни одной записи) и duplicate keys (вставка в приемник записи, которая уже существует). При нормальной работе системы данные конфликты возможны при первоначальной загрузке, так как с целью обеспечения согласованности данных в приемнике, Replicate начинает захватывать изменения в данных немного раньше, чем полную выгрузку. Attuity Replicate обнаруживает такие конфликты и переходит в режим row-by-row, сохраняя их в специальную системную таблицу для дальнейшего разбора.

Работа на LogMiner.

CDC – решения могут использовать два различных механизма для чтения транзакционных логов источника: свой собственный механизм (binary reader) и механизм самой СУБД – источника. В случае Oracle – это Oracle LogMiner, который может возвращать данные в двух режимах:

• commited data (возвращает DML только для commited-транзакций)
• raw data (возвращает данные обо всех транзакциях)

В режиме commited data производительность Oracle LogMiner ужасна и требует дополнительных ресурсов на источнике. В случае raw data производительность гораздо лучше, ресурсов требуется меньше, но в этом случае приложение должно взять на себя функции по дополнительному разбору возвращаемых LogMiner-ом результатов и формирования на этой основе SQL-statements, которые будут применены в приемник.
На данном этапе Attunity Replicate работает с использованием raw-режима Oracle LogMiner, но в их планах — стабилизировать собственный Binary Reader, который можно будет настроить на чтение транзакционных логов напрямую со стойки, где они хранятся, и даже незначительная нагрузка на систему-источник в момент захвата изменений исчезнет полностью.