1. Главная страница » Компьютеры » Oltp и olap технологии

Oltp и olap технологии

Автор: | 16.12.2019

OLTP и OLAP-технологии являются примером современной компьютерной технологии анализа данных и выпуска отчетов.

Двенадцать определяющих принципов OLAP были сформулированы в 1993 году Е.Ф.Коддом (Edgar Codd), автором реляционной модели, «изобретателем реляционных баз данных». Первоначально OLAP использовался как профессиональное словечко, обозначающее принципиальное отличие от OLTP (On-Line Transaction Processing, Оперативная обработка транзакций). Буква T была заменена на A, что подчеркивало аналитические возможности OLAP в отличие от транзакционных характеристик технологии реляционных баз данных. Сегодня термин OLAP использует родовое понятие для различных технологий, включая системы поддержки принятия решений, Business Intelligence и управленческие информационные системы.

Основная функция OLAP — управление измерениями, которые применяются для моделирования основных характеристик бизнеса.

OLAP — это технология, которой могут воспользоваться множество пользователей, работающих на различных платформах. Благодаря тому, что данные хранятся в одном месте — "OLAP-кубе", к данным и информации могут одновременно обращаться многие пользователи, не зависимо от их местонахождения.

Поскольку измерения и иерархии моделируют основные характеристики бизнеса, анализ данных становится творческим процессом. Действительно, отпадает необходимость разбираться с основными источниками данных, и, следовательно, информация становится понятной и доступной более широкому кругу пользователей. Менеджеры могут самостоятельно отвечать на интересующие их вопросы и не обращаться за информацией в финансовый отдел.

В OLAP благодаря тому, что и базовые бизнес-модели, и данные хранятся в одном месте, возможность анализа данных с применением нерегламентированных запросов, является неотъемлемой частью этой технологии. Действительно, данные в OLAP-кубе хранятся в оптимизированном для анализа виде, поэтому их можно анализировать мгновенно, или "на лету", "углубляться" в базовые данные и обобщать их, получая итоговые значения, представленные в отчете.

Наконец, с помощью OLAP можно легко создавать и рассматривать "альтернативные отношения". При использовании же электронных таблиц одновременный просмотр всех измерений невозможен. В этом случае, данные, скорее всего, поступали бы в виде иерархии связанных электронных таблиц, причем каждая таблица более высокого уровня консолидировала и суммировала бы информацию таблиц более низкого уровня. Поскольку такие электронные таблицы оказываются несвязанными и не обеспечивают прозрачность всей модели, чрезвычайно сложно модифицировать модель в приемлемые временные сроки. Возможность визуального моделирований иерархий и управления ими, а также отображения различных представлений отношений между элементами измерений является неоспоримым преимуществом OLAP.

OLAP (On-line Analytical Processing – оперативная аналитическая обработка или оперативный анализ данных) – это способ сделать данные простыми и понятными для конечного пользователя. Позже определение Кодда было переработано в так называемый текст FASMI (Fast Analysis of Shared Multidimensional Infomation — быстрый анализ разделяемой многомерной информации), который требует, чтобы OLAP-приложение предоставляло следующие возможности быстрого анализа разделяемой многомерной информации Рис.

Рис. Анализ этапов OLAP-приложения

Высокая скорость. Анализ должен производиться одинаково быстро по всем аспектам информации;

Анализ. Должна существовать возможность производить основные типы числового и статистического анализа определяемого произвольно пользователем или разработчиком приложения.

Разделение доступа. Многопользовательский доступ к данным, при этом должен контролироваться доступ к конфиденциальной информации.

Многомерность. Основная, наиболее существенная характеристика OLAP-приложения. Предоставляет предприятиям удобные и быстрые средства доступа, просмотра и анализа деловой информации.

Работа с информацией. Независимо от ее объема и места хранения, приложение должно иметь возможность обращаться к любой информации.

Владея инструментальными средствами OLAP-технологии, можно даже не имея специальной подготовки оперативно получать доступ ко всем данным, необходимым для принятия решений на любом уровне.

OLTP (Online Transaction Processing) —предназначены для ввода, структурированного хранения и обработки информации (операций, документов) в режиме реального времени.

Читайте также:  Fingerprint reader что это

OLTP-технология охватывает широкий спектр задач во многих отраслях – это банковские и биржевые операции, в промышленности — это регистрация прохождения детали на конвейере, автоматизация бухгалтерского, складского учёта и учёта документов и т. п. Приложения OLTP, как правило, автоматизируют структурированные, повторяющиеся задачи обработки данных, такие как, например, ввод заказов и банковские транзакции.

Сегодня большинство мировых компаний перешли к использованию OLAP как базовой технологии для предоставления информации лицам, принимающим решениям.

Однако, применение альтернативных технологий в финансовых отделах пока не везде получило широкое распространение.

Во-первых, в финансовых отделах отсутствует понимание существующих альтернативных подходов к решению проблем. В IT-подразделениях также не достает осознания сложностей, с которыми сталкиваются финансовые специалисты. Другими словами, один отдел не понимает проблему, другой — ее решение.

Во-вторых, присутствуют сложности с обоснованием необходимости расходов. Покупка и внедрение новых технологий требуют финансирования, однако отдача от них ощущается не сразу и не поддается простому количественному определению. В большинстве случаев для обоснования предстоящих затрат, требуется представить доказательства, что проект окупится в течение первого года. Поэтому несмотря на очевидные достоинства OLAP — точность данных, легкость анализа и использования, а также возможность своевременного получения информации — представление подобного обоснования является крайне непростой задачей.

Большинством информационных технологий, необходимых для управления проектами, располагает программа MS OFFICE PROJECT.

Не нашли то, что искали? Воспользуйтесь поиском:

OLTP (OnLine Transaction Processing) — обработка транзакций онлайн.

Задача, которая решается с помощью OLTP-метода называется здесь и дальше "учет". Т.е. это в первую очередь учетные задачи. Характерным элементом управления решенной OLTP-задачи является так называемый "grid" — таблица, состоящая из колонок и строк.

Когда ставится и решается задача постановки учета чего бы то ни было, например, продаж мороженого, пользователь должен увидеть в результате "grid" (таблицу, табличное представление), где каждая строка соответствует одному объекту учета, в данном случае — продаже мороженого, а каждый столбец соответствует атрибуту этого самого элемента учета. В нашем случае, с продажами мороженого это точка, которая продала, сорт, количество, цена, сумма продажи и т.д.

Сорт мороженного Точка продаж Кол-во Цена Сумма
Пломбир ул. Ленина 50 20 1000

ул. Ленина 20 18 360 Эскимо ул. Ленина 100 23 2300 Лакомка ул. Ленина 30 25 750 В стаканчике ул. Ленина 150 12 1800

Эта таблица должна храниться в базе данных и пользователю не важно при помощи какой технологии построена база данных (на реляционных принципах, на объектных принципах или других). Важно то, что клиентское приложение, с которым пользователь непосредственно взаимодействует, может получить данные и показать их в виде таблицы.

Как правило, у пользователя есть несколько стандартных действий для управления данными в таблице — сортировка, группировка, отбор по колонкам, по дополнительным критериям. Все эти действия предназначены быстрого поиска ошибок в данных. Таким образом поиск ошибок учета осуществляется именно в таблицах. Для исправления ошибок используются следующие методы:

1. В таблице, соответствующая ячейка переводится в режим редактирования, данные изменяются непосредственно в ней, нажатием клавиши Enter подтверждается изменение, и, если новое значение удовлетворяет внутренним ограничениям Системы, то оно будет записано в базу данных.

2. Исправление может рассматриваться как операция, в этом случае: выделяется один или несколько объектов таблицы, т.е. одна или несколько строчек, вызывается действие (либо кнопкой в панели инструментов, либо через контекстное меню, либо каким-то более экзотическим способом). Будет показана модальная форма ввода значений и параметров. При этом пользователь не сможет продолжить работы с системой пока эта форма не будет закрыта после внесения изменений или без них. Только после закрытия модальной формы действие начинает выполняться.

Читайте также:  F12 boot menu в биосе что это

3. Для Платформы "Мельница Данных" также разработан элемент управления, который называется "инспектор объектов". Он используется для установки одинаковых значений для выбранных в таблице однородных объектов. Также инспектор объектов используется, для удобного просмотра всех аттрибутов объекта, так как зачастую таблица содержит такое большое количество колонок, что работа с ними в таблице.

После поиска ошибок какие-то из объектов таблицы участвуют в дальнейших бизнес-процессах, которые должны быть реализованы, какие-то не участвуют и просто хранятся.

Для конечного пользователя простой ввод бизнес-данных в систему учета не имеет никакого практического смысла без возможности дальнейшей обработки и формирования отчетности.

Первичные данные, полученные в результате решения OLTP-задачи, должны использоваться для решения бизнес-задач.

OLАP (Online Analisys Processing) — аналитическая обработка в реальном времени.

В результате решения задачи OLAP система может получить следующее:

1. Результаты обработки, готовые к публикации.

2. Информация для дальнейшего принятия управленческих решений.

Данные, полученные в результате решения OLTP-задачи, поступают на вход и рассматриваются в качестве входных данных для задачи OLАP. Такие данные принято называть "Фактами". Факты должны быть предварительно выверены, подготовлены. В зависимости от разработанных стандартов для Системы не все данные могут быть переданы в OLAP-задачу в качестве фактов. Для данных могут использоваться дополнительные признаки, такие как: "Выверено", "Обработано", "Проверено", "Утверждено". Соответственно на вход OLAP-задачи можно направить данные, для которых один, несколько или все признаки (определяется логикой при разработке) имеют значение "Истина". Факты, которые попали на вход OLAP-задачи, составляют таблицу фактов. В таблице фактов выделяются факты, которые являются "мерой" (measure) или "показателем" (index).

Для примера, самый простой показатель — это количество самих фактов, а также средняя сумма, дисперсия, любой агрегат над этим значением.

Далее выверяют измерение анализа — это, как правило, ссылки на справочные таблицы, и по этим справочным таблицам строится список соответствующий измерению (dimension). На основании таблицы фактов и информации о том, что у нас является показателем, что у нас является измерениями, строится так называемый "куб". Структура данных "куба" сложная. Для наглядности, ниже приведен "куб" для нашего простого примера продаж мороженного:

В качестве меры выбрано количество сумма продаж по деньгам, а в качестве измерения — сорт мороженого, дата и точка, которая эту продажу осуществила. По первой оси — дата. По этой оси выстраиваются все дни соответствующего периода, 01.01.2012, 02.01.2012 и так далее. За год — 365 точек. По другой оси выстраиваются все имеющиеся в продаже сорта. По третьей оси мы ставим точки, соответствующие точкам продаж. В получившемся кубе, в каждой ячейке пишем общую сумму продаж этого сорта мороженного в этой точке и за этот день. В каждой из ячеек может быть несколько различных значений измерений. В этом случае ячейка делится на несколько частей. Например, для примера с мороженным, ячейка также может содержать, кроме суммы продаж, количество проданных единиц данного сорта мороженного. В более сложных случаях, количество показателей может быть большим чем три, как в примере.

Для хранения описанной информации используется специализированное многомерное хранилище. Платформа "Мельница Данных" аккумулирует такие многомерные хранилища с помощью реляционных структур.

Второе требование для OLAP задачи — визуализация данных. Табличный вид описанного выше "куба" это сводная таблица, позволяющая группировать измерения, а также показывать факты, то есть значения показателей в ячейках. Для таблицы доступны различные варианты просмотра данных в различных разрезах.

Читайте также:  Geratherm бесконтактный электронный термометр отзывы

Следующее требование — публикация данных. Здесь нужно отметить, что публикация одного единственного среза данных не несет большого смысла. С точки зрения конечного пользователя, оптимальным вариантом публикации будет являться такой вид на данные, при котором пользователь может "вживую" менять измерения, перетаскивать их и т.д. Такая публикация может быть полезна при принятии управленческих решений руководством предприятия, а также будет удобна для анализа конечными пользователями. Кроме того, для публикации активно используются всевозможные графики, диаграммы, построенные по актуальным данным.

Достаточно востребованным для конечных пользователей является также свойство Системы, называемое Drill Down (проваливание). Данное свойство подразумевает, что пользователь выбрав каким-либо образом значение показателя, имеет возможность посмотреть, каким образом этот показатель был посчитан, на основании чего, и собственно, на основании каких конкретно данных был сформирован этот показатель. Для этого OLАP-системе необходим доступ к первичным данным. Такое требование не является существенной проблемой, так как у хранилище одно и то же и для OLTP-задачи и для OLАP-задачи.

OLTP (англ. Online Transaction Processing ), транзакционная система — обработка транзакций в реальном времени. Способ организации БД, при котором система работает с небольшими по размерам транзакциями, но идущими большим потоком, и при этом клиенту требуется от системы минимальное время отклика.

Термин OLTP применяют также к системам (приложениям). OLTP-системы предназначены для ввода, структурированного хранения и обработки информации (операций, документов) в режиме реального времени.

Содержание

Использование [ править | править код ]

OLTP-приложениями охватывается широкий спектр задач во многих отраслях — автоматизированные банковские системы, ERP-системы (системы планирования ресурсов предприятия), банковские и биржевые операции, в промышленности — регистрация прохождения детали на конвейере, фиксация в статистике посещений очередного посетителя веб-сайта, автоматизация бухгалтерского, складского учёта и учёта документов и т. п. Приложения OLTP, как правило, автоматизируют структурированные, повторяющиеся задачи обработки данных, такие как ввод заказов и банковские транзакции. OLTP-системы проектируются, настраиваются и оптимизируются для выполнения максимального количества транзакций за короткие промежутки времени. Как правило, большой гибкости здесь не требуется, и чаще всего используется фиксированный набор надёжных и безопасных методов ввода, модификации, удаления данных и выпуска оперативной отчётности. Показателем эффективности является количество транзакций, выполняемых за секунду. Обычно аналитические возможности OLTP-систем сильно ограничены (либо вообще отсутствуют).

Требования [ править | править код ]

  • Сильно нормализованныемодели данных;
  • При возникновении ошибки транзакция должна целиком откатиться и вернуть систему к состоянию, которое было до начала транзакции;
  • Обработка данных в реальном времени.

Преимущества [ править | править код ]

Высокая надёжность и достоверность данных, как следствие транзакционного подхода. Транзакция либо совершается полностью и успешно, либо не совершается и система возвращается к предыдущему состоянию. При любом исходе выполнения транзакции целостность данных не нарушается.

Недостатки [ править | править код ]

OLTP-системы оптимизированы для небольших дискретных транзакций. А вот запросы на некую комплексную информацию (к примеру поквартальная динамика объёмов продаж по определённой модели товара в определённом филиале), характерные для аналитических приложений (OLAP), породят сложные соединения таблиц и просмотр таблиц целиком. На один такой запрос уйдет масса времени и компьютерных ресурсов, что затормозит обработку текущих транзакций.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *