Środowisko ETL (wyodrębniania, transformacji i ładowania) programu IBM Rational Insight

ETL (wyodrębnianie, transformacja i ładowanie) jest procesem opracowywania danych, który obejmuje wyodrębnianie danych z zewnętrznych źródeł, transformowanie ich, aby pasowały do potrzeb biznesowych, i ładowanie ich do hurtowni danych.

Funkcji ETL programu IBM Rational Insight (Rational Insight) można używać do wyodrębniania danych z różnych źródeł, transformowania ich za pomocą zakodowanych reguł biznesowych i ładowania przetransformowanych danych do tematycznej hurtowni danych. W tym procesie dane operacyjne są odtwarzane ze źródła produktu, normalizowane i odwzorowywane na tabele faktów i wymiarów. Komponentem, który wykonuje główny proces ETL, jest IBM Cognos Data Manager (Menedżer danych).

Wyodrębnianie

Środowisko ETL akceptuje dane wyodrębnione podczas bezpośredniego dostępu do bazy danych oraz sterowników ODBC, w tym sterownika ODBC XML programu Rational Insight. Organizacja przechowuje dane w tradycyjnych relacyjnych bazach danych lub innych formatach źródłowych (na przykład XML). Ponieważ program Menedżer danych obsługuje dane w postaci tabelarycznej, przychodzący format XML musi być przekształcony w postać relacyjną przed wykonaniem głównego procesu wyodrębniania ETL. Wykonuje to program IBM Rational Insight XML Data Configuration (XML Data Configuration), który odwzorowuje dane ze źródeł XML i (za pomocą sterownika ODBC XML), przekazuje je do programu Menedżer danych.

Transformacja

Następnym krokiem jest transformowanie danych za pomocą reguł biznesowych. Jest to proces dwuetapowy.
  1. Normalizacja danych i modyfikacja za pomocą reguł biznesowych. Te reguły biznesowe podczas wykonywania realizują logikę biznesową, na przykład obliczanie lub otrzymywanie kolumny w oparciu o inne kolumny.
  2. Przechowywanie danych w tabelach fizycznych. Te tabele fizyczne implementują konwencję schematu gwiaździstego oraz dodają wymiary i fakty - elementy charakterystyki hurtowni danych.

Ładowanie

Ostatnim etapem jest załadowanie przetransformowanych danych do tematycznej hurtowni danych, oddzielnego obszaru hurtowni.

Implementacja

W programie Menedżer danych każdy element procesu ETL jest kompilacją faktu lub wymiaru. Kompilacje mogą być zorganizowane w strumienie zadań dla różnych zestawów danych lub tabel. Strumienie zadań mogą być wykonywane bezpośrednio w programie Data Manager lub publikowane jako zadanie przeniesienia danych; następnie planowane jest ich wykonanie w programie IBM Rational Insight Report Server. Podstawowe kompilacje ETL są: znormalizowane, pozbawione jednostek, wyszukiwania, wymiarów i faktów. Produkt Insight implementuje i obsługuje przykładowe transakcje ETL dla produktów, takich jak Rational ClearQuest, Rational ClearCase, Rational RequisitePro, Microsoft Project, Rational Team Concert, Rational Quality Manager i Rational TestManager.


Opinia