Aby wyodrębnić dane ze źródła danych, należy znać strukturę danych, utworzyć w produkcie IBM Cognos Data Manager katalog procesu wyodrębniania, transformacji i ładowania (ETL), który odtwarza tę strukturę, a następnie skonfigurować procesy wymagane do przekształcenia danych w schemat gwiaździsty albo w format metadanych wymagany przez tematyczną hurtownię danych lub produkt IBM Cognos Framework Manager.
W celu uproszczenia tego procesu produkt IBM Rational Insight udostępnia przykładowy katalog służący do wyodrębniania danych z usług danych, ładowania danych do operacyjnej składnicy danych w programie IBM Rational Insight Data Warehouse i budowania dostosowanych tematycznych hurtowni danych. Ten temat stanowi przegląd przykładowego katalogu.
Katalog produktu IBM Cognos Data Manager jest centralnym repozytorium, które opisuje, w jaki sposób informacje będą wyodrębniane, transformowane i ładowane z zewnętrznych źródeł danych. Zasadniczo katalog produktu Data Manager opisuje:
- Normalizację i odwzorowanie danych zewnętrznych na schemat relacyjny.
- Transformację danych z operacyjnej składnicy danych i ich odwzorowanie oraz wstawianie do tabel faktów i wymiarów w tematycznej hurtowni danych.
- Strumienie zadań wymagane do zorganizowania sekwencji kompilacji.
- Metadane opisujące docelową tematyczną hurtownię danych lub docelową hurtownię danych.
- Wspólne komponenty wielokrotnego użycia (wymiary, połączenia i funkcje zdefiniowane przez użytkownika).
Przykładowy katalog produktu
Rational Insight ułatwia wyodrębnianie, transformowanie i ładowanie danych z następujących produktów:
- IBM Rational ClearQuest
- IBM Rational ClearCase
- IBM Rational RequisitePro
- IBM Rational Quality Manager
- IBM Rational Team Concert
- IBM Rational Test Manager
- Microsoft Project
Te przykładowe katalogi zawierają predefiniowane strumienie zadań i kompilacje, które odwzorowują dane wyodrębnione z tych źródeł na odpowiednie tabele i transformują te tabele w fakty i wymiary. Każdy przykładowy katalog zawiera predefiniowane biblioteki, kompilacje i metadane.
Przykład
Przykładowa kompilacja ETL w połączeniu z produktem RequisitePro została użyta do wyodrębnienia danych zarządzania wymaganiami. Kompilacja ładuje dane ze źródła w następujący sposób:
- Wszystkie typy wymagań są ładowane do tabeli REQUIREMENT w operacyjnej składnicy danych.
- Informacje o typach wymagań są ładowane do tabeli REQUIREMENT_CLASSIFICATION.
- Dane podwersji wymagania są ładowane do tabeli REQUIREMENT_REVISION_HISTORY.
- Relacje typu nadrzędne-podrzędne wymagania są ładowane do tabeli REQUIREMENT_REQUIREMENT_LOOKUP.
- Dane śledzenia wymagania są ładowane do tabeli REQUIREMENT_HIERARCHY.
- Dane projektów są ładowane do tabeli PROJECT.
- Dane użytkowników są ładowane do tabeli RESOURCE.
Przykładowy model ETL dla produktu IBM Rational RequisitePro zawiera również predefiniowane strumienie zadań ETL, które organizują zadania w predefiniowane kategorie.
Strumień zadań jest zdefiniowany dla każdego zewnętrznego źródła danych. Każdy strumień zadań można zaplanować niezależnie od innych strumieni.
Zadanie
OOTBE2E jest zadaniem najwyższego poziomu, które definiuje ogólny przepływ. Uruchamia ono zadania ładujące dane z różnych zewnętrznych operacyjnych źródeł danych do odpowiednich tabel, a następnie wykonuje zadanie w celu zbudowania tematycznej hurtowni danych w hurtowni danych. Zadanie
Build_Star zapełnia tematyczną hurtownię danych. Wykonuje to w następujący sposób:
- Uruchamia zadanie Dimensions, aby zapełnić tabele wymiarów.
- Uruchamia zadanie Facts, aby zapełnić tabele faktów.
- Uruchamia zadanie HistoricalLookups, aby zapełnić tabele wyszukiwań historycznych.
Opisane kompilacje i strumienie zadań można dostosować w zależności od konkretnej sytuacji biznesowej oraz od implementacji wymienionych produktów.