Przykładowy katalog procesu wyodrębniania, transformacji i ładowania (ETL)

Aby wyodrębnić dane ze źródła danych, należy znać strukturę danych, utworzyć w produkcie IBM Cognos Data Manager katalog procesu wyodrębniania, transformacji i ładowania (ETL), który odtwarza tę strukturę, a następnie skonfigurować procesy wymagane do przekształcenia danych w schemat gwiaździsty albo w format metadanych wymagany przez tematyczną hurtownię danych lub produkt IBM Cognos Framework Manager. W celu uproszczenia tego procesu produkt IBM Rational Insight udostępnia przykładowy katalog służący do wyodrębniania danych z usług danych, ładowania danych do operacyjnej składnicy danych w programie IBM Rational Insight Data Warehouse i budowania dostosowanych tematycznych hurtowni danych. Ten temat stanowi przegląd przykładowego katalogu.

Katalog produktu IBM Cognos Data Manager jest centralnym repozytorium, które opisuje, w jaki sposób informacje będą wyodrębniane, transformowane i ładowane z zewnętrznych źródeł danych. Zasadniczo katalog produktu Data Manager opisuje:

Przykładowy katalog produktu Rational Insight ułatwia wyodrębnianie, transformowanie i ładowanie danych z następujących produktów:

Te przykładowe katalogi zawierają predefiniowane strumienie zadań i kompilacje, które odwzorowują dane wyodrębnione z tych źródeł na odpowiednie tabele i transformują te tabele w fakty i wymiary. Każdy przykładowy katalog zawiera predefiniowane biblioteki, kompilacje i metadane.

Przykład

Przykładowa kompilacja ETL w połączeniu z produktem RequisitePro została użyta do wyodrębnienia danych zarządzania wymaganiami. Kompilacja ładuje dane ze źródła w następujący sposób:
  • Wszystkie typy wymagań są ładowane do tabeli REQUIREMENT w operacyjnej składnicy danych.
  • Informacje o typach wymagań są ładowane do tabeli REQUIREMENT_CLASSIFICATION.
  • Dane podwersji wymagania są ładowane do tabeli REQUIREMENT_REVISION_HISTORY.
  • Relacje typu nadrzędne-podrzędne wymagania są ładowane do tabeli REQUIREMENT_REQUIREMENT_LOOKUP.
  • Dane śledzenia wymagania są ładowane do tabeli REQUIREMENT_HIERARCHY.
  • Dane projektów są ładowane do tabeli PROJECT.
  • Dane użytkowników są ładowane do tabeli RESOURCE.
Przykładowy model ETL dla produktu IBM Rational RequisitePro zawiera również predefiniowane strumienie zadań ETL, które organizują zadania w predefiniowane kategorie. Strumień zadań jest zdefiniowany dla każdego zewnętrznego źródła danych. Każdy strumień zadań można zaplanować niezależnie od innych strumieni.
Zadanie OOTBE2E jest zadaniem najwyższego poziomu, które definiuje ogólny przepływ. Uruchamia ono zadania ładujące dane z różnych zewnętrznych operacyjnych źródeł danych do odpowiednich tabel, a następnie wykonuje zadanie w celu zbudowania tematycznej hurtowni danych w hurtowni danych. Zadanie Build_Star zapełnia tematyczną hurtownię danych. Wykonuje to w następujący sposób:
  • Uruchamia zadanie Dimensions, aby zapełnić tabele wymiarów.
  • Uruchamia zadanie Facts, aby zapełnić tabele faktów.
  • Uruchamia zadanie HistoricalLookups, aby zapełnić tabele wyszukiwań historycznych.
Opisane kompilacje i strumienie zadań można dostosować w zależności od konkretnej sytuacji biznesowej oraz od implementacji wymienionych produktów.

Opinia