ETL-Prozess (Extrahieren, Transformieren und Laden)

ETL-Prozessjobs, -Builds und -Datenströme ausführen

Ursachen für das Fehlschlagen von ETL-Builds untersuchen
  • Wenn es sich bei der Verbindung, bei der der Fehler auftrat, um eine XML ODBC-Datenquelle handelt, sehen Sie sich die ODBC- und JDBC-Protokolldateien und die Abschnitte zum Datenservice und zum XML ODBC-Treiber an.
  • Wenn es sich bei der Verbindung, bei der der Fehler auftrat, um das Rational Quality Manager Custom Reporting-Data-Warehouse handelt, sehen Sie sich die Installationsprotokolle des Data-Warehouse an.
Ursachen für das Zurückweisen von Daten untersuchen
Sehen Sie sich die Protokolle unter [insight-installationsverzeichnis]/cognos/datamanager/data an, die Informationen dazu enthalten, wie viele Sätze übernommen und zusammengeführt oder zurückgewiesen wurden.
Fehler in einem bestimmten Build innerhalb eines Jobs untersuchen
Duplizieren Sie den Job, der den Build enthält, entfernen Sie alle Builds, die nicht mit dem zu untersuchenden Build in Zusammenhang stehen, und führen Sie den Job aus. Der Job legt die Variablen korrekt fest.
ETL-Prozessjobs wiederverwenden
Ein ETL-Prozessjob, der einer Ressourcenkategorie zugeordnet ist, wird automatisch auf alle Ressourcengruppen innerhalb dieser Ressourcenkategorie angewendet. Wenn Sie einen ETL-Prozessjob wiederverwenden möchten, definieren Sie mit der XML-Datenkonfiguration für Custom Reporting Authoring eine neue Ressourcengruppe und legen Sie alle identischen Schemas unter derselben Ressourcenkategorie ab. Während des ETL-Prozesses werden Daten automatisch geladen oder entfernt, und zwar in Abhängigkeit davon, ob die Ressourcenkategorie in dieser Ressourcengruppe vorhanden ist oder nicht.
Probleme mit Doppelzählungen handhaben
Normalerweise enthält eine Fakttabelle mehrere Dimensionen. In Fakttabellen sind Daten in minimaler Unterteilung gespeichert, d. h. jede Kombination der einzelnen Dimensionen wird als eine Zeile gespeichert. Doch möglicherweise wird nicht in jedem Bericht jede einzelne Dimension verwendet. Wenn Viele-zu-viele-Beziehungen zwischen dem Fakt und einer Dimension vorhanden sind, werden auch Daten für die im Bericht nicht verwendeten Dimensionen zusammengefasst, wodurch sich ungenaue Berichte ergeben. So können Sie ein solches Szenario vermeiden:
  1. Erstellen Sie eine Basisfakttabelle. Stellen Sie sicher, dass die Fakttabelle keine Viele-zu-viele-Beziehungen zwischen dem Fakt und einer der Dimensionen aufweist.
  2. Erstellen Sie für jede Viele-zu-viele-Beziehung mit dem Fakt eine neue Fakttabelle, die die Dimensionen aus der Basisfakttabelle enthält, und definieren Sie die Viele-zu-viele-Beziehung in der neuen Tabelle.
Windows ETL-Prozessjobs auf einem nicht englischsprachigen System mit einer Oracle 11g-Datenbank ausführen
  1. Führen Sie den folgenden Befehl zum Erstellen eines Schemas für die Katalogdatenbank aus:
    catmanage.exe ORACLE UID/PWD@ServiceName -c
    Dabei stehen UID und PWD für den Benutzernamen und das Kennwort eines gültigen Benutzeraccounts, mit dem eine Verbindung zu ServiceName hergestellt werden kann.
  2. Starten Sie IBM® Cognos Data Manager Designer, öffnen Sie die Katalogdatenbank und stellen Sie den Katalog wieder her.
Linux ETL-Prozessjobs in einer Linux®-Umgebung ausführen
IBM Cognos Data Manager weist keine grafische Benutzerschnittstelle für Linux-Umgebungen auf. Zum Ausführen von ETL-Prozessjobs in einer Linux-Umgebung verwenden Sie Linux-Shellbefehle.
Anmerkung: Sie müssen die zugehörigen DSNs erstellen und sicherstellen, dass die Verbindungen hergestellt werden.
  • Eine detaillierte Aufstellung der Befehle ist im IBM Cognos Data Manager Benutzerhandbuch (Abschnitte zur plattformübergreifenden Implementierung) enthalten.
Linux Beim Ausführen eines ETL-Prozessjobs wird folgender Fehler angezeigt: Datenquellenname nicht gefunden und kein Standardtreiber angegeben
  1. Prüfen Sie die Datei "odbcinst.ini":
    1. Öffnen Sie die Datei "odbcinst.ini" in einem Texteditor.
    2. Wechseln Sie zum Bereich [ Rational Quality Manager Custom Reporting XML ODBC Driver].
    3. Stellen Sie sicher, dass die Eigenschaft Driver auf den richtigen Dateipfad von libratlxml.so verweist.
  2. Prüfen Sie die Datei odbc.ini:
    1. Öffnen Sie die Datei odbc.ini in einem Texteditor.
    2. Stellen Sie sicher, dass der gewünschte System-DSN vorhanden ist und die Eigenschaft Driver den Wert IBM Rational Quality Manager Report Authoring XML ODBC Driver aufweist. Ist der DSN nicht vorhanden, fügen Sie ihn wie im Beispiel dargestellt hinzu:
      [ClearCase]
         Driver = IBM Rational Quality Manager Report Authoring XML ODBC Driver
         DataSource = Rational Quality Manager
         Description = A DSN example
         Configuration = /opt/ibm/Rational Insight/dataconfig/Configuration/clearcase.xdc
  3. Prüfen Sie den JVM-Pfad:
    1. Führen Sie auf der Konsole den Befehl export aus.
    2. Stellen Sie sicher, dass die Variable "LD_LIBRARY_PATH" den Pfad der IBM Java™ Virtual Machine enthält, die von Rational Quality Manager Custom Reporting unterstützt wird, z. B. /opt/ibm/rqmreporting/AppServer/java/jre/bin;/usr/local/lib.
    3. Stellen Sie sicher, dass die Variable "PATH" den Pfad der IBM Java Virtual Machine enthält, die von Rational Quality Manager Custom Reporting unterstützt wird, z. B. /opt/ibm/Rational Insight/AppServer/java/jre/bin/classic.

Feedback