Estrutura de Extract, Transform, and Load do IBM Rational Insight

Extract, transform, and load (ETL) é um processo em data warehousing que envolve a extração de dados de origens externas, a transformação deles para atender às necessidades comerciais e, por último, seu carregamento no armazém de dados.

É possível usar os recursos ETL do IBM Rational Insight (Rational Insight) para extrair dados de várias origens, transformar esses dados por meio de regras de negócios codificadas e carregar os dados transformados em um data mart. Durante este processo, os dados operacionais são recuperados do código do produto, normalizados e mapeados para as tabelas de fatos e de dimensões. O componente que executa o principal processo ETL é o IBM Cognos Data Manager (Data Manager).

Extração

A estrutura de ETL aceita a extração de dados por meio de acesso ao banco de dados direto e por meio de drivers ODBC, incluindo o driver ODBC XML do Rational Insight. Uma organização armazena dados em bancos de dados relacionais tradicionais ou em outros formatos de origem (como XML). Como o Data Manager suporta dados em formato tabular, o XML recebido deve ser convertido em formato relacional antes do processo principal de extração ETL. Isto é feito pela Configuração de dados XML do IBM Rational Insight (Configuração de dados XML), que mapeia dados de origens XML (usando o driver ODBC XML), passa-os para o Data Manager.

Transformação

A próxima etapa será transformar os dados usando regras de negócios. Isto é feito em um processo de duas etapas.
  1. Normalize os dados e modifique usando regras de negócios. Estas regras de negócios, quando executadas, executam a lógica de negócios, como cálculo ou derivação de uma coluna com base em outras colunas.
  2. Armazene-os em tabelas físicas. Estas tabelas físicas implementam a convenção de esquema em estrela e incluem dimensões e fatos – os elementos característicos de um armazém de dados.

Carregamento

A última etapa é carregar estes dados transformados no data mart, uma área separada do armazém.

Implementação

No Data Manager, cada parte do processo ETL é uma construção de fatos ou de dimensões. As construções podem ser organizadas em fluxos de tarefas para diferentes conjuntos de dados ou tabelas. Os fluxos de tarefas podem ser executados diretamente no Data Manager, ou publicados como uma tarefa de movimentação de dados e, em seguida, publicados para execução no Servidor de relatório do IBM Rational Insight. As principais construções ETL são construções de formulário normalizadas, construções sem entidade, construções de consulta, construções de dimensões e construções de fatos. O Insight implementa e suporta transações ETL de amostra para produtos, tais como, Rational ClearQuest, Rational ClearCase, Rational RequisitePro, Microsoft Project, Rational Team Concert, Rational Quality Manager e Rational TestManager.