Catálogo de Amostra para o Processo Extract, Transform and Load (ETL)

Para extrair dados de uma origem de dados, é necessário conhecer a estrutura de dados, criar um catálogo extract, transform, and load (ETL) que reproduza esta estrutura no IBM Cognos Data Manager e, em seguida, configurar os processos necessários para transformar os dados no esquema em estrela ou em formato de metadados requerido pelo data mart ou pelo IBM Cognos Framework Manager. Para ajudá-lo a simplificar o processo, o IBM Rational Insight possui catálogos de amostra para extrair dados dos serviços de dados, carregar os dados no armazém de dados operacional no IBM Rational Insight data warehouse e construir os data marts conformados. Esta seção é uma visão geral do catálogo de amostra.

Um catálogo do IBM Cognos Data Manager é um repositório central que descreve como as informações serão extraídas, transformadas e carregadas a partir de origens externas. Geralmente, um catálogo do Data Manager descreve:

O catálogo de amostra do Rational Insight facilita a extração, transformação e carregamento de dados a partir dos seguintes produtos:

Estes catálogos de amostra contêm fluxos de tarefas e construções predefinidos que mapeiam dados extraídos destas origens para tabelas correspondentes, e transformam estas tabelas em fatos e dimensões. Cada catálogo de amostra contém bibliotecas, construções e metadados predefinidos.

Exemplo

Considere a construção ETL de amostra usada juntamente com o RequisitePro para extrair metadados de gerenciamento de requisitos. A construção carrega dados a partir da origem, da seguinte forma:
  • Todos os tipos de requisitos na tabela REQUIREMENT do armazém de dados operacional
  • Informações de tipos de requisitos na tabela REQUIREMENT_CLASSIFICATION
  • Dados de revisão de requisito na tabela REQUIREMENT_REVISION_HISTORY
  • Relacionamento pai-filho de requisito na tabela REQUIREMENT_REQUIREMENT_LOOKUP
  • Dados de rastreabilidade de requisito na tabela REQUIREMENT_HIERARCHY
  • Dados de projetos na tabela PROJECT
  • Dados do usuário em RESOURCE
O modelo ETL de amostra para o IBM Rational RequisitePro também contém fluxos de tarefas ETL predefinidos que organizam tarefas em categorias predefinidas. Um fluxo de tarefas é definido para cada origem de dados externa. Cada fluxo de tarefas pode ser planejado de forma independente dos outros.
A tarefa OOTBE2E é a tarefa de nível superior que define o fluxo geral. Ela executa tarefa para carregar dados de diferentes origens de dados operacionais externas para tabelas correspondentes e, em seguida, executa a tarefa para construir o data mart no armazém de dados. A tarefa Build_Star preenche o data mart. Ela faz o seguinte:
  • Inicia a tarefa Dimensions para preencher as tabelas de dimensões
  • Inicia Facts para preencher as tabelas de fatos
  • Inicia HistoricalLookups para preencher as tabelas de consultas históricas.
É possível customizar estas construções e fluxos de tarefas, dependendo de sua situação de negócios específica e da implementação destes produtos.