Fala pessoal, como estão?! Espero que estejam curtindo os posts 😉

Hoje quero apresentar um tutorial bem breve que acabei descobrindo de forma inusitada mas que de cara se tornou bem útil!

O tutorial de hoje irá mostrar como extrair os meta dados das tabelas e transformações de forma ‘automática’ no Pentaho.

Irei utilizar uma transformação de uma dimensão que já tenho criada e mostrar como é bem simples adicionar este step para melhor gestão de dados do seu ambiente.

  1. CONFIGURANDO A TRANSFORMAÇÃO
  2. OLÁ!
  3. SIGA NAS REDES SOCIAIS!

CONFIGURANDO A TRANSFORMAÇÃO

Como citado, irei pegar uma transformação que já tenho criada e adicionar ao final dela o step de captura.

A transformação utilizada neste post foi a criada para carregar a dimensão região.

Como podem perceber acima, tenho todo meu processo de ETL criado para carga no stage. Agora, adicione na sua transformação o step metadata structure of stream e após o Microsoft Excel Output.

Quando adicionar os dois passos, abra o metadata structure para configurar o processo. É uma configuração simples, como podem ver:

O interessante deste step é poder adicionar um número de linhas ao final como forma de controle de ETL.

Já configurado metadata structure, destine um diretório para a saída no step do Excel.

Estes são os campos que foram originadas pela metadata structure e que possuem as informações da tabela dimensão região que queremos.

A única alteração que fiz neste processo, foi marcar para o Microsoft Excel output reter qualquer valor que seja nulo quando for gravar os dados na planilha.

Assim ficou minha configuração final para esta transformação. Agora, além do log de erros, temos a coleta dos metadados da dimensão para documentação do projeto / portfólio.

Conferindo como ficou a planilha do Excel.

Vejam que temos informações como:

  • Nome do Campo;
  • Tipo de dados;
  • Tamanho;
  • Origem.

O campo RegionKey é a coluna com identity que foi criada quando carregamos na stage area.

Agora basta adicionar em outras transformações para ter uma documentação completa e do seu data warehouse!

OLÁ!

Se chegou até aqui e gostou do pequeno tutorial, deixe seu like e compartilhe. Ajude o blog a alcançar mais pessoas!

Caso queira receber em primeira mão esse tipo de conteúdo, se inscreva abaixo:

SIGA NAS REDES SOCIAIS!

Espero que tenham gostado, saúde!!

Publicidade