Olá pessoal! 

Querem aprender como anexar uma stream a outra, como se fosse uma query com union no banco de dados?! Vejam este post sobre append stream.

O append stream é uma função de transformação que pega duas ou mais fontes de dados, avalia e unifica em um único destino.

Como uma consulta com union no banco de dados, temos de obedecer alguns pré-requisitos básicos.

  • Mesma quantidade de colunas
  • Colunas com o mesmo nome
  • Colunas com o mesmo data type

CONFIGURANDO A TRANSFORMAÇÃO

Vamos utilizar dois geradores de linhas para teste utilizando o step row generator. Após ligue ao step append stream com saída para write to log. 

CONFIGURAÇÃO BÁSICA DA TRANSFORMAÇÃO

Aqui, vamos configurar o step de row generator. O mesmo deve ser aplicado para a segunda fonte de dados, stream B:

CONFIGURANDO A FONTE DE DADOS UTILIZANDO ROW GENERATOR

Com o gerador de linhas configurado, vamos passar para o próximo step, unindo os dados das duas streams.

CONFIGURAÇÃO DA STREAM PRIMÁRIA E SECUNDÁRIA
  • Em vermelho é a stream principal;
  • Em azul é a stream secundária.

Os dados da stream principal serão os primeiros a serem inseridos na linha, então, se fizer alguma diferença no seu ambiente, escolha o que for melhor para tal.

RESULTADO FINAL DA TRANSFORMAÇÃO

Alterando a ordem das streams:

DEMONSTRAÇÃO DO RESULTADO QUANDO ALTERAMOS AS STREAMS

Veja o resultado final:

RESULTADO FINAL

Como podemos ver, alterando a ordem das streams, alteramos a ordem com que os dados são escritos no destino final!

Este foi um breve tutorial para mostrar mais uma função do Pentaho que une streams e muito similar a função de union em SQL.

Entendendo as restrições que o step possui, pode ser de grande valia quando há muitos arquivos para serem unidos e que possuem uma certa similaridade ou, que ao longo do tempo, mudou o nome ou formato.

Espero que tenha ajudado, saúde!

Baixe aqui a transformação!

OLÁ!

Se chegou até aqui e gostou do pequeno tutorial, deixe seu like e compartilhe. Ajude o blog a alcançar mais pessoas!

Obrigado! Volte Sempre!

Caso queira receber em primeira mão esse tipo de conteúdo, se inscreva abaixo:

SIGA NAS REDES SOCIAIS.

Publicidade