Transformação prévia dos dados

0
225

Última Atualização 13 de janeiro de 2021

QUESTÃO CERTA: Em soluções Big Data, a análise dos dados comumente precisa ser precedida de uma transformação de dados não estruturados em dados estruturados.

Sim. Isso se dá por meio do processo de ETL – Extract Transform Load (Extração Transformação Carregamento) – mais precisamente na fase de Transformação que estrutura os dados de modo que eles possam ser consultados posteriormente.

ETL, do inglês Extract Transform Load (Extração Transformação Carregamento), são ferramentas de software cuja função é a extração de dados de diversos sistemas, transformação desses dados conforme regras de negócios e por fim o carregamento dos dados geralmente para um Data Mart e/ou Data Warehouse, porém nada impede que também seja para enviar os dados para um determinado sistema da organização. A extração e carregamento são obrigatórios para o processo, sendo a transformação/limpeza opcional, mas que são boas práticas, tendo em vista que os dados já foram encaminhados para o sistema de destino. É considerada uma das fases mais críticas do Data Warehouse e/ou Data Mart.

Big Data É ideal para:

  • Analisar dados semi-estruturados e não-estruturados de uma variedade de fontes.

  • Quando todos os dados ou quase todos devem ser analisados;

  • Para analises interativ as e exploratórias;

    Advertisement

O Big Data releva as formalidades e restrições do Data Warehouse. Preserva a fidelidade dos dados.

QUESTÃO CERTA: Devido à construção de um projeto de um Data Warehouse (DW) ser dispendioso e demorado, os arquitetos resolveram segmentar a construção do DW através dos: Data Marts.

Data Mart é um subconjunto de Data Warehouse.

  • Data warehouse – somente leitura; reúne dados de todos os sistemas da empresa;

  • Data mart – volátil; repositório específico.

QUESTÃO CERTA: Para carregar esses dados no Data Warehouse com a descrição dos turnos no lugar de seu código, Daniel deve desenvolver um programa para ler os dados do arquivo, realizar transformações e carregar o resultado no banco de dados. A ferramenta a ser utilizada por Daniel é: ETL.

O que entrega a questão são as seguintes palavras-chave: “…um programa para ler os dados do arquivo, realizar transformações e carregar o resultado no banco de dados.” É exatamente o que o ETL faz: Extract, Transform, Load (extrair, transformar, carregar).