A diferença entre ETL e ELT é a forma com que os dados são tratados ao longo do seu fluxo. Os dados passam pelos mesmas 3 etapas, mas a transformação de dados ocorre em momentos diferentes.
O formato ELT é mais recente e foi possível pelo barateamento e acessibilidade maior dos sistemas de nuvens e infraestrutura digital.
Em ambos os processos, os dados passam pelas mesmas 3 etapas:
- E – Extract, ou Extrair
- T – Transform, ou Transformar
- L – Load, ou Carregar
Para saber mais sobre esses termos, recomendo a leitura do post O que é ETL.
A descrição de cada etapa se aplica para o ELT também.
Conheça as melhores ferramentas de ETL aqui.
Diferença entre ETL e ELT
No ETL, a transformação de dados acontece antes do carregamento (L). Ou seja, no ETL a transformação ocorre em um servidor intermediário e posteriormente carregado em no local de destino
Já no ELT, a transformação é feita após o carregamento. Sendo assim, a transformação ocorre no mesmo sistema em que o Data Warehouse está.
Isso significa que, no ELT, os dados brutos são inseridos no Data Warehouse, diferentemente do que ocorre no ETL.
Como no ELT os dados não são enviados a um servidor especial para o processo de transformação, este pode ser feito de maneira mais rápida e escalável. Inclusive, o carregamento e a transformação podem ser feitas ao mesmo tempo.
Vantagens do ETL
Esse método, onde os dados são transformados antes de serem carregados no Data Warehouse, é interessante para:
- Lidar com questões de compliance e privacidade de dados
- Remover informações sensíveis e fluxos de dados com informações que não devem ser carregadas (exemplo: informações de identificação pessoal PII)
- Lidar com transformações quando o local de carregamento dos dados não é tão robusto para realizar esse processo
- Lidar com sistemas legado
- Projetos inciantes pequenos, visto que conta com mais documentação, protocolos e boas práticas por existir há mais de 20 anos. As ferramentas de ETL existentes são de uso fácil e intuitivo, necessitando de pouco conhecimento de desenvolvimento de código.
- Quando dados brutos não serão necessários ou não devem ser guardados
- Dados estruturados
- Pequenos conjuntos de dados com transformações mais robustas e complexas
Participe do nosso Canal do Telegram! Clique aqui para entrar.
Vantagens do ELT
O ELT é uma opção que surgiu mais recentemente e que soluciona questões como:
- Melhoria no processamento de big data e dados não estruturados, embora também lide bem com dados estruturados
- Capacidade de lidar com uma maior quantidade de dados com mais eficiência
- Aumento da velocidade de processamento e diminuição do tempo de latência
- Reduzir custos do processo
- Reduzir infraestrutura física uma vez que as transformações são realizadas no local de carregamento de dados e na nuvem
- Abordagem mais escalonável, flexível, integrada e participativa
- Permite armazenamento de dados brutos históricos, que podem passar por novos processos de transformação a medida em que novas necessidades de negócio surgirem
- Manutenção facilitada, visto que são necessários menos sistemas disponíveis
Pingback: O que é ETL? - Diário de Dados