O grande objetivo da Integridade de Dados é garantir o significado e o valor de negócio dos dados, independente do contexto.
Sendo assim, refere-se ao estado de dados, processos, regras e padrões que mantém que as Dimensões de Qualidade de Dados conforme o esperado.
Nessa postagem vamos entender melhores práticas para Integridade de Dados e alguns mitos comuns sobre o tema de Integridade de Dados.
Mitos Comuns sobre Integridade de Dados
Se está no banco de dados, está certo.
Uma informação pode estar presente no banco de dados, mas ainda assim estar incorreta, inconsistente ou desatualizada.
A Integridade de Dados visa garantir que os dados seguem as regras e padrões estabelecidos.
Por exemplo, que o tipo de dados e os relacionamentos entre tabelas estão corretos, mas não necessariamente garantem a veracidade ou atualidade da informação.
Imagine o caso em que um cliente altera o número de telefone mas a base de dados só é atualizada semanalmente. A relação entre o ID do cliente e o ID da compra feita está correta, mas a informação do telefone está desatualizada.
Integridade de dados é responsabilidade exclusiva da equipe de TI.
A Integridade de Dados, assim como a Governança de Dados, deve fazer parte do dia a dia de todos os membros da equipe – analistas, arquitetos, engenheiros, vendas…
A Cultura de Dados deve estar presente em todas as equipes de modo que todos estão conscientes da importâncias da integridade de dados e todos estão aptos a apontar problemas e sugerir melhorias.
Backups resolvem qualquer problema de integridade
Backups ajudam a restaurar o estado anterior dos dados, mas não corrigem regras violadas ou entradas erradas que já estavam presentes.
A integridade de dados em banco de dados precisa ser validada e monitorada continuamente.
Bancos NoSQL não precisam se preocupar com integridade
Embora bancos NoSQL priorizem flexibilidade e escalabilidade, a integridade de dados ainda é essencial.
Nestes casos, ela deve ser implementada na aplicação ou por meio de validações nos pipelines de ingestão.
Se o processo não dá erro, os dados estão íntegros e corretos
Processos e fluxos de dados podem não apresentar erros ou alertas e, ainda assim, mostrar problemas com os dados.
Dependendo de como os processos foram construídos, dados incompletos, inválidos ou em formatos inconsistentes podem não apresentar problemas e, mesmo assim, resultar em relatórios ou modelos incorretos.
Validação de dados na entrada já garante a integridade de dados
A validação na entrada de dados é uma forma de prevenirmos a entrada de dados incorretos.
Ainda assim, os dados podem ser corrompidos, duplicados ou perder o significado ao longo de transformações ou integrações com outros sistemas.
Integridade de Dados é sinônimo de Segurança de Dados
A Segurança de Dados visa a proteção contra acessos indevidos aos dados e a manutenção dos direitos dos titulares dos dados, por exemplo.
Já a integridade visa que os dados estejam corretos, consistentes e estruturados, mantendo seu valor e significado, no contexto do negócio.
Integridade de Dados é sinônimo de Qualidade de Dados
A Qualidade de Dados pode ser entendida através das Dimensões de Qualidade de Dados.
De fato, a Integridade de Dados está intimamente relacionada com as dimensões de a acurácia, validade, consistência e completude dos dados.
Porém, a Qualidade de Dados se relaciona com a adequação dos dados ao propósito para o qual são utilizados, sendo, portanto, um tópico ainda mais abrangente do que a Integridade de Dados, que foca na correção da estrutura dos dados.
Desafios Atuais da Integridade de Dados
- Dados em larga escala e grande volume
- Ambientes distribuídos
- Dados de treino de aplicações de aprendizado de máquina
- Compliance contínuo e data observability
Checklist de Melhores Práticas para Garantir Integridade de Dados por Tipo de Sistema
Sistemas Relacionais (SQL / OLTP)
| 🔲 | Avaliar a definição de chaves primárias e estrangeiras
| 🔲 | Aplicar restrições de domínio para campos importantes (NOT NULL, CHECK, UNIQUE)
| 🔲 | Definir métricas apropriadas para as Dimensões de Qualidade de Dados requeridas
| 🔲 | Normalizar dados até o nível necessário (3FN ou mais)
| 🔲 | Implementar triggers ou stored procedures para validação adicional
| 🔲 | Desenvolver e monitorar logs em busca de anormalidades, alterações e falhas de integridade (ex: violação de chave)
Sistemas Distribuídos / NoSQL / Data Lakes
| 🔲 | Estabelecer contratos de dados (data contracts) entre serviços
| 🔲 | Garantir o versionamento de esquema (schema evolution) e outras alterações
| 🔲 | Implementar validações customizadas
| 🔲 | Utilizar ferramentas de data observability ou validação em lote
| 🔲 | Definir políticas de sincronização e consistência
| 🔲 | Documentar a origem e o uso de cada conjunto de dados (data lineage)
Modelos de Machine Learning / IA
| 🔲 | Analisar e limpar outliers, valores ausentes e duplicados
| 🔲 | Validar tipos de variáveis (categóricas, contínuas, binárias)
| 🔲 | Documentar regras de coleta e pré-processamento de dados
| 🔲 | Auditar possíveis vieses devido a falhas de integridade
| 🔲 | Repetir validação após cada nova amostra ou retreino dos dados
Fluxos de ETL / ELT / Integração de Dados
| 🔲 | Validar dados na origem antes da extração
| 🔲 | Criar testes automatizados por etapa (testes unitários e de esquema)
| 🔲 | Monitorar volumes, tipos e estatísticas esperadas por campo
| 🔲 | Adotar validações de qualidade de dados em ambientes CI/CD de dados
| 🔲 | Gerenciar e documentar transformações
Governança e Compliance
| 🔲 | Garantir auditoria de alterações e acessos
| 🔲 | Definir políticas de integridade por tipo de dado (PII, financeiros etc.)
| 🔲 | Alinhar regras de integridade com regulamentos (ex: LGPD, GDPR)
| 🔲 | Documentar e revisar regras periodicamente