top of page
Foto do escritorDaniel Gasnier

Big data ou big confusão?


“Entrou lixo, continua lixo”. Um dos paradoxos na Gestão de Cadastros é que vivemos na era dos Data warehouse (dados mestre proprietários) e dos Big data (dados públicos dinâmicos e voláteis), no entanto ainda nos FALTAM INFORMAÇÕES ACURADAS.

Em que grau de maturidade esta a gestão do seu cadastro? Abandonados a sua própria sorte, seus dados caminham para o Caos. É apenas uma questão de tempo para que diversas informações críticas fiquem comprometidas, sem que possamos identificar quais estão danificadas, de que forma, e quais as causas. Se, mesmo com alguns esforços, seu cadastro continua a se deteriorar, talvez já esteja na hora de rever seus processos.

Em virtude de nossa especialização em Gestão de Cadastros (MDM), dos diversos processos de catalogação realizados e dos diferentes graus de maturidade que vivenciamos, colecionamos um extenso conjunto de referências e modos de falha, constatando que a maioria das empresas ainda sustenta seus processos sobre fundamentos inconsistentes, com muitas falhas, anomalias e idiossincrasias. Mesmo em tempos de e-commerce e SPED fiscal, a maioria das empresas ainda trata seus cadastros no grau zero, como “caixas-pretas” misteriosas e inacessíveis, e desconhecem as ferramentas para corrigir suas vulnerabilidades.

Gestão da Qualidade do Cadastro: A governança deste patrimônio vital exige profissionalização e, neste sentido, empregamos em nosso framework cinco funcionalidades para manutenção dos dados:

  1. Visualização (data reporting): Sem compreender a situação fica difícil intervir, portanto precisamos de gráficos relevantes que possibilitem perceber os detalhes muito além das tabelas. Em nossos diagnósticos, por exemplo, produzimos mais de 30 gráficos e mapeamentos sobre os dados do cadastro-mestre para investigar possíveis anomalias.

  2. Limpeza (data cleaning): O processo de limpeza de dados corrige erros removendo espaços em branco e duplicados, depura e alinha padrões, agrupando, transformando valores e enriquecendo dados, entre outros passos deste procedimento.

  3. Normalização (data profiling): Consiste na aplicação de técnicas analíticas para compreender e harmonizar a real estrutura, fonte, conteúdo e a qualidade das informações. Neste sentido, necessitamos de ferramentas que nos possibilitem declarar, formalizar e comunicar as regras padronizadas e então auditar a situação dos nossos cadastros, identificando e tabulando as intercorrências, idiossincrasias e anomalias, alinhando e ajustando os dados na base.

  4. Enriquecimento (data enrichment): Reconciliação e enriquecimento dos dados também agregam valor. No contexto correto, seus dados são como pepitas ou pedras preciosas em estado bruto que, caso forem bem polidas, poderão se revelar valiosas jóias de ouro e diamantes reluzentes. Portanto, lapidar a qualidade dos dados pode se tornar uma atividade muito rentável e, em alguns casos, até mesmo pode viabilizar um novo negócio na empresa.

  5. Certificação (data certification): Aqueles que executam os processos de catalogação (sejam agentes externos ou internos) acreditam que fizeram um bom trabalho, livre de vícios, mas como ter certeza de que estamos recebendo um resultado conforme especificações MDM? É preciso que auditores independentes e isentos possam avaliar, criticar e validar os resultados, identificando inconformidades ocultas e vulnerabilidades, avaliando o estágio de maturidade dos processos e, por fim, atestando a qualidade técnica requerida.

Ferramentas: Naturalmente, não é mais viável tratarmos esta abordagem em grandes quantidades de dados manualmente. Para estes propósitos foram desenvolvidas ferramentas especializadas, automatizadas e semi-automatizadas, entre as quais a seguir destacamos o MD Audit.

Nossa Metodologia Ágil para Catalogação Semântica de Produtos e Serviços evoluiu ao longo dos anos e nos levou a sistematizarmos um processo de AUDITORIA DA QUALIDADE para cadastros-mestre empresariais, empregando Data Science.

Data Science é um processo interdisciplinar de Obtenção (captura, medição ou importação de dados), Saneamento (preparação, formatação, padronização e limpeza), Taxonomia (classificação e vinculação), Aprendizado (modelagem e simulação) e Comunicação (visualização, reporting e design) de informações e conhecimento.

Recentemente passamos a oferecer o serviço de Certificação Técnica MDM onde atestamos (ou não) a qualidade dos dados, apurando eventuais anomalias, limpezas e normalizações requeridos. Possibilitamos ainda a visualização de mapas taxonômicos e gráficos analíticos, gerando tabelas compiladas, alertas, relatórios gerenciais e recomendações para encaminhar o contínuo aprimoramento da qualidade de seu cadastro-mestre.

O MD Audit foi desenvolvido para prestarmos o serviço de CERTIFICAÇÃO DA QUALIDADE DAS INFORMAÇÕES contidas no seu cadastro-mestre. Empregamos este software para automatizar uma analise ETL detalhada, agilizando nosso processo de data profiling/cleaning no contexto da gestão de Cadastros

Propósitos do MD Audit:

  1. Certificar a Qualidade das Informações: Prover subsídios para auditar e atestar o grau de acurácia e conformidade do cadastro-mestre. É uma ferramenta para validar os processos de Saneamento e Governança de cadastros, mesmo para empresas que já utilizam MDMS (gerenciadores de catálogos classe CRUD).

  2. Prover Visibilidade: Compila mapas, gráficos, tabelas, estatísticas e notificações que possibilitam compreender a situação do cadastro.

  3. Alerta de Criticidade: Produz subsídios sobre a situação para contribuir na sensibilização da alta administração.

  4. Agilizar Processos: Instrumento para data profiling (auditoria de validação) e data cleaning, transformações e enriquecimento automatizados.

94 visualizações0 comentário

Posts recentes

Ver tudo
bottom of page