A governança de dados é o processo de gerenciamento da disponibilidade, usabilidade, integridade e segurança dos dados nos sistemas da organização, com base em padrões e políticas de dados internos que também controlam o uso de dados.
A governança de dados eficaz garante que os dados sejam consistentes, confiáveis e não sejam mal utilizados. É cada vez mais crítico à medida que as organizações enfrentam novas regulamentações de privacidade de dados e dependem cada vez mais da análise de dados para ajudar a simplificar as operações e impulsionar a tomada de decisões de negócios.
Um modelo de governança de dados bem organizado inclui uma equipe de governança, um comitê diretivo que atua como órgão de governança e um grupo de administradores de dados. Todos eles trabalham juntos para criar os padrões e políticas para controlar os dados, bem como os procedimentos de implementação e conformidade que são realizados principalmente pelos administradores de dados. Executivos e outros representantes das operações de negócios de uma organização, bem como equipes de TI e gerenciamento de dados, também participam.
Embora a governança de dados seja um componente central de uma estratégia geral de gerenciamento de dados, as organizações devem se concentrar nos resultados de negócios desejados derivados de um programa de governança, e não nos dados em si.
Por que a governança de dados é importante?
Sem uma governança de dados eficaz, as inconsistências de dados em diferentes sistemas de uma organização podem não ser resolvidas.
Por exemplo, os nomes dos clientes podem aparecer de forma diferente nos sistemas de vendas, logística e atendimento ao cliente. Isso pode complicar os esforços de integração de dados e criar problemas de integridade de dados que afetam a precisão dos aplicativos de inteligência de negócios (BI), relatórios de negócios e análises.
Além disso, os erros de dados podem não ser identificados e corrigidos, afetando ainda mais a precisão do BI e da análise. Existem várias razões pelas quais as organizações devem ter governança de dados:
- Evite silos inconsistentes em diferentes departamentos ou unidades.
- Concorde com as definições de dados que podem ser compartilhadas e compreendidas em toda a organização.
- Melhore a qualidade dos dados por meio de esforços comuns para identificar e corrigir erros.
- Aumentar a credibilidade das análises e oferecer aos tomadores de decisão informações valiosas
- Implemente e aplique políticas que ajudem a evitar erros e uso indevido de informações
- Garanta o alinhamento com as políticas de privacidade, proteção de dados e outros regulamentos
A má governança de dados também prejudicará as iniciativas de conformidade, o que pode causar problemas para organizações que precisam cumprir novas leis de privacidade e proteção de dados, como o GDPR da União Européia e a Lei de Privacidade do Consumidor da União Européia Califórnia (CCPA).
Um programa de governança de dados normalmente resulta no desenvolvimento de definições de dados comuns e formatos de dados padrão que se aplicam a sistemas de negócios, aumentando a consistência de dados para usos de negócios e conformidade.
Benefícios e objetivos da governança de dados
Um dos principais objetivos da governança de dados é quebrar os silos de dados em uma organização. Esses silos geralmente se acumulam quando unidades de negócios individuais implementam sistemas de processamento de transações separados sem coordenação centralizada ou uma arquitetura de dados organizacional comum.
Gestão de dados tem como objetivo harmonizar os dados nesses sistemas por meio de um processo colaborativo, com stakeholders das diferentes unidades de negócios envolvidas.
Outro objetivo do governo é garantir que os dados sejam usados corretamente, tanto para evitar a introdução de erros de dados nos sistemas quanto para bloquear possíveis uso indevido de dados pessoais sobre clientes e outras informações confidenciais.
Isso pode ser alcançado criando políticas uniformes de uso de dados, juntamente com procedimentos para monitorar o uso e aplicar políticas continuamente. Além disso, a governança de dados pode ajudar a encontrar um equilíbrio entre as práticas de coleta de dados e os regulamentos de privacidade.
Além de análises mais precisas e conformidade regulatória mais forte, os benefícios da governança de dados incluem melhor qualidade de dados; custos mais baixos de gerenciamento de dados; e maior acesso aos dados necessários para cientistas de dados, outros analistas e usuários de negócios.
Em última análise, a governança de dados pode ajudar a melhorar a tomada de decisões de negócios, fornecendo melhores informações. Isso leva a vantagens competitivas, maiores receitas e lucros.
Funções de governança de dados
Na maioria das organizações, várias pessoas estão envolvidas no processo de governança de dados. Isso inclui executivos de negócios, profissionais de gerenciamento de dados e equipe de TI, bem como usuários finais familiarizados com os domínios de dados relevantes nos sistemas de uma organização. Esses são os atores-chave e suas principais responsabilidades de governança.
Diretor de Dados
O chief data officer (CDO), se houver, geralmente é o executivo sênior que supervisiona um programa de governança de dados e tem responsabilidade de alto nível por seu sucesso ou fracaso. O papel do CDO inclui garantir aprovação, financiamento e pessoal para o programa, desempenhando um papel de liderança em seu estabelecimento, monitorando seu progresso e atuando como defensor interno dele. Se uma organização não tiver um CDO, outro executivo C-level normalmente servirá como patrocinador executivo e desempenhará as mesmas funções.
Gerente e Equipe de Governança de Dados
Em alguns casos, o CDO ou um executivo equivalente (um diretor de gerenciamento de dados corporativos, por exemplo) também pode ser o diretor do programa prático de governança de dados. Em outros, as organizações nomeiam um administrador de governança de dados ou os direcionam especificamente para executar o programa. De qualquer forma, o gerente do programa normalmente lidera uma equipe de governança de dados que trabalha no programa em tempo integral. Às vezes, mais formalmente conhecido como escritório de governança de dados, ele coordena o processo, lidera reuniões e sessões de treinamento, rastreia métricas, gerencia comunicações internas e executa outras tarefas de gerenciamento.
Comitê de Governança de Dados
No entanto, a equipe do governo geralmente não toma decisões sobre políticas ou padrões. Essa é a responsabilidade do comitê ou conselho de governança de dados, composto principalmente por executivos de negócios e outros proprietários de dados. O comitê aprova a política fundamental de governança de dados e as políticas e regras associadas sobre aspectos como acesso e uso de dados, bem como os procedimentos para implementá-los. Ele também resolve disputas, como divergências entre diferentes unidades de negócios sobre definições e formatos de dados.
administradores de dados
As responsabilidades do administrador de dados incluem o monitoramento de conjuntos de dados para mantê-los em ordem. Eles também são responsáveis por garantir que as políticas e regras aprovadas pelo comitê de governança de dados sejam implementadas e que os usuários finais as cumpram. Trabalhadores com conhecimento de domínios e ativos de dados específicos são normalmente designados para lidar com a função de gerenciamento de dados. Isso é um emprego de tempo integral em algumas empresas e uma posição de meio período em outras; Também pode haver uma mistura de gerentes de dados de TI e de negócios.
Arquitetos de dados, modeladores de dados e analistas e engenheiros
Arquitetos de dados, modeladores de dados e analistas e engenheiros de qualidade de dados também fazem parte do processo de governança. Além disso, os usuários de negócios e as equipes de análise precisam ser treinados em políticas de governança de dados e padrões de dados para que possam evitar o uso indevido ou o uso indevido de dados. Você pode aprender mais sobre funções e responsabilidades de governança de dados e como estruturar um programa de governança em um artigo relacionado.
Componentes da Estrutura de Governança
Uma estrutura de governança de dados consiste em políticas, regras, processos, estruturas organizacionais e tecnologias que são implementadas como parte do programa de governança.
Ele também detalha itens como a declaração de missão do programa, seus objetivos e como seu sucesso será medido, bem como as responsabilidades de tomada de decisão e retorno para as diversas funções que farão parte do programa.
Portanto, diante de tantas informações, elas devem ser documentadas e compartilhadas internamente para mostrar como funciona, para que fique claro para todos os envolvidos desde o início.
No lado da tecnologia, o software de governança de dados pode ser usado para automatizar aspectos do gerenciamento de programas. Embora as ferramentas de governança não sejam um componente obrigatório da estrutura, elas auxiliam em seu desenvolvimento apoiando o gerenciamento de cronograma e fluxo de trabalho, colaboração, desenvolvimento de políticas de governança, documentação de processos, criação de catálogos de dados e outras funções. Eles também podem ser usados em conjunto com ferramentas de qualidade de dados, gerenciamento de metadados e gerenciamento de dados mestre (MDM).
Implementação de governança de dados
A etapa inicial na implementação de uma estrutura de governança de dados envolve identificar os proprietários dos diferentes ativos de dados em uma empresa e fazer com que eles ou indivíduos designados em suas equipes participem do programa de governança. O CDO (Chief Data Officer), patrocinador executivo ou gerente de governança de dados assume a liderança na criação da estrutura do programa, trabalhando para formar a equipe de governança de dados, identificar administradores de dados e formalizar o comitê de governo.
Terminada a estrutura, começa o verdadeiro trabalho. Políticas de governança e padrões de dados devem ser desenvolvidos, juntamente com regras que definem como a equipe com acesso pode usar os dados.
- Mapeamento e classificação de dados. O mapeamento de dados entre sistemas ajuda a documentar ativos de dados e como os dados fluem pela organização. Diferentes conjuntos de dados podem ser classificados com base em fatores como se contêm informações pessoais ou outros dados confidenciais. As classificações influenciam como as políticas governamentais são aplicadas.
- Glossário de Negócios. Um glossário de negócios contém definições de termos e conceitos de negócios usados em uma organização, por exemplo, o que constitui um cliente ativo. Ao ajudar a estabelecer um vocabulário comum para dados de negócios, os glossários de negócios contribuem para os esforços de governança.
- Dicionário de dados. Dicionários ou catálogos de dados coletam metadados de sistemas e os usam para criar um inventário indexado de ativos de dados disponíveis que incluem informações de fonte de dados, recursos de pesquisa e ferramentas de colaboração. Informações sobre políticas de governança de dados e mecanismos automatizados para aplicá-las também podem ser incorporadas aos catálogos. (ver Chaves para uma organização orientada a dados)
melhores práticas
Como as restrições podem ser colocadas sobre como os dados são tratados e usados, isso pode se tornar um desafio nas organizações. Uma preocupação comum entre as equipes de tecnologia e gerenciamento de dados é que os usuários de negócios podem ser percebidos como “policiais de dados”.
Para promover a adesão dos usuários e evitar a resistência às políticas de governança, gerentes experientes recomendam que os programas sejam orientados pelos negócios, com os proprietários de dados envolvidos e o comitê de governança tomando decisões sobre estruturas de padrões, políticas e regras.
O treinamento e a educação em governança de dados são um componente necessário das iniciativas, principalmente para familiarizar os usuários de negócios e os analistas de dados com as regras de uso de dados, mandatos de privacidade e sua responsabilidade de ajudar a manter a consistência dos conjuntos de dados.
A comunicação contínua com executivos corporativos, gerentes de negócios e usuários finais sobre o andamento de um programa de governança de dados também é obrigatória, por meio de uma combinação de relatórios, boletins informativos por e-mail, workshops e outros métodos de divulgação.
Há uma série de fatores que ajudam o sucesso de uma estrutura de governança:
- Foco no valor do negócio e nos resultados organizacionais.
- Acordo interno sobre responsabilidade de dados e direitos de decisão.
- Um modelo baseado na confiança na origem e preservação dos dados.
- Decisões transparentes que obedecem a um conjunto de princípios éticos.
- Gerenciamento de risco e segurança incluídos como componentes centrais da governança.
- Educação e treinamento permanentes, com mecanismos para medir sua eficácia.
- Uma cultura colaborativa e um processo de governança que incentiva a ampla participação.
As associações profissionais que promovem as melhores práticas em processos de governança de dados incluem DAMA International e a Organização de Profissionais de Governança de Dados. O Data Governance Institute, uma organização fundada em 2004 pela então consultora Gwen Thomas, publicou um modelo de estrutura de governança de dados e uma variedade de guias sobre as melhores práticas de governança.
Desafios da governança de dados
Os primeiros costumam ser os mais difíceis porque as diferentes partes de uma organização geralmente têm visões divergentes das principais entidades de dados de negócios, como clientes ou produtos.
Essas diferenças precisam ser resolvidas como parte do processo de governança, por exemplo, concordando com definições comuns e formatos de dados. Muitas vezes, é um esforço tenso e contencioso, de modo que o comitê de governança de dados precisa de um procedimento claro de resolução de disputas.
Outros desafios comuns que as organizações enfrentam incluem os seguintes itens mostrados abaixo.
mostre seu valor comercial. Este desafio começa desde o início. De forma contínua, demonstrar valor de negócios requer o desenvolvimento de métricas mensuráveis, principalmente melhorias na qualidade dos dados. Isso pode incluir o número de erros de dados resolvidos trimestralmente e os ganhos de receita ou economia de custos resultantes deles. Outras métricas comuns de qualidade de dados medem a precisão e as taxas de erro em conjuntos de dados e atributos relacionados, como integridade e consistência de dados.
Suporte para análise de autoatendimento. O movimento de BI e análise de autoatendimento criou novos desafios de governança ao colocar os dados nas mãos de mais usuários nas organizações. É necessário garantir que os dados sejam precisos e acessíveis aos usuários, ao mesmo tempo em que garante que os usuários (analistas de negócios, executivos, cientistas de dados cidadãos e outros) não façam uso indevido ou entrem em conflito com restrições de dados, segurança de dados e privacidade. O streaming de dados usados para análise em tempo real complica ainda mais esse desafio.
Governando o big data. A implementação de sistemas de big data também adiciona novas necessidades e desafios de governança. Os programas de governança de dados tradicionalmente se concentravam em dados estruturados armazenados em bancos de dados relacionais, mas agora precisam lidar com a combinação de dados estruturados, não estruturados e semiestruturados que os ambientes de big data geralmente contêm, bem como uma variedade de plataformas de dados. e faísca. sistemas, bancos de dados NoSQL e armazenamentos de objetos em nuvem. Além disso, os conjuntos de big data geralmente são armazenados em forma bruta em data lakes e filtrados conforme necessário para usos analíticos.
Principais pilares da governança de dados
Os programas de governança de dados se baseiam em aspectos adicionais do processo geral de gerenciamento de dados, incluindo o seguinte.
- Gestão de dados. Uma responsabilidade essencial do administrador de dados é ser responsável por uma parte dos dados de uma organização, em áreas como qualidade, segurança e uso de dados. As equipes de administração de dados geralmente são formadas para ajudar a orientar e executar a implementação de políticas de governança de dados. Eles geralmente são compostos por usuários de negócios com conhecimento de dados que são especialistas no assunto em seus domínios, embora o administrador de dados também possa ter uma função de tecnologia. Os administradores de dados colaboram com analistas de qualidade de dados, administradores de banco de dados e outros profissionais de gerenciamento de dados, enquanto trabalham com unidades de negócios para identificar requisitos e problemas de dados.
- Qualidade de dados. Melhorar a qualidade dos dados é uma das maiores forças motrizes por trás das atividades de governança. Precisão, integridade e consistência dos dados entre os sistemas são características críticas de iniciativas bem-sucedidas. A limpeza de dados, ou limpeza de dados, é um elemento comum de qualidade de dados. Ele corrige erros e inconsistências de dados, além de correlacionar e remover instâncias duplicadas dos mesmos elementos de dados, harmonizando assim as várias maneiras pelas quais um mesmo cliente ou produto pode aparecer nos sistemas. As ferramentas de qualidade de dados fornecem esses recursos por meio de perfis de dados, análise e recursos de comparação, entre outros recursos.
- Gerenciamento de dados mestre. O MDM (Marter Data Management) é outra disciplina de gerenciamento que está intimamente associada aos processos de governança. As iniciativas de MDM estabelecem um conjunto mestre de dados sobre clientes, produtos e outras entidades de negócios para ajudar a garantir que os dados sejam consistentes em diferentes sistemas em uma organização. O MDM é um ajuste natural com o governo. No entanto, como os programas governamentais, os esforços de MDM podem criar controvérsia nas organizações devido às diferenças entre departamentos e unidades de negócios sobre como formatar dados mestre. Além disso, a complexidade do MDM limitou sua adoção em comparação com a governança de dados. Mas a combinação dos dois levou a uma mudança para projetos de MDM de menor escala impulsionados por metas de governança de dados.
- Casos de uso. A governança eficaz está no centro do gerenciamento dos dados usados em sistemas operacionais e aplicativos de BI e análise. Também é um componente importante das iniciativas de transformação digital e pode ajudar em outros processos corporativos, como gerenciamento de riscos, gerenciamento de processos de negócios e fusões e aquisições. A conformidade com as diretivas de privacidade GDPR e CCPA é outro novo caso de uso para governança de dados. A divulgação dessas histórias de sucesso internamente ajuda a estabelecer uma cultura comum nas organizações.
Provedores e ferramentas de governança de dados
As ferramentas de governança de dados já estão disponíveis em vários provedores.
Isso inclui grandes fornecedores de tecnologia como IBM, Informatica, Information Builders, Oracle, SAP e SAS Institute, bem como especialistas em gerenciamento de dados como Adaptive, ASG Technologies, Ataccama, Collibra, Erwin, Infogix e Talend.
Na maioria dos casos, as ferramentas de governança são oferecidas como parte de conjuntos maiores que também incorporam recursos de gerenciamento de metadados e funcionalidade de fonte de dados.
O software de catálogo de dados também está incluído em muitas das plataformas de gerenciamento de metadados e governança de dados.
Como no caso anterior, está disponível em fornecedores especializados com um produto independente, por exemplo, Alation, Alteryx, Boomi, Cambridge Semantics e Data.world.
