Criar uma estratégia de dados dentro da empresa traz mais benefícios do que se imagina. Para estabelecê-la, os passos principais são: Identificar, Armazenar, Provisionar, Processar e Governar. Confira a seguir como isso pode eliminar grandes gargalos nos negócios
O gerenciamento de dados é um problema em muitas organizações, mesmo nas que investem nisso em longo prazo. Uma razão é que os dados, tradicionalmente, são percebidos como apenas um aspecto de um projeto de tecnologia; não são tratados como um ativo corporativo. Por consequência, acredita-se que os esforços de planejamento de aplicativos e bancos de dados são suficientes para resolver problemas contínuos de dados.
À medida que o armazenamento de dados corporativos cresce tanto em tamanho quanto em diversidade de área e de assunto, fica evidente que é necessário uma estratégia para lidar com dados. Com base em um material da norte-americana SAS, é possível entender a partir de um case real de uma organização. Veja a seguir.
Estratégia de dados: que problema resolve?
Considere o exemplo de uma equipe de consultoria ajudando um grande banco a desenvolver uma estratégia de dados. O banco já é bem-sucedido. Suas receitas e custos foram bem gerenciados e as unidades de negócios e os grupos de tecnologia individuais foram bons em cumprir seus compromissos. A gerência está sempre procurando maneiras de aumentar a produtividade dos funcionários e reduzir os custos contínuos. Há todos os tipos de métricas e indicadores chave de desempenho (KPIs) para medir a performance da TI, os benefícios dos negócios e o custo total de propriedade. A ideia de construir mais um roteiro para resolver um problema que não era bem compreendido não foi bem recebida pelo vice-presidente:
“Temos dezenas de projetos em andamento. Somos muito bons em gerenciar nossas necessidades de armazenamento, nossos sistemas de aplicativos, plataformas analíticas, custos de software e orçamentos individuais de projetos. Todo projeto identifica os custos de pessoal e recursos e nunca avançamos sem que a empresa cubra os custos. Por que precisamos de uma estratégia de dados? Que problema vai resolver? Diga-me por que sua ideia é mais importante do que os itens que já estão na lista de prioridades."
Onde está o problema?
O problema levantado pela consultoria não estava relacionado a projetos ou iniciativas específicas e sim com o uso dos dados em nível corporativo e como isso acontecia nos mais diversos níveis da empresa.
Portanto, o problema principal levantado era que todos os projetos no banco tratavam os problemas de dados como atividades pontuais e desintegradas. Por conta disso, a equipe de negócios - dependente de seus próprios esforços operacionais e de relatórios – enfrentava uma série de desafios como:
O marketing tinha que atualizar continuamente seu sistema de campanha para se ajustar às mudanças frequentes (e não comunicadas) que ocorriam nos layouts das extrações recebidas.
Os gerentes de vendas sempre tiveram perguntas sobre os relatórios de KPI com detalhes do cliente, pois os títulos e os rótulos variavam entre os relatórios (mesmo que contivessem dados comuns).
Os usuários das unidades de negócios geralmente criavam seus próprios relatórios em vez de usar os relatórios padrão do departamento financeiro, porque não havia como determinar a origem dos dados do relatório padrão.
Os resultados de tudo isso eram dados duplicados, sobreposições de processamento e pouca conscientização de que projetos individuais estavam replicando o trabalho. Não havia nada para apoiar a comunicação, colaboração ou compartilhamento de métodos e práticas de dados entre projetos e sistemas.
Os 5 componentes de uma estratégia de dados
A ideia por trás do desenvolvimento de uma estratégia de dados é garantir que todos os recursos de dados sejam posicionados de forma que possam ser usados, compartilhados e movidos com facilidade e eficiência. Os dados não são mais um subproduto do processamento de negócios - são um ativo crítico que permite a tomada de decisões.
Existem cinco componentes principais de uma estratégia de dados que funcionam juntos para dar suporte abrangente ao gerenciamento de dados em uma organização:
Identificar
Armazenar
Provisionar
Processar
Governar
1) Identificar
Um dos pontos mais básicos para usar e compartilhar dados em uma empresa é estabelecer um meio de identificar e representar o conteúdo. Seja um conteúdo estruturado ou não estruturado, a manipulação e o processamento de dados não são viáveis a menos que o valor dos dados tenha um nome, um formato definido e uma representação de valor. O estabelecimento de convenções consistentes de nomeação e valor de elementos de dados é essencial. Esses detalhes devem ser independentes de como os dados são armazenados (em um banco de dados, arquivo, etc.) ou do sistema físico em que residem.
Também é importante ter um meio de referenciar e acessar os metadados associados aos seus dados (definição, origem, local, valores de domínio, etc.). Consolidar a terminologia e o significado dos negócios em um glossário de dados corporativos é um meio comum de lidar com parte do desafio.
As bibliotecas têm catálogos porque é impraticável lembrar a localização de cada livro. Os metadados são críticos para o uso de dados corporativos, porque é impossível saber a localização e o significado de todos os dados corporativos da empresa - milhares de elementos de dados em várias fontes de dados. Sem um glossário de dados e metadados (ou seja, o "catálogo de cartões de dados"), as empresas provavelmente ignorarão alguns de seus ativos de dados mais valiosos porque não saberão que existem.
Um catálogo de cartões de dados.
2) Armazenar
O armazenamento de dados é um dos recursos básicos do portfólio de tecnologia de uma empresa. Muitas organizações têm métodos maduros para identificar e gerenciar as necessidades de armazenamento de sistemas de aplicativos individuais; cada sistema recebe armazenamento suficiente para suportar seus próprios requisitos. Mas essa abordagem reflete apenas uma perspectiva. Não inclui compartilhamento e uso de dados.
A razão é simples: o compartilhamento de dados mais visível no universo tecnológico é de natureza transacional. Detalhes transacionais entre aplicativos são movidos e compartilhados para concluir um processo de negócio específico. O compartilhamento de dados em massa não é bem compreendido e geralmente é percebido como uma ocorrência pontual ou pouco frequente.
Com a difusão do Big Data, a maior parte desse conteúdo compartilhado se enquadra em duas categorias:
dados criados internamente (referentes ao cliente, à compra etc.);
conteúdo criado externamente (aplicativos em nuvem, dados de terceiros, conteúdo sindicalizado, etc.).
A falta de um processo de compartilhamento de dados
gerenciado centralmente força todos os sistemas a gerenciar esse espaço individualmente, para que todos criem sua própria cópia da fonte. A chave é garantir que haja um meio prático de armazenar todos os dados criados, de uma maneira que permita que eles sejam acessados e compartilhados com facilidade. Basta armazenar os dados uma vez e fornecer uma maneira para que as pessoas os encontrem e acessem.
Depois que os dados são criados, podem ser compartilhados com vários outros sistemas, por isso é essencial tratar do armazenamento com eficiência, de uma maneira que simplifique o acesso. Uma boa estratégia de dados garantirá que todos os dados criados estejam disponíveis para acesso futuro sem exigir que todos criem suas próprias cópias.
Cada sistema que cria suas próprias cópias de dados causa um aumento de quatro vezes no armazenamento e no processamento
3) Provisionar
Nos primeiros dias da TI, a maioria dos sistemas de aplicativos era construída como mecanismos de processamento de dados independentes e individuais, que continham todos os dados necessários para executar suas tarefas definidas. Havia pouco ou nenhum pensamento sobre o compartilhamento de dados, que eram organizados e armazenados para a conveniência do aplicativo que coletou, criou e armazenou o conteúdo.
A lógica e as regras necessárias para decodificar dados para uso por terceiros raramente são documentadas ou mesmo conhecidas fora da equipe de desenvolvimento. A maioria das organizações de TI não fornece recursos orçamentários ou de equipe para lidar com o compartilhamento de dados não transacionais. Em vez disso, é tratado como uma cortesia ou conveniência - e muitas vezes como um favor pessoal entre os funcionários.
Quando os dados são compartilhados, geralmente são empacotados de acordo com a conveniência do desenvolvedor do aplicativo, não do usuário dos dados. Essa abordagem pode ter sido aceitável quando apenas alguns sistemas e poucas equipes precisavam de acesso. Mas é impraticável no mundo de hoje, onde a TI gerencia dezenas de sistemas que dependem de dados de várias fontes para dar suporte a processos de negócios em muitas áreas distintas. Empacotar e compartilhar dados com a conveniência de um desenvolvedor de fonte única - em vez de os indivíduos gerenciarem 10 sistemas de recebimento de dados que exigem os dados – não faz sentido.
Se os dados de uma empresa são realmente um ativo corporativo, devem ser empacotados e preparados para o compartilhamento. Para tratar os dados como um ativo, e não como um fardo para fazer negócios, uma estratégia de dados deve abordar seu provisionamento como um processo de negócios padrão.
Detalhes do cliente armazenados e referenciados de maneira diferente em cada aplicativo operacional.
4) Processar
Os dados gerados a partir de aplicativos são um tesouro de conhecimento - mas são uma mercadoria bruta no momento da criação. Não foram preparados, transformados ou corrigidos para tornarem-se "pronto para uso". Processar é o componente da estratégia de dados que aborda as atividades necessárias para evoluir os dados de um ingrediente bruto para um produto acabado.
Os dados do sistema de origem são muito parecidos com um ingrediente bruto em um processo de fabricação. Para que um fabricante construa um produto (digamos, uma caixa de cereal), deve adquirir uma grande quantidade de ingredientes crus (farinha, frutas, nozes, papelão, tinta de impressão, etc.) e desenvolver um processo de fabricação para construir e entregar um produto. Uma caixa cheia de farinha, nozes e tinta não está pronta para uso; cozimento, processamento, embalagem e transporte são necessários para produzir um produto pronto para uso e disponível na prateleira do mercado.
Nas empresas, os dados internos são gerados a partir de dezenas (se não centenas) de sistemas de aplicativos. Os dados externos podem ser entregues a partir de uma variedade de fontes diferentes (aplicativos em nuvem, parceiros de negócios, provedores de dados, agências governamentais, etc.). Eles não foram compactados de maneira a serem integrados à combinação exclusiva de fontes existentes em cada empresa. Para prepara-los para o uso, são necessárias várias etapas para transformar, corrigir e formatar. O resultado desse processo é um pequeno conjunto de conjuntos de dados homogêneos que podem ser mesclados ou integrados por um usuário de dados com um conjunto de tarefas de preparação de dados específicas para suas necessidades individuais (análise, processamento de transações, compartilhamento de dados, etc.).
Embora a maioria das organizações tenha iniciativas para abordar a reutilização e colaboração de códigos para o desenvolvimento de aplicativos, elas não concentraram esse esforço na entrega de dados prontos para uso e promove o compartilhamento e a reutilização. Não é prático (nem apropriado) que os usuários de dados se tornem desenvolvedores. Preparar os dados para uso é oferecer ferramentas e estabelecer processos para produzir dados que os indivíduos possam usar - sem o envolvimento da TI.
5) Governar
Como os dados ainda são frequentemente percebidos como subprodutos do processamento de aplicativos, poucas organizações desenvolveram completamente os métodos e processos necessários para gerenciá-los fora do contexto de um aplicativo e em toda a empresa.
Cada fonte de dados contém dados exclusivos (caixas coloridas). Como cada aplicativo cria sua própria lógica de integração, os valores dos dados podem diferir em cada aplicativo.
A maioria das iniciativas de governança de dados começa abordando questões táticas específicas (precisão dos dados, definição de regras de negócios ou padrões de terminologia) e limita-se a organizações ou esforços de projetos específicos. À medida que a conscientização sobre governança aumenta e que os problemas de compartilhamento e uso de dados ganham visibilidade, as iniciativas se ampliam, levando a definição de um conjunto de políticas, regras e métodos de informação para garantir o uso, a manipulação e o gerenciamento uniformes de dados.
A função que a governança desempenha dentro de uma estratégia geral é garantir que os dados sejam gerenciados de forma consistente em toda a empresa. As decisões sobre como os dados são processados, manipulados ou compartilhados não são tomadas por um desenvolvedor individual; eles são estabelecidos pelas regras e políticas de governança de dados.
É simplesmente impraticável avançar - sem um esforço integrado de governança - ao estabelecer um plano para abordar todas as maneiras de capturar, armazenar, gerenciar e usar as informações. A governança fornece o rigor necessário sobre o conteúdo dos dados, à medida que ocorrem alterações nas áreas de tecnologia, processamento e metodologia associadas ao esforço da estratégia.
O poder de uma estratégia de dados é que ela o posiciona para oferecer a melhor solução possível à medida que as necessidades da sua organização crescem e evoluem. Quando novos requisitos surgem e as lacunas se tornam visíveis, a estrutura do componente fornece um método para identificar as alterações necessárias nas várias áreas de tecnologia e capacidade de gerenciamento de dados da empresa.