E se as organizações processassem todos os seus dados para suporte à decisão? O que aconteceria se eles utilizassem um software especializado que servisse para a apresentação das informações e a análise das mesmas? Vamos dar alguns Exemplos de data warehouse para responder a essas perguntas.
Exemplos de data warehouse
Em primeiro lugar, é importante diferenciar dois termos que, por sua abreviatura, podem facilmente nos confundir, e desde o início a intenção é que o usuário saiba o que esperar e alguns conceitos básicos que vai percorrer. encarar. Aqui mostraremos infinitos exemplos que servem para que o indivíduo tenha as ferramentas para distinguir esses elementos.
Definição
Dada a diferença entre os dois termos, procederemos à sua definição formal, visto que se trata de um processo que extrai, transforma, consolida e integra os dados de uma organização, tanto internos como externos, de forma a torná-los acessíveis e úteis na decisão -fazer.
Da mesma forma, o Data warehouse também pode ser definido como uma base de informações do sistema de arquivos eletrônicos, que armazena os dados necessários para a análise da informação e tomada de decisão. Sua diferença é que ele é voltado para o negócio, integrado, variável no tempo e não volátil.
Basicamente, Data Warehousing (DWH) é um processo e Data Warehouse (DW) é um banco de dados.
Características
São vários os aspectos que caracterizam o Data warehouse que fornecem as ferramentas necessárias para o seu uso otimizado, cumprindo assim com as diretrizes programadas que geram as ferramentas para a sua utilização da melhor forma possível. Detalharemos as características de um Data Warehouse:
Orientado à Negócios
Apenas os dados relevantes são inseridos no Data Warehouse para análise e tomada de decisão. Ou seja, dados que não possuem valor analítico, como endereços de salas, códigos postais, endereços de e-mail, entre outros, não são considerados. Mas eles são de interesse variável, como tipo de cliente, localização geográfica, idade, etc.
São administradas entidades de alto nível, como clientes, produtos, itens, áreas, entre outros. Os dados são armazenados de forma multidimensional, ou seja, em tabelas de fatos e dimensões.
Integrada
Todos os dados de fontes heterogêneas são consolidados para garantir sua qualidade e limpeza. As principais fontes de dados são:
De acordo com o tipo de usuário.
-
- Operacional: Diariamente produz grandes quantidades de dados, mas por si só são de pouca relevância para a análise necessária. Por exemplo, vendas de produtos.
- Médio: Gera dados com implicação a curto e médio prazo, com base em dados operacionais. Um bom exemplo desse conceito é a geração de estoque.
- Gerencial: utiliza dados resultantes do processo de integração e transformação. Por sua vez, gera novas informações. Basicamente, refere-se ao usuário do Data Warehouse.
De acordo com a área ou departamento da organização
-
- Áreas: Cada uma tem responsabilidades bem definidas. Eles produzem seus próprios dados que são compartilhados com as outras áreas.
- Subdivisões: geralmente são geográficas. Eles fornecem dados de localização, que devem ser incorporados junto com os demais.
De acordo com a fonte
-
- Internos: eles geram seus próprios dados, provenientes do dia a dia da empresa.
- Externos: Eles complementam os dados internos, por exemplo, censos e estatísticas.
Variante no tempo
Permite o acesso a diferentes versões de uma mesma situação, uma vez que os dados atuais são armazenados juntamente com os dados históricos, nos exemplos de data warehouse.
Não volátil
Garante a estabilidade das informações, pois uma vez que os dados entram, eles não mudam. Ou seja, os dados são manipulados apenas quando são inseridos e quando consultados.
Em resumo, as principais qualidades do Data Warehouse são:
qualidades
Trata os dados em volume, consequência do acúmulo de dados históricos, atuais e agregados, de diversas fontes.
Ele coloca todo o volume de dados em um único banco de dados centralizado. Estruture os dados de forma multidimensional.
Benefícios
Pelas suas características e qualidades, o Data Warehouse apresenta os seguintes benefícios:
- Isso reduz o tempo mínimo necessário para coletar todos os dados relevantes sobre um tópico específico.
- Fornece ferramentas de análise.
- Muitos relatórios e análises são definidos pelo usuário.
- Permite acessar, analisar e monitorar diretamente os indicadores da organização.
- Ajuda a identificar os fatores que afetam o funcionamento da empresa.
- Permite avançar e determinar o comportamento futuro da instituição.
- Os usuários podem consultar dados de forma rápida e fácil.
Resumindo, o Data Warehouse ajuda a organização a responder a questões essenciais para a tomada de decisões. Isso proporciona benefícios competitivos que otimizam sua posição no mercado em que atuam. Algumas dessas questões são:
- Qual é o perfil dos clientes?
- Como é o comportamento deles?
- Qual é a lucratividade do negócio?
- Qual é o risco para a organização?
- Quais serviços e produtos você usa e como pode aumentá-los?
Âmbito de aplicação
Um Data Warehouse pode ser adaptado a qualquer organização, independentemente de seu tamanho e complexidade. Isto é consequência da agenda de qualquer instituição, empresa ou organização na hora de tomar decisões pertinentes sobre os dados que produz.
Riscos de aplicação
Requer um grande investimento por parte da organização. Os benefícios de sua implantação não são vistos no curto prazo, mas no médio e longo prazos.
A manipulação de dados ameaça a manipulação de dados confidenciais.
Aspectos a serem considerados
Conforme mencionado no início, existem vários aspectos que devem ser levados em consideração para a aplicação desses elementos para a utilização de um servidor. Entre eles podemos citar os seguintes:
Custos de aplicação
Um data warehouse acarreta custos de construção, operação e suporte. O custo de construção implica os custos de recursos humanos, tempo e tecnologia, enquanto o de operação e manutenção considera os custos de evolução, crescimento e aqueles produzidos por alterações na origem dos dados.
Impacto nas pessoas
A aplicação de um Data Warehouse sempre gera expectativas nos usuários, que necessariamente terão que adquirir novas competências. O sucesso deste tipo de dados depende do uso ativo e do feedback dos usuários.
Impacto nos processos de negócios e de tomada de decisão
Com a aplicação de um Data Warehouse, podem ser reveladas certas deficiências nos processos de negócio, mas ao mesmo tempo aumenta a confiança nas decisões tomadas com base nos resultados por ele obtidos.
Arquitetura
A arquitetura geral de um exemplo de data warehouse é mostrada na figura acima. Como pode ser visto, este sistema envolve uma série de interações entre seus componentes. A este respeito e de forma resumida, o seu funcionamento pode ser descrito da seguinte forma:
- Os dados são obtidos de várias fontes, como serviços da web, arquivos e outros bancos de dados, internos e externos.
- Uma vez que os dados são extraídos, eles são integrados, transformados e limpos, para posteriormente serem carregados no Data Warehouse.
- Para gerar informações táticas e estratégicas, relatórios e análises são obtidos a partir do carregamento dos dados.
- Finalmente, os usuários podem consultar e explorar os relatórios e análises gerados.
Elementos
Agora vamos descrever alguns dos elementos que podem ser avaliados no Data Warehouse que devem ser considerados.
Fontes de Data Warehouse
Geralmente, são o resultado da atividade diária da empresa, sendo então denominados fontes internas. Quando os dados são obtidos, por exemplo, de servidores da web, eles são considerados fontes externas. Eles são diferentes uns dos outros, pois dependem de sua origem, formato, função, etc.
Extração, transformação e carregamento
Conhecido como ETL, é o processo que inclui todas as tarefas realizadas desde a obtenção dos dados até o carregamento no Data Warehouse. São eles: extração, manipulação, controle, integração, limpeza de dados, carregamento e atualização.
extração
Inclui técnicas que visam obter, de várias fontes, apenas os dados relevantes e mantê-los em armazenamento interno. Este tipo de armazenamento permite que os dados sejam manipulados sem intervir ou alterar as fontes ou o Data Warehouse com mais dados, criando uma camada de extração entre a leitura e o carregamento, armazenando e gerindo os metadados gerados no processo e facilitando a integração.
A extração é baseada nas necessidades dos usuários e nos requisitos definidos para a solução.
Transformação
Estas são as técnicas encarregadas de compatibilizar os diferentes formatos, bem como filtrar e classificar os dados e relacionar as fontes.
Esta função é responsável por aplicar todos os comandos adequados em relação aos dados, de forma a promovê-los de forma forte e razoável que seja compatível e consistente com o Data Warehouse. Além disso, é responsável pela limpeza e qualidade dos dados.
Carga
Quanto às técnicas de carregamento inicial dos dados e atualização periódica do Data Warehouse.
- O carregamento inicial refere-se ao primeiro carregamento de dados que o Data Warehouse recebe. Geralmente, é muito demorado devido ao grande número de registros pertencentes a longos períodos de tempo.
- A atualização periódica refere-se à inserção de pequenos volumes de dados. Seu objetivo é adicionar às amostras do data warehouse apenas os dados gerados na última atualização. Depende das necessidades e requisitos do usuário.
Em suma, através do processo de carregamento de dados, a manutenção do Data Warehouse é garantida.
Em resumo, pode-se dizer que o processo ETL é realizado da seguinte forma:
- Os dados, uma vez extraídos das fontes relevantes, são depositados no armazenamento interno.
- Enquanto os dados são mantidos no armazenamento interno, eles são integrados e transformados.
- Quando os dados são limpos, após a etapa anterior, eles são passados para o Data Warehouse.
Relatórios
Os relatórios são ferramentas gráficas que permitem ao usuário obter relatórios detalhados sobre as informações de sua empresa. A forma de interagir com esses relatórios é bastante simples para o usuário, pois são instruções fáceis de seguir. Basicamente, você deve selecionar opções de um menu, referindo-se às condições e especificações do assunto apresentado.
OLAP
É o componente mais poderoso do Data Warehouse, pois contém o mecanismo de consulta multidimensional especializado do sistema.
Permite a análise da organização a partir de diferentes cenários históricos. Projeta seu comportamento e evolução a partir de uma visão multidimensional, ou seja, combinando diferentes perspectivas, temas de interesse ou dimensões. Isso permite que tendências sejam deduzidas descobrindo relações entre perspectivas que seriam difíceis de encontrar à primeira vista.
Data Mining
É principalmente uma ferramenta estatística, por meio da qual as previsões podem ser feitas. Trata-se de inferir comportamentos, sem que haja regras pré-estabelecidas. Gera relatórios em forma de tabelas e gráficos, entre outros, que promovem a tomada de decisões de forma proativa. Funciona com base em informações já totalmente processadas.
Diferença entre OLAP e Data Mining
Uma vez que os principais aspectos do OLAP e do Data Minig foram considerados, uma diferença básica entre eles pode ser estabelecida.
- Usando OLAP, a situação atual da empresa é interpretada, dando respostas rápidas que facilitam a tomada de decisões.
- O Data Minig prevê situações, com base no estudo de conhecimentos ocultos que provocam determinados tipos de comportamentos.
Consequentemente, ambos os sistemas lidam com a solução de diferentes tipos de situações analíticas.
Data Minig e sua relação com Data Warehouse
Um sistema Data Minig é uma tecnologia de apoio ao usuário final, cujo objetivo é extrair informações úteis das informações contidas no banco de dados das empresas. Em outras palavras, a origem das informações usadas pelos algoritmos do Data Minig são geralmente os dados históricos contidos em um Data Warehouse.
Deve haver uma integração entre as técnicas do Data Minig e os processos envolvidos no Data Warehouse. Ou seja, para realizar a análise do negócio, deve haver acordo entre o Data Minig, o Data Warehouse e o servidor OLAP.
Cada vez que o Data Warehouse fornece novos resultados, a empresa pode reaplicar o Data Minig para otimizar a tomada de decisões.
Resumindo, o Data Minig e o Data Warehouse são ferramentas totalmente compatíveis. O Data Warehouse fornece memória e a inteligência do Data Minig.
Bancos de dados tradicionais vs Data Warehouse
A análise dos aspectos expostos até o momento, nos leva a entender que um Data Warehouse difere dos bancos de dados que suportam as transações diárias das organizações. Aqui as diferenças básicas
- Em bancos de dados tradicionais, as informações são organizadas de forma que possam ser facilmente recuperadas e atualizadas. Um Data Warehouse é organizado e orientado para o usuário final, que só pode fazer consultas.
- Os bancos de dados transacionais cuidam do processamento diário dos dados. O Data Warehouse trabalha com dados históricos, ou seja, correspondentes a longos períodos de tempo.
- Os bancos de dados tradicionais são acessados várias vezes durante um dia de trabalho. Em um Data Warehouse, as leituras e consultas são mínimas, pois é acessado esporadicamente.
- O volume de dados que um Data Warehouse gerencia é muito maior do que o gerenciado em bancos de dados tradicionais.
- A estrutura das bases transacionais é estável. A estrutura de um Data Warehouse varia de acordo com sua própria evolução e uso.
A seguir, vamos estabelecer alguns Exemplos de data warehouse.
Exemplos de data warehouse
Uma empresa nacional, vocacionada para a venda de produtos de limpeza ao atacado e ao varejo, considerada além de média devido ao seu volume de vendas, tem como principal objetivo maximizar seus lucros. Da mesma forma, para conseguir mais clientes, você deseja expandir para um novo patamar de mercado e, posteriormente, expandir sua linha de produtos. Uma de suas principais políticas é melhorar continuamente para obter uma posição melhor em relação aos concorrentes das amostras de data warehouse.
A aplicação de um Data Warehouse oferece os seguintes benefícios para a organização.
- Ele permite que os usuários tenham uma visão geral do negócio.
- Transforme dados operacionais em informações analíticas, com foco na tomada de decisões.
- Gere relatórios dinâmicos que facilitam sua análise.
- Facilita a formação de estratégias para o cumprimento dos objetivos da organização.
- Beneficia a estabilidade da estrutura da empresa.
Outro exemplo de data warehouse diário refere-se à gestão de uma instituição de ensino, que apresenta deficiências na comunicação com seus alunos. Da mesma forma, falta um centro de informações unificado que contenha todas as informações. O objetivo da instituição é acompanhar os alunos durante a carreira e após a graduação, para oferecer novas propostas que aprimorem o desempenho da organização e o desenvolvimento dos alunos.
Com a aplicação de um Data Warehouse procuramos responder às necessidades da universidade. Em princípio, eliminando a duplicação de informação e a presença de dados errados sobre os alunos, bem como toda a informação que, em geral, é considerada de má qualidade e que não é relevante. Além disso, todas as informações são integradas, formando um cadastro unificado de alunos que serve de base para o bom desenvolvimento do projeto da instituição.
Por fim, são promovidas as atividades de marketing, proporcionando maior benefício à universidade e auxiliando no seu crescimento através da correta gestão da informação.
Concluindo, em exemplos de data warehouse, ele oferece a oportunidade de saber o que está acontecendo na organização, o que aconteceu, o que pode acontecer e por quê. Você pode ver o artigo tipos de vírus de computador.