O Google encontrou uma maneira de ampliar o data warehouse através de múltiplos data centers, usando uma arquitetura desenvolvida por seus engenheiros que pode pavimentar o caminho para sistemas de análise de Biga Data mais ágeis e confiáveis.
O complexo e poderoso sistema de armazenamento de dados Mesa será discutido na Conference on Very Large Data Bases, que aconetecerá em setembro na cidade de Hangzhou, na China.
O Mesa pode armazenar petabytes de dados, atualizar milhões de linhas de dados por segundo e realizar trilhões de consultas por dia, segundo o Google. E como é “geo-replicado em vários datacenters”, é mais preparado para superar falhas.
O Google construiu o Mesa para armazenar e analisar dados críticos para o seu negócio de publicidade, mas a tecnologia pode ser usada para outros trabalhos de data warehouse, semelhantes.
Para o Google, o Mesa resolveu uma série de problemas operacionais que data warehouse corporativos tradicionais e outros sistemas de análise de dados não conseguiam resolver.
A maioria dos data warehouse comerciais não atualiza continuamente os conjuntos de dados. Geralmente fazem isso uma vez por dia ou uma vez por semana. O Google precisava de seus fluxos de dados fossem analisados assim que novos dados fossem criados.
O Google também precisava de maior consistência nas consultas. Algo especialmente difícil quando o banco de dados é replicado em vários servidores em um cluster.
Como nenhum software de código aberto ou comercial existente foi capaz de atender todas as necessidades do Google, eles decidiram criar o Mesa.
O sistema conta com uma série de outras tecnologias desenvolvidas pelo engenheiros da empresa, incluindo o sistema de arquivos distribuídos Colossus, o BigTable e o MapReduce. Para ajudar com a consistência, os engenheiros do Google implementaram uma tecnologia caseira chamada Paxos, um protocolo de sincronização para bases de dados distribuídas.
Além da escalabilidade e consistência, o Mesa oferece outra vantagem: pode ser executado em servidores genéricos, o que elimina a necessidade de hardware caro, especializado. Como resultado, o Mesa pode ser executado como um serviço na nuvem e facilmente ajustado para cima ou para baixo para atender as exigências de carga.
Clique aqui para saber mais sobre o Mesa.
fonte: http://computerworld.com.br/
