Conforme prometi no post anterior, falarei um pouco sobre algumas das palestras que mais gostei do AWS Reinvent 2014. Vou começar pela palestra em que Jason Timmes, que é Associate Vice President of Software Development da Nasdaq nos contou como eles migraram para o Redshift como seu principal serviço de Data warehouse.
O Redshift é um banco de dados rápido, totalmente gerenciado pela AWS e otimizado para grandes massas de dados em escala de petabytes.
A NASDAQ (National Association of Securities Dealers Automated Quotations; em português, Associação Nacional de Corretores de Títulos de Cotações Automáticas) é um mercado de ações automatizado norte-americano onde estão listadas mais de 2800 ações de diferentes empresas, em sua maioria de pequena e média capitalização. É o segundo maior mercado de ações em capitalização de mercado do mundo, depois da Bolsa de Nova York.
Alguns pontos de destaque da palestra:
- A NASDAQ faz upload de aproximadamente 7 bilhões de novas de linhas por dia para o Redshift, chegando a picos de 14 bilhões em um único dia.
- Através da AWS conseguiram atender todos os severos requisitos de segurança que tinham.
- O Redshift custa apenas 43% do que custava a antiga solução on-premisse que utilizavam.
- Melhor taxa de escrita de 2,76 milhões de linhas por segundo.
- Consultas (queries) estão mais rápidas no que na antiga solução.
- Eles importam os dados de diversos Banco de Dados para o S3 que serve como “fonte da verdade” (source of truth), e depois importam do S3 direto para o Redshift, veja:
- Os usuários finais para consultar os dados no Redshift usam ferramentas como Pentaho, Linguagem R, ou SQL mesmo para exportar dados para manipular no Excel.
- Atualmente, utilizam 21 máquinas/nós do Redshift.
Veja o vídeo da palestra na Integra “(FIN401) Seismic Shift: Nasdaq’s Migration to Amazon Redshift“:
Fique ligado nos próximos posts…
