Big data analytics é o processo de examinar conjuntos de dados grandes e variados para revelar padrões ocultos, correlações desconhecidas, tendências de mercado, preferências dos clientes e outras informações úteis. Essas informações ajudam as organizações a tomar decisões de negócios mais bem fundamentadas.
Estruturados ou não estruturados, gerados por humanos ou máquinas, armazenados no data center ou na nuvem, os dados são a nova base da vantagem competitiva.
Nos próximos anos, a transformação digital vai remodelar as organizações, à medida que a maior parte da receita global de negócios passa a girar em torno de produtos e serviços digitais ou digitalmente aprimorados. O gerenciamento e o storage de dados são parte integrante da estratégia de dados de qualquer organização.
O big data reúne dados de muitas fontes e os processa com tecnologias distribuídas para revelar padrões em escala. Tipos de dados não estruturados e semiestruturados normalmente não se encaixam bem em data warehouses tradicionais, baseados em bancos de dados relacionais orientados a conjuntos estruturados. Os data warehouses também podem não dar conta das demandas de processamento de conjuntos de big data que precisam ser atualizados com frequência ou de forma contínua. Para dados não estruturados em grande escala, o storage de dados não estruturados da NetApp oferece capacidade e flexibilidade.
Muitas organizações que coletam, processam e analisam big data recorrem a bancos de dados NoSQL, ao Hadoop e às suas ferramentas complementares:
Cada vez mais, usuários de big data analytics adotam o conceito de um data lake baseado em Hadoop, que serve como repositório principal para fluxos de dados brutos. Nessas arquiteturas, os dados podem ser analisados diretamente em um cluster Hadoop ou processados por um mecanismo como o Spark.
Abordagens mais recentes, como o data lakehouse e o processamento de dados em streaming, também aparecem nesse cenário. O ecossistema de big data reúne distribuições, bancos de dados e componentes de código aberto:
| Segmento | Fornecedores principais |
|---|---|
| Distribuições Hadoop/Apache Software | Cloudera, Hortonworks, MapR |
| Gerenciamento de aplicativos, segurança, conformidade | Splunk |
| Spark | Databricks |
| Bancos de dados NoSQL | Aerospike, Cassandra, Couchbase Server, HBase, MarkLogic, MongoDB, Redis Labs |
| Análise na nuvem | Amazon EMR, Azure HDInsight, Google Cloud Platform |
| Componentes de código aberto | Druid, Elasticsearch, Apache Flink, Apache Hive, Apache Kafka, Apache Mesos, Apache Spark, Apache Solr, Apache Hadoop YARN, Apache ZooKeeper |
Big data e data warehouse resolvem problemas diferentes de gerenciamento de dados. A tabela abaixo resume os pontos principais.
| Critério | Big data | Data warehouse |
|---|---|---|
| Tipos de dados | Estruturados, semiestruturados e não estruturados | Principalmente estruturados |
| Base tecnológica | Hadoop, NoSQL, data lakes | Bancos de dados relacionais |
| Volume e velocidade | Volumes muito grandes, atualização frequente ou contínua | Volumes definidos, cargas programadas |
| Uso típico | Descoberta de padrões, análise exploratória | Relatórios e consultas conhecidas |
O big data aponta o caminho para vários benefícios de negócios, incluindo novas oportunidades de receita, marketing mais eficaz, melhor atendimento ao cliente, maior eficiência operacional e vantagens competitivas.
Segundo uma pesquisa da Datameer de 2016, 78% das empresas concordavam que o big data tinha potencial para mudar de forma fundamental a maneira como faziam negócios ao longo de 1 a 3 anos.
O big data se organiza em torno de tipos de dados e de um conjunto amplo de tecnologias. Os três tipos principais de dados são:
O big data traz ganhos claros, mas também impõe exigências de infraestrutura e de equipe. Os pontos a seguir resumem os dois lados.
Vantagens:
Limitações:
O big data é usado por cientistas de dados, modeladores preditivos, estatísticos e outros profissionais de análise. Eles examinam volumes crescentes de dados estruturados de transações somados a dados semiestruturados e não estruturados.
Entre as fontes estão dados de fluxo de cliques na internet, logs de servidor web, conteúdo de mídia social, texto de e-mails de clientes, respostas de pesquisas, registros de detalhes de chamadas de celular e dados de máquina capturados por sensores conectados à Internet das coisas (IoT).
Trabalhar com big data exige fontes de dados variadas, capacidade de processamento distribuído, storage escalável e equipes com competências em engenharia e análise de dados. Obter insights dos dados rapidamente é decisivo para aproveitar oportunidades, aumentar os lucros e gerenciar riscos, e isso pede funcionalidades de gerenciamento de dados de nível empresarial.
Acelerar a análise de dados de máquina em tempo real ajuda as organizações a detectar ataques cibernéticos antes que causem danos e a evitar fraudes sem prejudicar a experiência do cliente. Extrair inteligência de negócios dos dados dos clientes é essencial para melhorar a satisfação e orientar futuras ofertas.
Plataformas de análise de big data com storage compartilhado ou externo entregam mais escalabilidade e performance. Elas movem os dados para onde são necessários sem interrupções e mantêm esses dados sempre protegidos e seguros.
Data warehouses armazenam dados estruturados em bancos relacionais para consultas conhecidas. O big data lida com dados estruturados, semiestruturados e não estruturados em grande volume, usando tecnologias como Hadoop e NoSQL.
O big data reúne dados de várias fontes e os processa com tecnologias distribuídas como Hadoop, MapReduce e Apache Spark, muitas vezes em um data lake, para revelar padrões e apoiar decisões.
Dados estruturados vêm de transações, dados semiestruturados incluem logs de servidor e dados não estruturados abrangem texto, mídia social e dados de sensores de IoT.
Cientistas de dados, estatísticos, modeladores preditivos e outros profissionais de análise usam big data para examinar grandes volumes de dados de transações, web, mídia social e sensores.
Projetos de big data exigem fontes de dados variadas, processamento distribuído, storage escalável e equipes com competências em engenharia e análise de dados.
Projetos de big data precisam de storage escalável e movimentação segura de dados. Plataformas como a de análise de big data da NetApp entregam performance, backup e menor custo total de propriedade.
A plataforma de análise de big data da NetApp entrega até o dobro da performance e move dados e workloads para a nuvem ou para onde forem necessários, de forma otimizada e segura, mantendo os dados sempre protegidos, seguros e disponíveis.
Com a NetApp, você reduz taxas de licença, custos de hardware e o TCO geral em até 50%, aumentando a utilização de recursos e eliminando cópias desnecessárias de dados.