Recentemente, o Google Cloud anunciou a disponibilidade Cloud Dataproc para a nova versão do Kubernetes. Para os usuários desse serviço, essa é uma oportunidade para desfrutar de uma abordagem eficiente para processar grandes volumes de dados.
Em suma, isso significa mais um grande benefício para as empresas, que agora podem ter maior eficiência no processamento de dados entre plataformas.
Desde seu lançamento público, há três anos, o Cloud Dataproc tem ajudado desenvolvedores que procuram gerenciar volumes crescentes de informações. Agora, essa solução oferece suporte à execução de tarefas Spark no Google Kubernetes Engine (GKE).
Ou seja, os desenvolvedores e cientistas de dados podem executar tarefas Apache Spark em clusters GKE. Continue a leitura para saber mais!
As vantagens de utilizar o Cloud Dataproc no Kubernetes
Com o lançamento do Google Cloud, as empresas que utilizarem o Cloud Dataproc no Kubernetes poderão ter ganhos significativos em termos de gerenciamento e produtividade.
A razão para isso é simples: normalmente, os aplicativos Spark são executados em clusters Hadoop YARN. Com o Cloud Dataproc para Kubernetes, os usuários terão uma visualização central que pode abranger os clusters YARN e Kubernetes e não precisam gerenciá-los separadamente.
Além disso, conforme o anúncio publicado no blog do Google Cloud, o suporte para ambos os clusters dará às empresas mais flexibilidade para modernizar cargas de trabalho híbridas específicas, continuando a monitorar cargas de trabalho baseadas em YARN.
Um futuro híbrido
A nova versão do Kubernetes é voltada para empresas que se deparam com sistemas híbridos de nuvens públicas e privadas, além de infraestrutura herdada. Essa solução, originalmente desenvolvida por uma equipe do Google, ajuda a gerenciar e implantar micro serviços ou computação nativa na nuvem que facilitam a execução de aplicativos em várias plataformas.
Em uma postagem no blog dos gerentes de projeto do Google Cloud, Christopher Crosbie e James Malone, a empresa diz que a evolução híbrida está causando ineficiências, pois algumas máquinas permanecem sem uso por um longo período e alguns softwares ficam desatualizados.
Sobre o lançamento do Cloud Dataproc para o Kubernetes em alfa eles escreveram:
“Com este anúncio, estamos trazendo suporte, gerenciamento e segurança de nível corporativo para os trabalhos do Apache Spark executados em clusters GKE.”
Eles ainda ressaltam que o objetivo do Google é fornecer o conjunto mais completo de serviços para atrair o número crescente de empresas que estão migrando suas operações para a nuvem.
Recursos que vão além do Google Cloud
O Apache Spark é o primeiro mecanismo de processamento de código aberto que o Google traz para o Cloud Dataproc no Kubernetes. No entanto, a gigante da tecnologia planeja trazer outros componentes de análise de código aberto, como Apache Flink , Presto e Apache Druid.
Além disso, produtos de nuvem híbrida, como a Anthos, estão tentando tornar o GKE executável praticamente em qualquer lugar. Com isso, visa-se permitir que os clientes executem o Cloud Dataproc em seus próprios Data Centers ou, eventualmente, no Amazon Elastic Kubernetes Service (EKS) e no Azure Kubernetes Services (AKS).
Essa postura vai de encontro com os anseios das empresas que, cada vez mais, estão em busca de produtos e serviços que suportam o processamento de dados em vários locais e plataformas.
Os clientes que desejam experimentar o Cloud Dataproc para Kubernetes precisarão solicitar acesso enviando um e-mail para o Google. Além disso, a liberação alfa, por enquanto, destina-se apenas a fins de teste e experimentação.
Agora você já sabe um pouco mais sobre o novo lançamento do Google Cloud.
Se você se interessa por ferramentas poderosas de análises de dados, então confira 4 benefícios que o BigQuery pode oferecer.
[rock-convert-cta id=”6713″]
