Post publicado no blogue oficial da Google Cloud assinado por Gerrit Kazmaier, Vice President & General Manager for Database, Data Analytics & Looker da Google Cloud.
Hoje, os dados existem em vários formatos: disponibilizados em fluxos em tempo real e estendem-se por muitos data centers e nuvens diferentes, em todo o mundo. Das análises de dados, à engenharia de dados passando pela IA/ML e aplicações orientadas por dados, a forma como tiramos partido e partilhamos dados continua a alargar-se. Os dados passaram para lá do analista e agora impactam cada funcionário, cada cliente e cada parceiro. Com o crescimento dramático da quantidade e tipos de dados, cargas de trabalho e utilizadores, estamos num ponto de inflexão em que as arquiteturas de dados tradicionais – mesmo quando implementadas na cloud – não conseguem libertar todo o seu potencial. Por isso mesmo, o fosso entre os dados e o valor extraído (data-to-value gap) está a crescer
Para enfrentar estes desafios, estamos a lançar várias inovações Cloud ao nível dos dados que permitem que os nossos clientes trabalhem dados sem limites, em todas as cargas de trabalho, e estendam o acesso a todos. Estes anúncios incluem fluxos de alterações no BigLake e Spanner para unificar ainda mais os dados do cliente ao mesmo tempo que garantem que são disponibilizados em tempo real, bem como o Vertex AI Workbench e o Model Registry para diminuir o data to AI value gap. E para colocar os dados ao alcance de qualquer pessoa, estamos a anunciar uma experiência unificada de business intelligence (BI) que inclui uma nova integração do Workspace, juntamente com novos programas que reforçam, ainda mais, o nosso ecossistema de parceiros data Cloud.
Remover todos os limites sobre os dados
Uma das inovações mais importantes que estamos a anunciar hoje é uma primeira versão do BigLake, um motor de armazenamento data lake, para remover os limites de dados através da unificação de data lakes (repositórios com conjuntos grandes e variados de dados brutos em formato nativo) e data warehouses. Gerir dados em data warehouses e data lakes leva à criação de silos e isto aumenta o risco e o custo, especialmente quando os dados precisam ser movidos. O BigLake permite às empresas unificarem os seus data warehouses e lakes para analisarem dados sem se preocuparem com o formato ou sistema de armazenamento subjacente o que elimina a necessidade de duplicar ou mover dados de uma fonte e reduz custos e ineficiências.
Com o BigLake, os clientes ganham controlo de acesso refinado com uma API com abrange a Google Cloud e formatos de arquivos abertos como o Parquet bem como motores de processamento em código aberto como o Apache Spark. Estes recursos estendem uma década de inovações com o BigQuery para os data lakes na Google Cloud para garantir uma arquitetura open lake house flexível e económica.
Hoje, o Twitter usa os recursos do BigQuery Storage para remover os limites nos dados de modo a entender melhor como as pessoas usam sua plataforma e quais os tipos de conteúdo que elas podem ter maior interesse. Em resultado disto, eles podem servir conteúdo em biliões de eventos por dia com um pipeline de anúncios que executa mais de 3 milhões de agregações por segundo.
Outra das grandes inovações que estamos a anunciar são os fluxos de alterações no Spanner. Em breve, este novo produto irá remover os limites de dados para os nossos clientes, permitindo que eles acompanhem, em tempo real, as alterações na sua base de dados Spanner para desbloquear valor novo. Os fluxos de alterações acompanham inserções, atualizações, exclusões e fluxos no Spanner em tempo real em toda a base de dados Spanner. Isto garante ao mesmo tempo que permite que se possa replicar, de forma simples, as mudanças no Spanner para o BigQuery para análises em tempo real, acionar a aplicação de comportamento a jusante usando o Pub/Sub ou armazenamento das alterações no Google Cloud Storage (GCS) para compliance. Com a adição dos fluxos de alterações, o Spanner, que processa mais de 2 mil milhões de solicitações por segundo no pico, com escala, consistência global e até 99,999% de disponibilidade, proporciona aos clientes possibilidade sem fim para o processamento dos seus dados.
Remover os limites nas cargas de trabalho de dados
O nosso portfólio de IA é alimentado pelo Vertex AI, uma plataforma gerível com todas as ferramentas de ML necessárias para criar, implementar e escalar modelos e é otimizada para funcionar perfeitamente com cargas de trabalho de dados no BigQuery e para além dele. Hoje, estamos a anunciar inovações Vertex IA que irão proporcionar aos clientes uma experiência ainda mais simplificada para colocar modelos de IA em produção mais rapidamente e facilitar ainda mais a manutenção.
O Vertex AI Workbench, que agora está disponível para todos, traz dados e sistemas de ML para uma única interface para que as equipas tenham um conjunto de ferramentas comum de análise de dados, ciência de dados e aprendizagem de máquina. Com integrações nativas no BigQuery, Severless Spark e Dataproc, o Vertex AI Workbench permite que as equipas criem, treinem e implementem modelos de ML 5 vezes mais rápido do que nos notebooks tradicionais. Na verdade, um retalhista global foi capaz de gerar vários milhões de vendas incrementais e obter uma velocidade 15% mais rápida na chegada ao mercado com o Vertex AI Workbench.
Com o Vertex AI, os clientes têm a capacidade de atualizar regularmente os modelos. Porém, a gestão de um grande número de artefatos pode rapidamente sair do controlo. Para resolver isto, estamos hoje a anunciar novos recursos de MLOps com o Vertex AI Model Registry. Agora em versão provisória, o Vertex AI Model Registry oferece um repositório central para descobrir, usar e controlar modelos de aprendizagem de máquina, incluindo os do BigQuery ML. Isto torna mais fácil aos cientistas de dados partilharem modelos e programadores de aplicações o consumo, o que significa que eles podem facilmente transformar dados em previsões e decisões em tempo real e, de forma geral, serem mais ágeis diante das mudanças na dinâmica do mercado.
Alargando o alcance do seus dados
Hoje, estamos a lançar o Connected Sheets for Looker e a capacidade de acesso aos modelos de dados Looker no Data Studio. Os clientes agora podem interagir com os dados da forma que escolherem, seja através do Looker Explore, de uma Folha Google ou através da interface de arrastar e soltar do Data Studio. Isto tornará mais fácil para todos aceder e desbloquear insights de dados para impulsionar a inovação e tomar decisões baseadas em dados com esta nova plataforma unificada de business intelligence (BI) do Google Cloud. Esta experiência unificada de BI facilita o acesso a dados corporativos governados e confiáveis, a incorporação de novos conjuntos de dados e cálculos e a colaboração com colegas.
O Mercado Livre, o maior ecossistema de comércio e pagamentos online da América Latina, adotou desde o início o Connected Sheets for Looker. Recorrendo a esta integração, eles conseguiram proporcionar acesso alargado aos dados através de uma interface de folha de cálculo com a qual os colaboradores já estavam familiarizados. Ao reduzir a barreira de entrada, eles conseguiram construir uma cultura focada nos dados onde qualquer pessoa da empresa pode tomar decisões com base nos dados.
Duplicando o ecossistema de parceiros de dados Cloud
A redução do data-to-value gap com estas inovações de dados não seria possível sem o ecossistema incrível de parceiros. Hoje, existem mais de 700 parceiros de software que alimentam as suas aplicações recorrendo à Cloud de dados da Google. Muitos parceiros como a Bloomreach, Equifax, Exabeam, Quantum Metric, e a ZoomInfo software começaram a usar as nossas capacidades com a iniciativa Built with BigQuery que proporciona acesso a equipas de engenharia, co-marketing e apoio para chegada ao mercado.
Os nossos clientes querem as melhores soluções de parceiros que estejam totalmente integradas e otimizadas com produtos como o BigQuery. É por isso que hoje anunciamos o Google Cloud Ready - BigQuery, uma nova validação que reconhece soluções cumprem um conjunto de requisitos funcionais e de interoperabilidade. Hoje, já reconhecemos mais de 25 parceiros neste novo programa Google Cloud Ready - BigQuery que reduz custos para os clientes associados com novas ferramentas de avaliação ao mesmo tempo que adiciona suporte a novos casos de uso de clientes.
Também estamos a anunciar um novo Programa de Migração de Base de Dados para ajudar os nossos clientes a acelerar de forma rápida e transparente a migração local e de outras clouds para os serviços de base de dados, líderes de indústria, da Google. Isto inclui ferramentas, recursos e experiência de parceiros como a Deloitte bem como incentivos para compensar o custo da migração de base de dados.
Estamos comprometidos com a inovação contínua com as principais empresas de dados e analytics nas quais os nossos clientes estão a investir. Esta semana, Databricks, Fivetran, MongoDB, Neo4j e Redis estão a anunciar novos recursos significativos para clientes na Google Cloud.
Post A Comment:
0 comments: