(Nikki Mir/Shutterstock)
Snowflake pode ser conhecido como nuvem de dados. Afinal, esse é o lema deste negócio. Mas seu modelo de negócios é semelhante a outra coisa, o iPhone e a App Store da Apple. E a abordagem da Snowflake ao iPhone e à App Store está ganhando atenção à medida que as empresas procuram locais para construir a próxima geração de aplicativos baseados em dados com tecnologia de IA.
“Eu sempre digo que Snowflake é uma nuvem de dados. É uma nuvem onde você pode executar coisas”, disse Benoit Dageville, cofundador e presidente de produtos da Snowflake, na Data Cloud Conference em San Francisco no início desta semana. reunidos na Cúpula.
“Mas é como um iPhone”, continuou ele. “Em nosso modelo, você cria um aplicativo, mas instala esse aplicativo e o executa dentro do perímetro, dentro da nuvem Snowflake. A vantagem disso é que a lógica é refletida nos dados. Os modelos são refletidos nos dados, e não o contrário. Portanto, ao executar esses modelos, você terá controle total e governança completa sobre seus dados.”
“Introduzir a computação aos dados” não é uma ideia nova. Durante o apogeu do Hadoop, o tamanho dos dados tornava proibitivamente caro copiar ou mover os dados para outro servidor para processamento, e isso acontecia com frequência. Mas a experiência Hadoop acabou por explodir com tecnologia complexa e promessas não cumpridas, levando a uma nova geração de data lakes e lakehouses que acabaram por levar à ideia.
O CEO da Snowflake, Sridhar Ramaswamy, e o cofundador Benoit Dageville falam com repórteres no Data Cloud Summit
Ter um armazenamento de dados centralizado onde todos os seus dados são gerenciados e seguros já está na moda há algum tempo e está sendo impulsionado por empresas focadas na revolução da IA. As empresas estão percebendo que os dados certos e bem gerenciados são um ingrediente essencial para alcançar a IA certa e bem gerenciada. E para chegar lá, eles estão recorrendo a uma nova geração de data lakes e lakehouses construídos em padrões abertos como o Apache Iceberg.
Mas assim como não basta ter o smartphone mais avançado do mundo, apenas ter uma cabana aberta no lago não é suficiente. Ela também deseja ter uma variedade de aplicativos pré-construídos, modelos de IA, dados de terceiros, ferramentas de desenvolvimento e uma comunidade ativa de fornecedores em sua plataforma de dados. Em outras palavras, queremos que nossa plataforma de dados se assemelhe ao iPhone e à Apple App Store.
Para esse fim, a Snowflake fez investimentos significativos para oferecer a experiência do iPhone e da App Store. Isso inclui:
- Snowpark: permite que clientes ou fornecedores criem qualquer aplicativo em Python, Java ou Scala e execute-o no Snowflake.
- Snowpark “aplicativos nativos”. Aplicativos nativos do Snowflake. Isso significa que ele funciona em contêineres Snowpark e está totalmente integrado ao ecossistema Snowflake.
- Snowflake Marketplace é onde clientes e fornecedores podem comprar e vender mais de 2.600 aplicativos, conectores e conjuntos de dados.
- Cortex AI é uma coleção de modelos subjacentes pré-avaliados que os clientes podem usar em seus dados Snowflake.
Houve bastante agitação sobre aplicativos nativos no recente Data Cloud Summit. A Snowflake anunciou que um pequeno número de fornecedores criou aplicativos nativos que os clientes podem usar e executar em suas contas privadas da Snowflake. Isto proporciona benefícios significativos aos clientes em termos de garantia da governança de dados.
Em vez de criar pipelines para mover dados e depois testar para ter certeza de que funcionam.
“É seguro, então os clientes podem confiar que seus aplicativos nativos cumprem as políticas de governança de dados da Snowflake”, disse Jeff Hollan, diretor de produto da Snowflake.
“Os clientes não precisam mais se preocupar com a segurança, que é enorme”, disse Horan em entrevista. “Nenhum dado sai da sua conta, o que a torna muito mais econômica.”
Os clientes se beneficiam da capacidade de gerenciar a segurança e o acesso aos seus dados por meio do Horizon, a solução de governança e descoberta da Snowflake. Os fornecedores também se beneficiam porque os aplicativos nativos não permitem que os clientes vejam o interior do modelo de ML. “Somos o intermediário e protegemos ambos os lados da transação”, disse Horan.
Os fornecedores que trabalham em estreita colaboração com a Snowflake estão dispostos a transferir tarefas menos glamorosas (mas importantes), como governança e segurança de dados, para a Snowflake e se concentrar apenas em seus principais pontos fortes, sejam IA ou produtos de dados. Para o AI21 Labs, há menos com que se preocupar ao implantar um modelo híbrido SSM-Transformer chamado Jamba por meio do Cortex AI da Snowflake.
“Ao disponibilizar o Jamba através do Snowflake Cortex, podemos realmente obter a segurança que o Snowflake oferece e garantir que seja um serviço totalmente gerenciado”, disse Dugar. dados nami Esta semana será realizada no Data Cloud Summit. “Estamos pegando carona no Snowflake.”
Executar como um aplicativo nativo no Snowflake também oferece outros benefícios práticos. Por exemplo, disse Dugar, os clientes do AI21 Labs podem usar SQL em vez de Python para trabalhar com modelos Jamba. Você também pode interagir com o Jamba usando outros produtos, como a estrutura Streamlit, que permite o rápido desenvolvimento de front-ends do Snowflake.
“A vantagem disso é que os desenvolvedores podem usar o Streamlit para criar aplicativos de conteúdo e, em seguida, usar o Cortex no back-end para chamar o modelo de linguagem AI21”, disse Dugar. “Snowflake tem um banco de dados de vetores, incorporação e, claro, LLM, tornando-o uma solução ponta a ponta que a Snowflake fornece aos seus clientes.”
A empresa Visual AI Landing AI também está contando com o iPhone para alimentar um novo aplicativo nativo para o Snowflake Marketplace anunciado esta semana.
“Muitos de nossos clientes corporativos adoram nossa tecnologia, mas também adoram o Snowflake para nuvem corporativa e RBAC. [role-based access control], a governança de tudo”, disse Dan Maloney, COO da LandingAI. “No momento, estamos pagando por tudo isso, então nenhum dado sai do ambiente confiável.”
Se os clientes da Landing AI quiserem usar o aplicativo Streamlit para plotar os dados gerados pelo LandingLens, eles não precisarão se preocupar em construir um pipeline de dados e protegê-lo. Basta acessar sua nuvem de dados diretamente e ela estará disponível instantaneamente por meio de todos os outros aplicativos profundamente integrados ao Snowflake.
“Nosso aplicativo nativo está gravando dados no Snowflake”, disse Maloney. “E todas as coisas como Streamlit e Snowflake Cortex AI que são integradas nativamente no Snowflake apenas conversam com tudo o que retorna aos dados.”
A Landing AI escolheu a nuvem da Snowflake para construir esse nível profundo de integração, mas Maloney disse que não planeja replicar esse investimento em outras plataformas de dados tão cedo. Além disso, se você for um cliente Snowflake, a Landing AI terá acesso a clientes na AWS, Microsoft Azure e Google Cloud, disse ele. Essa forte integração ajuda as coisas a andarem mais rápido.
“Isso torna muito fácil o envolvimento deles”, disse Maloney. “Todos os controles de custo que eles configurarem poderão ser monitorados. Todas as coisas que você obtém com o Snowflake como um aplicativo nativo. Há também muitas coisas que você não precisa construir. Portanto, sempre que o Snowflake adiciona um novo recurso , beneficia aplicativos nativos.”
Snowflake tem a reputação de facilitar aos clientes o início da análise de dados. Justin Mullen, CEO e cofundador da DataOps.live, que desenvolve ferramentas de operações de dados para Snowflake, está atualmente trabalhando para construir um mercado onde os fornecedores possam participar e onde os dados dos clientes sejam mantidos seguros em suas próprias contas. on está levando isso para o próximo nível. plataforma.
“Hoje, as coisas estão mudando na Snowflake e todos os nossos dados estão sendo consolidados em uma nuvem de dados”, disse Mullen. dados nami Em uma entrevista recente. “Mas o que o Snowflake é capaz de fazer com todos os seus recursos é que os desenvolvedores de aplicativos e clientes do Snowflake podem trazer seus aplicativos para o Snowflake, e os parceiros podem usar o Snowflake com todo o seu código (código Python) totalmente suportado. topo da plataforma, usando tudo, desde código SQL, serviços de contêiner, etc. para fornecer dados para todo o aplicativo, em vez de fornecer dados para o aplicativo.
“Essa é a diferença, e é por isso que Snowflake teve esse crescimento massivo, com produtos de dados nativos e aplicativos de dados que são executados nos dados principais subjacentes armazenados na plataforma de dados, e é por isso que a Apple “É por isso que você verá algo como uma espécie de App Store”, disse ele. “Essa é a mudança que veremos, e estamos vendo agora, e que evoluirá rapidamente nos próximos 12, 18, 24 meses.”
Snowflake também oferece seus próprios aplicativos e deseja que seus clientes os utilizem. Nenhuma receita adicional é gerada, a menos que os clientes a utilizem para potencializar o processamento de dados. Por exemplo, temos um grande modelo de linguagem chamado Arctic e lançamos recentemente um novo caderno de ciência de dados.
Mas em um mundo como o novo iPhone que a Snowflake está construindo, os clientes não se importam necessariamente de onde vem o aplicativo, e a Snowflake concorda perfeitamente com isso.
“No meu mundo iPhone, 10 dos aplicativos que uso todos os dias são feitos pela Apple, mas 10 dos aplicativos que uso todos os dias não são feitos pela Apple”, disse Horan. “Eu realmente não me importo. Ele só tem os aplicativos que eu preciso. Essa é a ideia.
Produtos relacionados:
Snowflake oferece aos clientes da nuvem o que eles precisam e desejam no Summit 2024
Snowflake adota dados abertos com Catálogo Polaris
Snowpark para Python já está disponível para todos
