(alphaspirit.it_/Shutterstock)
Rockset Inc., uma plataforma de banco de dados analítico em tempo real, anunciou suporte nativo para pesquisa híbrida que combina pesquisa de texto, pesquisa vetorial e filtragem de metadados em uma única consulta.
À medida que a tecnologia de inteligência artificial evolui, os sistemas que suportam a pesquisa e recuperação de dados também devem garantir que os modelos de IA tenham acesso aos dados de que necessitam para processar a informação. Já existe uma proliferação de aplicações que requerem acesso a pesquisas por palavras-chave e vetores, bem como mecanismos robustos de indexação e classificação.
Com a introdução de novos recursos, a Rockset é pioneira na próxima geração de aplicativos de pesquisa e IA. Os usuários agora podem usar a pesquisa híbrida Rockset, que combina dados de texto, vetoriais, geoespaciais e estruturados, para obter os resultados mais relevantes.
O rápido desenvolvimento de modelos de IA, como GPT-4 da OpenAI, Llama-3 da Meta, Gemini do Google e DBRX da Databricks, está inaugurando uma nova era de IA aprimorada, e seu sucesso depende de sistemas poderosos de recuperação e aquisição de dados.
Embora os modelos de IA estejam melhorando a um ritmo incrível, eles não têm a capacidade de reter conhecimento ou possuem capacidades de memória inerentes. Para superar essas limitações, os desenvolvedores integram conhecimento de múltiplas fontes em modelos de IA. No entanto, ter vários sistemas inúteis traz riscos de problemas de qualidade, falta de capacidade de resposta e baixo desempenho.
É aqui que a Pesquisa Híbrida do Rockset se torna útil. Isso simplifica o processo de integração de diferentes tipos de pesquisas de dados para aplicações de IA. Os usuários podem realizar pesquisas por palavras-chave, realizar filtragem de metadados ou invocar pesquisas vetoriais de uma só vez por meio de uma única consulta.
Os desenvolvedores de modelos de IA geralmente precisam incorporar algoritmos de classificação, índices e sinais para melhorar a relevância. A pesquisa híbrida do Rockset permite que os usuários reindexem vetores sem interromper o aplicativo de pesquisa ao vivo.
Além disso, o banco de dados nativo da nuvem do Rockset elimina a necessidade de baixar, instalar e configurar pacotes de software. Isso facilita o gerenciamento de sua instalação, o acesso aos seus dados de qualquer lugar e a escalabilidade fácil para atender à demanda.
A nova versão inclui um design multilocatário para aplicativos RAG, novos algoritmos de classificação como BM25 e Reciprocal Rank Fusion (RRF) e um novo design de pesquisa que usa bitmaps compactados e índices de cobertura para masu melhorias de desempenho.
“Em breve todas as pesquisas serão híbridas”, disse Venkat Venkataramani, cofundador e CEO da Rockset. “A pesquisa por similaridade tem limitações de reconhecimento de domínio e requer uma combinação de resultados de pesquisa vetorial com pesquisas textuais, geoespaciais e estruturadas para fornecer o contexto necessário. O suporte para pesquisa híbrida requer rapidez. Continuamos a inovar em nossa tecnologia de indexação convergente e estamos entusiasmados em apresentar texto algoritmos de pesquisa e classificação para pesquisa híbrida.
Venkat é Datanami Pessoas para assistir em 2022fundou a Rockset em 2016 para atender à crescente necessidade de soluções analíticas em tempo real que possam processar uma variedade de dados. Antes de iniciar a Rockset, Venkat passou oito anos no Facebook, construindo e dimensionando sistemas de dados online.
No ano passado, a Rockset arrecadou US$ 44 milhões para potencializar seus aplicativos de pesquisa, análise e IA. O capital total levantado da Rockset atingiu US$ 105 milhões. À medida que mais organizações procuram aproveitar a eficiência e o desempenho da pesquisa híbrida de IA, espera-se que Venkat, da Rockset, e sua equipe estejam na vanguarda dessa transformação.
