A Perplexity, uma empresa que descreve seu produto como um “mecanismo de busca gratuito de IA”, foi criticada nos últimos dias. Imediatamente depois Forbes Eles o acusaram de roubar a história e republicá-la em várias plataformas. com fio Informamos que a Perplexity está ignorando o Protocolo de Exclusão de Robôs (robots.txt) e copiando sites e outras publicações da Condé Nast. site de tecnologia atalho Também acusa a empresa de raspar artigos. agora, Reuters A Perplexity relata que não é a única empresa de IA que ignora arquivos robots.txt e coleta sites para obter conteúdo e usa esse conteúdo para treinar sua tecnologia.
Reuters A empresa confirmou uma carta aos editores da TollBit, uma startup que pode fazer parceria com empresas de IA e celebrar acordos de licenciamento, afirmando que “agentes de IA de múltiplas fontes (em vez de apenas uma empresa) podem evitar o robots.txt”. faça isso”, disse ele. Um protocolo para recuperar conteúdo de um site. ”O arquivo robots.txt contém instruções sobre quais páginas os rastreadores da web podem ou não acessar. Os desenvolvedores da Web usam esse protocolo desde 1994, mas a conformidade é totalmente voluntária.
Embora o nome da empresa não seja mencionado na carta de Tallbit insider de negócios A empresa disse ter descoberto que OpenAI e Anthropic (criadores dos chatbots ChatGPT e Claude, respectivamente) também contornaram os sinais do robots.txt. As empresas já haviam declarado que seus sites respeitariam as instruções de “não rastrear” em seus arquivos robots.txt.
Durante a investigação, com fio Descobriu-se que as máquinas nos servidores da Amazon, “definitivamente operadas pela Perplexity”, estavam contornando as diretivas robots.txt do site. Para verificar se o Perplexity está copiando seu conteúdo, com fio A ferramenta da empresa fornecia instruções curtas que explicavam o título e a história do artigo. A ferramenta supostamente produziu uma paráfrase rigorosa do artigo “com citações mínimas”. E às vezes até produzia resumos imprecisos da história. com fio O chatbot diz que, em um caso, alegou falsamente que um determinado policial da Califórnia havia relatado que um crime havia sido cometido.
Em entrevista com empresa rápida, O CEO da Perplexity, Aravind Srinivas, disse à publicação que a empresa “não está ignorando os protocolos de exclusão de robôs e mentindo sobre isso”. No entanto, isso não significa que você não se beneficie de rastreadores que ignoram protocolos. Srinivas disse que, além de seu próprio rastreador, a empresa usa um rastreador de terceiros; com fio Um deles foi identificado. quando empresa rápida Quando questionado se a Perplexity havia instruído seus provedores de rastreamento a pararem de copiar o site da Wired, ele disse apenas: “É complicado”.
Srinivas defendeu as práticas de sua empresa, dizendo à publicação que o Protocolo de Exclusão de Robôs “não é uma estrutura legal” e sugerindo que editores e empresas como a dele podem precisar estabelecer um novo tipo de relacionamento. Ele também teria insinuado que com fio Usamos prompts intencionalmente para fazer com que o chatbot do Perplexity se comporte da maneira que se comporta, para que usuários comuns não obtenham os mesmos resultados. Sobre os resumos imprecisos gerados pela ferramenta, Srinivas disse: “Nunca dissemos que nunca tivemos alucinações”.
