Os pesquisadores de segurança cibernética acreditam que os programas de inteligência artificial generativa (GenAI) podem causar um grande número de problemas, desde avisos especialmente elaborados que podem violar as proteções até violações de dados que podem revelar informações confidenciais. Há algum tempo que alertamos que eles são vulneráveis a uma ampla gama. gama de ataques.
Quanto mais profunda a investigação, mais os especialistas aprendem quão abrangentes são os riscos da GenAI, especialmente para utilizadores empresariais com dados altamente sensíveis e valiosos.
Também: A IA generativa pode facilmente se tornar maliciosa, apesar das barreiras de proteção, dizem os acadêmicos
“Este é um novo vetor de ataque que abre uma nova superfície de ataque”, disse Elia Zaitsev, diretor de tecnologia do fornecedor de segurança cibernética CrowdStrike, em entrevista à ZDNET.
“Quando se trata de IA generativa, vemos muitas pessoas correndo para usar essa tecnologia e contornando os controles e métodos normais de computação segura”, disse Zaitsev.
“De muitas maneiras, você pode pensar na tecnologia generativa de IA como um novo sistema operacional ou uma nova linguagem de programação”, disse Zaitsev. “Muitas pessoas não têm conhecimento sobre seus prós e contras e como usá-lo corretamente e como protegê-lo adequadamente.”
O exemplo recente mais notório de preocupações de segurança levantadas pela IA é o recurso de recall da Microsoft, que foi originalmente planejado para ser incluído em todos os novos PCs Copilot+.
Pesquisadores de segurança acreditam que um invasor que obtém acesso a um PC usando o recurso de recall pode acessar todo o histórico das interações de um indivíduo com o PC, semelhante a quando um registrador de teclas digitadas ou outro spyware é colocado intencionalmente na máquina. visualizado.
“Eles lançaram um recurso para o consumidor que é basicamente um spyware integrado que copia todas as suas ações em arquivos locais não criptografados”, explicou Zaitsev. “Este é um tesouro para os adversários atacarem, comprometerem e obterem todo tipo de informação”.
Artigo relacionado: Concessionárias de automóveis dos EUA se recuperando de ataques cibernéticos massivos: três coisas que os clientes precisam saber
Em resposta à reação, a Microsoft anunciou que desativaria o recurso por padrão nos PCs e, em vez disso, o tornaria um recurso opcional. Pesquisadores de segurança disseram que o recurso ainda apresenta riscos. A empresa então anunciou que não disponibilizaria mais o Recall como um recurso de visualização nos PCs Copilot + e agora diz que o Recall “estará disponível em breve por meio de um Windows Update pós-lançamento”.
No entanto, a ameaça é mais ampla do que um aplicativo mal projetado. Zaitsev disse que o mesmo problema de centralização de grandes quantidades de informações valiosas existe em todas as tecnologias de modelos de linguagem em larga escala (LLM).
“Muitas pessoas estão correndo para usar esta tecnologia e estão contornando os controles e métodos normais de computação segura”, disse Elia Zaitsev, da CrowdStrike.
ataque de nuvem
“Eu chamo isso de LLM nu”, disse ele, referindo-se ao grande modelo de linguagem. “Quando você treina uma grande quantidade de informações confidenciais, coloca-as em um grande modelo de linguagem e torna esse grande modelo de linguagem diretamente acessível ao usuário final, são usados ataques de injeção imediata que podem basicamente despejar todas as informações de treinamento que podem conter. informação confidencial.
Os executivos de tecnologia empresarial expressaram preocupações semelhantes. Em entrevista ao boletim informativo de tecnologia deste mês, The Technology Letter, Charlie Giancarlo, CEO do fornecedor de armazenamento de dados Pure Storage, comentou que o LLM “ainda não está pronto para a infraestrutura corporativa”.
Giancarlo disse que o LLM carece de “controle de acesso baseado em funções”. Este programa permite que qualquer pessoa receba solicitações de LLM e encontre dados confidenciais absorvidos durante o processo de treinamento do modelo.
Também: CrowdStrike diz que cibercriminosos estão usando Llama 2 AI da Meta
“Não existe uma gestão adequada neste momento”, disse Giancarlo.
“Se eu pedir a um bot de IA para escrever um script de receita, o problema é que ele pode fornecer dados que só eu posso ter”, explicou o CEO. “Mas uma vez que você conta ao bot, ele não pode esquecer. Então alguém pode perguntar: ‘O que vai acontecer com os resultados financeiros da Pure?’ E isso chegará até eles. ” Divulgar os resultados financeiros de uma empresa antes da divulgação programada pode levar a abuso de informações privilegiadas e outras violações de valores mobiliários.
O programa GenAI “faz parte de uma categoria mais ampla do que poderíamos chamar de invasões livres de malware”, disse Zaitsev, e não exige que software malicioso seja inventado e colocado no sistema de computador de um alvo.
Zaitsev disse que os especialistas em segurança cibernética referem-se a esse código livre de malware como “viver fora do solo”, que explora vulnerabilidades incorporadas ao design do programa de software. “Não estamos introduzindo nada externamente; estamos apenas aproveitando o que está embutido no sistema operacional.”
Um exemplo comum de viver da terra envolve injeção de SQL. A injeção de SQL permite criar uma linguagem de consulta estruturada usada para consultar bancos de dados SQL com sequências de caracteres específicas para forçar o banco de dados a executar etapas que normalmente seriam bloqueadas.
Da mesma forma, o próprio LLM é um banco de dados, uma vez que a principal função do modelo é “apenas compactação de dados supereficiente” que efetivamente cria novos armazenamentos de dados. “Isso é muito semelhante à injeção de SQL”, disse Zaitsev. “Esta é uma característica negativa fundamental dessas tecnologias.”
Mas a tecnologia Gen AI não é algo que possa ser jogado fora. Tem valor se usado com cuidado. “Eu vi um grande sucesso com meus próprios olhos. [GenAI] “E já estamos usando essa tecnologia de forma eficaz voltada para o cliente com Charlotte AI, o programa assistente da CrowdStrike que ajuda a automatizar algumas funções de segurança”, disse Zaitsev Ta.
Artigo relacionado: À medida que as ameaças de IA aceleram, as falhas de segurança na nuvem empresarial tornam-se uma “preocupação”
As técnicas para reduzir o risco incluem a validação dos prompts do usuário antes de serem enviados ao LLM e a validação das respostas antes de serem enviadas de volta ao usuário.
“Os usuários não podem passar solicitações não examinadas diretamente para o LLM”, diz Zaitsev.
Por exemplo, um LLM “bare'' pode pesquisar diretamente dentro de um banco de dados acessível via “RAG'' (Search Augmented Generation). Esta é uma técnica cada vez mais popular para capturar prompts do usuário e compará-los com o conteúdo de um banco de dados. Isto amplia a capacidade do LLM de divulgar não apenas as informações confidenciais comprimidas pelo LLM, mas também todo o repositório de informações confidenciais em fontes externas.
RAGs são um método comum para LLMs acessar bancos de dados.
Baidu
A chave, disse Zaitsev, é evitar que o LLM simples acesse diretamente o armazenamento de dados. De certa forma, precisamos domar o RAG antes que o problema piore.
“Aproveitamos a capacidade do LLM de permitir que os usuários façam perguntas abertas, usem isso para determinar o que o usuário está tentando fazer e usem técnicas de programação mais tradicionais para satisfazer a consulta.”
“Por exemplo, Charlotte AI geralmente permite que os usuários façam perguntas gerais, mas o que Charlotte faz é identificar quais partes da plataforma e quais conjuntos de dados têm a fonte da verdade, para responder perguntas a partir daí, em vez de permitir que o LLM consulte o banco de dados diretamente. .
Além disso: a IA está mudando a segurança cibernética e as empresas precisam acordar para a ameaça
“Já investimos na construção desta plataforma robusta com APIs e recursos de pesquisa, por isso não precisamos depender muito do LLM e agora estamos minimizando os riscos”, disse Zaitsev Told.
“É importante ressaltar que essas interações são bloqueadas e não são amplamente divulgadas.”
Zaitsev disse que, além do abuso no Prompt, o fato de a GenAI poder vazar dados de treinamento é uma preocupação muito ampla e é necessário encontrar controles apropriados.
“Você vai digitar seu número de seguro social em um prompt e enviá-lo a um terceiro que não sabe que ele será transformado em um novo LLM que alguém pode vazar por meio de um ataque de injeção?”
“Privacidade, informações de identificação pessoal, saber onde seus dados estão armazenados e quão seguros eles são, são tudo coisas que as pessoas precisam saber ao construir a tecnologia Gen AI e ao trabalhar com outros fornecedores que usam essa tecnologia. preocupado.”
