NIST anuncia novo esforço para desenvolver sistemas que possam detectar conteúdo gerado por IA

O Instituto Nacional de Padrões e Tecnologia anunciou hoje o lançamento de uma nova iniciativa chamada NIST GenAI, que visa avaliar modelos generativos de inteligência artificial e criar sistemas que possam identificar textos, imagens e vídeos criados por IA.

O lançamento do novo programa ocorre no momento em que o NIST revela seu primeiro rascunho de publicação sobre riscos e padrões de IA.

O NIST GenAI trabalhará para criar novos benchmarks de IA e tentar construir os chamados sistemas de detecção de “autenticidade de conteúdo” que possam detectar mídia gerada por IA, como texto e vídeos “deepfake”. Este é um esforço para combater os perigos de informações falsas e enganosas geradas pela IA.

O NIST disse num comunicado de imprensa que o novo programa “emite uma série de questões difíceis” destinadas a avaliar as capacidades e limitações dos modelos generativos de IA. Tenta utilizar estas avaliações para prosseguir estratégias que possam “promover a integridade da informação e encorajar a utilização segura e responsável do conteúdo digital”.

O primeiro projeto do NIST AI é um esforço para construir um sistema que possa identificar com precisão se o conteúdo foi criado por um ser humano ou por um sistema de IA, começando com texto, de acordo com o novo site. Embora existam ferramentas que afirmam ser capazes de detectar coisas como deepfakes, que são vídeos manipulados pela IA, vários estudos demonstraram que não são particularmente fiáveis.

É por isso que o NIST está convidando equipes do meio acadêmico, da indústria de IA e de outros pesquisadores para submeter o que chama de “geradores” e “discriminadores”. Geradores são sistemas de IA que geram conteúdo e discriminadores são sistemas projetados para identificar conteúdo criado por IA.

Neste estudo, o NIST exige que os geradores submetidos produzam resumos de 250 palavras ou menos sobre um tópico e conjunto de documentos específicos. O discriminador, por outro lado, tem a tarefa de detectar se o resumo foi criado por um ser humano ou por uma IA. Para garantir a imparcialidade, o NIST GenAI preparará os seus próprios dados de teste. Acrescentou que os sistemas treinados em dados publicamente disponíveis que não cumpram as leis e regulamentos aplicáveis ​​não serão aceites em investigação.

O NIST quer agir o mais rápido possível e planeja abrir as inscrições para o estudo no dia 1º de maio, antes do prazo final de agosto. 2. A investigação terá então início, com resultados esperados até Fevereiro de 2025.

O estudo surge num momento em que a desinformação e a desinformação geradas pela IA parecem estar a tornar-se mais difundidas. Um estudo recente da empresa de detecção de deepfake Clarity descobriu que o número de deepfakes publicados desde o início do ano aumentou mais de 900% em comparação com o mesmo período de 2023.

A implicação é que, à medida que a própria IA generativa se tornar mais amplamente disponível, o conteúdo enganoso se tornará um problema maior. As pessoas expressaram preocupações sobre os perigos do conteúdo gerado por IA, com uma pesquisa recente do YouGov descobrindo que 85% dos americanos estão preocupados em serem enganados por deepfakes.

Documento preliminar de política de IA

Além de lançar o novo programa, o NIST também divulgou uma série de propostas preliminares destinadas a moldar a política do governo dos EUA em matéria de IA. O documento continha um projeto de documento destinado a identificar os riscos da IA ​​generativa e estratégias para a implantação desta tecnologia. Foi criado com a contribuição de um grupo de trabalho público de mais de 2.500 pesquisadores e especialistas e será usado em conjunto com a estrutura existente de gestão de riscos de IA do NIST.

Além disso, o NIST publicou rascunhos de recursos relacionados às estruturas de desenvolvimento de software seguro existentes que descrevem as melhores práticas para o desenvolvimento de aplicações generativas de IA e modelos básicos de uso duplo. O relatório afirma que os modelos subjacentes de dupla utilização, treinados em “dados extensos”, podem ser “modificados para proporcionar elevados níveis de desempenho em tarefas que representam riscos significativos para a segurança nacional e a segurança económica nacional”. “ampla gama de situações” que são “sexuais”. , saúde ou segurança pública nacional, ou uma combinação destes. ”

Outros documentos divulgados hoje pelo NIST referem-se à mitigação de riscos associados ao conteúdo sintético, juntamente com planos para desenvolver padrões globais de IA. Todos os quatro documentos estão abertos para comentários públicos até 2 de junho.

Laurie LoCascio, diretora do NIST e subsecretária de comércio para padrões e tecnologia, disse que a agência está preocupada com o fato de a IA generativa acarretar riscos que são “muito diferentes” daqueles observados no software tradicional. “Esses documentos de orientação não apenas informam os criadores de software sobre esses riscos inerentes, mas também os ajudam a desenvolver formas de reduzi-los e, ao mesmo tempo, apoiam a inovação”, disse ele.

O anúncio de hoje é a resposta do NIST à ordem executiva do presidente dos EUA, Joe Biden, sobre IA, que estabeleceu regras que exigem que as empresas de IA sejam mais transparentes sobre como funcionam os seus modelos. O pedido também estabeleceu padrões para rotular conteúdo de IA gerado e muito mais.

Imagem: Microsoft Designer