A engenharia orientada se tornou um trabalho popular na indústria de IA no ano passado, e agora a Anthropic parece estar desenvolvendo uma ferramenta para automatizá-la, pelo menos parcialmente.
A Anthropic lançou na terça-feira vários novos recursos para ajudar os desenvolvedores a criar aplicativos mais úteis usando o modelo de linguagem Claude da empresa, de acordo com uma postagem no blog da empresa. Os desenvolvedores agora podem usar o Claude 3.5 Sonnet para gerar, testar e avaliar prompts e usar técnicas de engenharia de prompt para criar melhores entradas e melhorar as respostas de Claude para tarefas especializadas.
Os modelos de linguagem são muito indulgentes quando solicitam que você execute diversas tarefas, mas às vezes uma pequena mudança no texto do prompt pode melhorar significativamente os resultados. Normalmente, você mesmo teria que criar esse texto ou contratar um engenheiro ágil para fazer isso por você, mas esse novo recurso fornece feedback rápido que torna mais fácil detectar melhorias.
Esses recursos são novos no Console Antrópico.[評価]Alojado em uma guia. Console é uma cozinha de teste de startups para desenvolvedores, criada para atrair empresas que buscam desenvolver produtos com Claude. Um dos recursos anunciados em maio foi o gerador de prompts integrado do Anthropic. É necessária uma breve descrição de uma tarefa e aproveita as técnicas de engenharia de prompt proprietárias da Anthropic para construir um prompt mais longo e mais detalhado. Embora as ferramentas da Anthropic possam não substituir completamente os engenheiros imediatos, a empresa disse que podem ajudar novos usuários e economizar tempo para engenheiros experientes.
A avaliação permite que os desenvolvedores testem a eficácia dos prompts de seus aplicativos de IA em diferentes cenários. Os desenvolvedores podem fazer upload de amostras do mundo real para o conjunto de testes ou pedir a Claude para gerar um conjunto de casos de teste gerados por IA. Os desenvolvedores podem comparar a eficácia dos diferentes prompts lado a lado e avaliar amostras de respostas em uma escala de 5 pontos.
No exemplo da postagem do blog da Anthropic, o desenvolvedor identificou que o aplicativo estava retornando respostas muito curtas em vários casos de teste. Os desenvolvedores poderiam ajustar as linhas do prompt para tornar a resposta mais longa e aplicá-la a todos os casos de teste simultaneamente. Isso pode potencialmente economizar muito tempo e esforço dos desenvolvedores, especialmente aqueles com pouca ou nenhuma experiência imediata em engenharia.
O CEO e cofundador da Anthropic, Dario Amodei, disse em uma entrevista no Google Cloud Next no início deste ano que a engenharia rápida é uma das coisas mais importantes para implantar amplamente a IA generativa na empresa. “Parece simples, mas 30 minutos com um engenheiro ágil muitas vezes podem fazer funcionar um aplicativo que não funcionava antes”, diz Amodei.
