A Unbabel, uma empresa de tecnologia que fornece serviços de tradução baseados em máquinas e humanos para empresas, utiliza o GPT-4o da OpenAI e outros para traduzir entre o inglês e seis línguas europeias comummente faladas. Criamos um novo modelo de IA que supera os sistemas de IA disponíveis comercialmente. . Línguas asiáticas.
A tradução é um dos casos de uso de negócios mais atraentes para modelos de linguagem em larga escala (LLMs), o tipo de sistema de IA que alimenta chatbots como ChatGPT da OpenAI, Gemini do Google e Claude da Anthropic. E até o momento, a versão mais recente do modelo de IA mais poderoso da OpenAI, GPT-4o, supera todos os concorrentes quando se trata de traduzir idiomas com grandes quantidades de texto digital. (O desempenho do GPT-4 em “linguagens de poucos recursos” que usam muito menos documentos digitais para treinamento nunca foi melhor.)
A Unbabel testou seu modelo de IA, chamado TowerLLM, contra o GPT-4o e o GPT-4 original, o GPT-3.5 da OpenAI e modelos concorrentes do Google e da empresa de tradução de idiomas DeepL. Consideramos traduções do inglês para espanhol, francês, alemão, português, italiano e coreano. Em quase todos os casos, o TowerLLM derrotou por pouco o GPT-4o e o GPT-4. A melhor precisão do TowerLLM foi para tradução inglês-coreano, superando o melhor modelo do OpenAI em cerca de 1,5%. Para traduções em inglês e alemão, GPT-4 e GPT-4o foram vários pontos percentuais melhores.
A Unbabel também testou o seu modelo na tradução de documentos em determinadas áreas especializadas, como documentos financeiros, médicos, jurídicos e técnicos. Mais uma vez, o TowerLLM superou o melhor modelo da OpenAI em 1% a 2%.
Os resultados da Unbabel não foram verificados de forma independente, mas se confirmados, o facto de o GPT-4 ser o melhor em tradução seria quase impossível, mesmo que este modelo tenha sido lançado há 15 meses. Isto pode indicar que continua a ser o LLM com melhor desempenho. benchmarks de linguagem. O mundo acelerado do desenvolvimento de IA pode deixá-lo vulnerável a novos sistemas de IA treinados de diferentes maneiras. A OpenAI está supostamente treinando um LLM novo e mais poderoso, mas sua data de lançamento ainda é indeterminada.
A Unbabel, com sede em São Francisco e Lisboa, disse que a TowerLLM foi treinada para ser multilingue num grande conjunto de dados públicos de texto multilingue. Isso significa que o modelo tem melhor desempenho em tarefas de inferência multilíngue do que modelos concorrentes de IA de código aberto de tamanho semelhante criados por empresas como Meta e a startup francesa de IA Masu.
O TowerLLM foi então ajustado usando um conjunto de dados cuidadosamente selecionado de traduções de alta qualidade entre pares de idiomas. A Unbabel conseguiu ajudar a organizar este conjunto de dados aperfeiçoado utilizando outro modelo de IA (chamado COMETKiwi) que treinou para avaliar a qualidade da tradução.
João Graça, Diretor de Tecnologia da Unbabel, disse: sorte A maioria dos outros LLMs inclui muitos textos em inglês em seu conjunto de treinamento inicial, o que significa que as habilidades de tradução são adquiridas apenas por acaso. No entanto, o TowerLLM foi treinado em um conjunto de dados projetado especificamente para conter grandes quantidades de texto multilíngue. Ele também disse que o ajuste fino de um conjunto de dados pequeno e selecionado de traduções de alta qualidade é fundamental para o desempenho superior do modelo resultante.
Este é um dos vários exemplos recentes em que modelos de IA mais pequenos tiveram um desempenho tão bom ou melhor do que modelos de IA muito maiores quando treinados em conjuntos de dados de maior qualidade. Por exemplo, a Microsoft criou um pequeno modelo de linguagem chamado Phi 3 com apenas 3,8 bilhões de parâmetros (variáveis ajustáveis no modelo). Ele supera os modelos em mais de duas vezes seu tamanho, criando o que a Microsoft chama de conjunto de dados com “qualidade de livro didático”. “A ideia de Faye é que as pessoas devem concentrar-se na qualidade dos seus dados”, diz Graça. Ele ressaltou que todas as empresas de IA usam atualmente o mesmo design básico de algoritmo, com algumas nuances. O que diferencia os modelos são os dados. “É tudo uma questão de dados e do currículo de treinamento. É assim que você alimenta o modelo com os dados”, disse ele.
TowerLLM está atualmente disponível em dois tamanhos, um com 7 bilhões de parâmetros e outro com 13 bilhões de parâmetros. Uma versão inicial do modelo, que estreou em janeiro, chegou perto de igualar o desempenho do GPT-4, mas nunca o superou. Este modelo também funcionou apenas para 10 pares de idiomas. O novo modelo supera o GPT-4 e suporta 18 pares de idiomas.
Este modelo só foi testado em GPT-4o para tradução. Isso significa que o GPT-4 ainda pode ter vantagem em outras tarefas, como raciocínio, codificação, redação e resumo.
Graça disse que a Unbabel está expandindo o número de idiomas que o TowerLLM suporta, com planos de adicionar mais 10 idiomas em breve. Este modelo foi aperfeiçoado para lidar até mesmo com as tarefas de tradução mais especializadas nas quais as empresas estão mais interessadas, como a tradução de documentos jurídicos complexos ou informações sobre patentes e direitos autorais. Eles são treinados para melhorar suas habilidades em “transcriação”, o que significa não traduzir o conteúdo palavra por palavra, mas sim capturar nuances culturais muito sutis, como o uso de coloquialismos e gírias usadas por falantes nativos de um determinado país. “Esta geração vai usá-lo”, disse Graça.
