A IA no dispositivo da Qualcomm capacita produtos futuros, de telefones a PCs

A Qualcomm fez recentemente alguns anúncios importantes sobre IA no evento Mobile World Congress Barcelona. Cada anúncio apoia o objetivo da Qualcomm de executar a IA em escala em todos os lugares, inclusive na periferia. O anúncio incluiu:

• IA em grande escala executada em uma ampla variedade de dispositivos de ponta de próxima geração, como PCs, carros, telefones, dispositivos IoT industriais, pontos de acesso Wi-Fi e infraestrutura celular.
• O Qualcomm AI Hub fornece aos desenvolvedores recursos, incluindo mais de 75 modelos de IA otimizados para Snapdragon e outras plataformas Qualcomm.
• Os pesquisadores da Qualcomm estão desenvolvendo modelos multimodais em larga escala e modelos de visão personalizados em grande escala que podem ser executados em smartphones Android e PCs com Windows.

Esses avanços contam com o novo hardware da Qualcomm. O SoC Snapdragon 8 Gen 3 da empresa para dispositivos móveis foi anunciado no MWC, e o Snapdragon X Elite para PC foi anunciado há alguns meses. Esses chipsets permitem IA no dispositivo em muitos dispositivos, incluindo: Smartphone Samsung Galaxy S24Mais recente Iphone E muitos telefones celulares são fabricados na China. Nos próximos meses, a Qualcomm deverá lançar um SoC AI PC com CPU, GPU e NPU capaz de processar velocidades de 45 TOPS.

A Qualcomm também anunciou o modem Snapdragon X80 5G com tecnologia de IA e o chip Wi-Fi 7 de próxima geração FastConnect 7900. Meu colega Anshel Sag descreve esses produtos detalhadamente.

Vamos dar uma olhada mais de perto nos anúncios relacionados à IA.

Centro de IA da Qualcomm

Telefones, PCs e outros dispositivos habilitados para IA exigem novos aplicativos para aproveitar ao máximo seus recursos de IA. A Qualcomm criou o AI Hub para fornecer aos desenvolvedores os recursos necessários para criar e implantar aplicativos de IA no Snapdragon ou em outras plataformas da Qualcomm. Um dos principais facilitadores do AI Hub é uma biblioteca de modelos de IA que são quantizados e otimizados para alto desempenho nessas plataformas.

Parte do apelo dos hubs é a facilidade de uso. Os desenvolvedores simplesmente selecionam o modelo desejado entre mais de 75 modelos populares de IA e IA generativa e escolhem uma referência de estrutura (TensorFlow, PyTorch ou Onyx). O modelo também está disponível no Hugging Face e GitHub.

A seleção de um modelo específico permite que os desenvolvedores selecionem plataformas e dispositivos de destino. Em seguida, para implantação, os desenvolvedores inserem algumas linhas de código para integrar o modelo otimizado em seu fluxo de trabalho e aproveitar os recursos de IA no dispositivo executados em uma das plataformas da Qualcomm.

Além de vários recursos, como geração de imagens e texto, o hub oferece inferência até 4x mais rápida em dispositivos com Snapdragon ou outras plataformas Qualcomm.

Modelos de IA em grande escala agora podem ser executados no Android

Neste evento, a Qualcomm demonstrou com sucesso o primeiro modelo de linguagem em grande escala e o modelo multimodal em grande escala do mundo rodando em smartphones Android. O LLM de 7 bilhões de parâmetros pode aceitar texto, imagens e áudio, permitindo que os usuários tenham várias conversas em seus telefones celulares usando múltiplas interações.

Os usuários fazem perguntas ou inserem informações e o LMM AI responde de acordo. As conversas multivoltas requerem memória contextual para que a IA possa lembrar o contexto e o histórico completo das informações trocadas entre o usuário e a IA. O Multiturn LLM tem a capacidade de lidar com questões complexas exigidas para aplicações altamente interativas, como atendimento ao cliente.

LoRA para smartphones Android

A Qualcomm também alcançou outro marco tecnológico com a primeira adaptação de baixo nível para rodar em smartphones Android. LoRA foi originalmente desenvolvido pela Microsoft para reduzir a complexidade do treinamento do modelo em termos de latência, custo e requisitos de hardware. LoRA oferece uma nova abordagem para geração de imagens e é diferente de ferramentas generativas de IA, como DALL-E. O LoRA reduz os requisitos de memória e melhora a eficiência ao reduzir a complexidade do modelo, permitindo que você personalize e adapte versões leves de seus modelos sem fazer download ou ajustar o modelo completo.

Plataforma Snapdragon X Elite

A Qualcomm construiu o Snapdragon X Elite para executar IA. Seu design inclui uma arquitetura SoC de 4 nm, uma CPU Qualcomm Oryon de 12 núcleos com capacidade de reforço dual-core e uma GPU Qualcomm Adreno integrada para gráficos. Este dispositivo pode durar vários dias com uma única carga de bateria, eliminando o incômodo de carregamentos frequentes. Um dos benefícios mais importantes é que o Snapdragon X Elite pode executar modelos generativos de AI LLM com 13 bilhões de parâmetros.

Para demonstrar as capacidades do SoC, a Qualcomm realizou uma comparação de desempenho entre o PC Snapdragon X Elite e um x86 concorrente com a configuração de GPU, CPU e NPU mais eficiente. Para a comparação, usamos o GIMP, um poderoso editor gráfico raster de código aberto com o plugin Stable Diffusion para geração de imagens GAI. Como mostra a figura, o Snapdragon X Elite com 45 TOPS NPU produziu imagens 3x mais rápido que seus concorrentes x86.

O papel da Qualcomm na localização da IA

Todos os anúncios de IA da Qualcomm no MWC Barcelona representaram avanços significativos. A empresa levou com sucesso a IA e a computação para além dos dispositivos tradicionais, de smartphones a PCs, e suas plataformas SoC Snapdragon 8 Gen 3 e Snapdragon X Elite PC para dispositivos móveis oferecem IA generativa. Ela pode executar uma variedade de funções de IA em visão computacional, e processamento de linguagem natural. . A Qualcomm também forneceu aos desenvolvedores recursos aprimorados de IA.

A capacidade de executar grandes modelos multimodais e versões leves de modelos em smartphones Android permite novos recursos em uma ampla variedade de domínios. Os usuários do Android poderão interagir com assistentes virtuais em aplicativos como serviços financeiros, saúde e comércio eletrônico, só para citar alguns. A IA também dá aos jogos uma dimensão totalmente nova. Além de desafiar adversários desafiadores, os agentes de jogos de IA podem gerar novos conteúdos de jogo e ajustar dinamicamente as regras e o jogo, dependendo da experiência do jogador e do desejo de um desafio maior. A aplicação de IA torna quase qualquer jogo mais desafiador e realista. Os smartphones Android podem executar modelos complexos de IA de forma eficiente, proporcionando melhores experiências ao usuário e funcionalidades aprimoradas por meio de processamento de linguagem natural e visão computacional.

A democratização total da IA ​​será fortemente influenciada pela comercialização de IA em dispositivos pela Qualcomm em escala na periferia e em outros lugares. Este é um conceito que apoia o objetivo da indústria de permitir a computação inteligente em todos os lugares. Em conjunto, o anúncio do MWC posiciona a Qualcomm como um player importante na indústria de IA. Estas capacidades deverão ajudar a impulsionar a adoção da IA ​​em grande escala.