À medida que nos aproximamos do Nvidia GTC, os seguintes pontos são dignos de nota. dentes Outro jogador na cidade. Ou ao sul da cidade, em San Diego, fica a Qualcomm. A empresa vem desenvolvendo experiência e tecnologia em IA há mais de uma década e acredita que sua liderança sobre os rivais móveis em hardware e software de IA é significativa. A empresa possui uma ampla família de SoCs que compartilham a principal tecnologia de acelerador de IA. SnapdragonX EliteSnapdragon 8 Gen 3 para dispositivos móveis e Cloud AI100 Ultra para IA de data center.
Fiquei interessado pela Qualcomm AI pela primeira vez em um almoço que a empresa patrocinou em São Francisco em 2017. Os engenheiros pareciam genuinamente entusiasmados para falar sobre IA no Snapdragon para dispositivos móveis e CloudAI 100, que possui cerca de 400 TOPS. Quando foi lançado em 2020, consumia apenas 75 watts de potência. Esta é uma quantidade incrível de desempenho de IA com baixo consumo de energia. Na verdade, a empresa continua líder de mercado. Vamos dar uma olhada por que achamos que a Qualcomm atualmente ocupa a pole position no processamento de inferência na borda.
Por que a Qualcomm pode demonstrar liderança em IA de ponta
Conversei recentemente com Ziad Asghar, vice-presidente sênior de gerenciamento de produtos da Qualcomm, para discutir a estratégia e os produtos de IA da Qualcomm. A Qualcomm acredita que grande parte da inferência de IA feita atualmente na nuvem será transferida para dispositivos de ponta. Afinal, se seus dispositivos de borda têm capacidade de processamento e memória suficientes para realizar seu trabalho, por que dedicar tempo à infraestrutura de um CSP quando você pode realizar o trabalho em dispositivos que já possui? É grátis, certo? Além disso, Ziad previu que aplicativos de IA como o Microsoft Co-Pilot, atualmente disponíveis apenas através da nuvem Azure, acabariam sendo executados em dispositivos.
Mas fazer grandes modelos de linguagem rodarem em telefones celulares e SoCs automotivos é mais do que apenas compilá-los e executá-los. O tamanho do modelo deve ser reduzido para caber na memória (quantização). Para melhorar o desempenho, a rede deve ser podada (escassez de colheita). A compactação pode ser usada para reduzir ainda mais o tamanho da rede (compactação MX6). Além disso, novas técnicas, como a decodificação especulativa, podem reduzir o tempo necessário para criar texto usando dois LLMs em paralelo. Um mais rápido para gerar possíveis respostas e outro mais completo para confirmar a resposta. Todas essas são áreas que a Qualcomm está pesquisando e implantando no Snapdragon e no Cloud AI100.
X Elite foi projetado para laptops com Windows.
Qualcomm
No geral, aqui estão alguns motivos pelos quais a Qualcomm está bem posicionada nos primeiros dias da IA de ponta.
- Hardware específico para IA: A série de processadores Snapdragon da Qualcomm inclui um mecanismo de IA especializado (como Hexagon DSP) projetado para lidar com eficiência com tarefas de IA e aprendizado de máquina. Isso permite que você processe tarefas de IA mais rapidamente em seu dispositivo, sem enviar dados para a nuvem.
- eficiência energética: Os processadores Qualcomm são projetados para oferecer alto desempenho e, ao mesmo tempo, gerenciar com eficácia o consumo de energia. Isso é fundamental para aplicações de IA de ponta, onde a vida útil da bateria e o gerenciamento térmico são considerações importantes.
- Adoção generalizada em dispositivos móveis: Os processadores Snapdragon da Qualcomm são usados em uma ampla variedade de smartphones e dispositivos. Essa base instalada impulsionou um ecossistema robusto de desenvolvedores e aplicativos otimizados para hardware Qualcomm.
- Ferramentas de software de IA e SDKs: A Qualcomm fornece aos desenvolvedores suporte de software abrangente para o desenvolvimento de IA, incluindo mecanismos de IA e SDKs específicos. Este suporte simplifica a integração de capacidades de IA em aplicações e serviços. Para tanto, a Qualcomm apresentou o AI Hub na CES deste ano. Mais detalhes posteriormente.
desempenho do snapdragon
Mas vamos começar com o desempenho. Um ótimo desempenho é apenas o começo de sua jornada de IA, mas sem desempenho você não chegará a lugar nenhum.
hardware do Tom e Wccftech é Artigo publicado (links abaixo) que descreve benchmarks que demonstram o desempenho do Snapdragon X Elite em tarefas de CPU de thread único e multithread e cargas de trabalho de IA. Esperamos ver o benchmark MLPerf publicado em breve.
Aqui estão alguns pontos importantes:
- Desempenho de IA: o Snapdragon
- Desempenho da CPU: O Snapdragon X Elite também demonstra desempenho competitivo da CPU em relação aos chips Intel Core i7 e AMD Ryzen em benchmarks como Geekbench e Cinebench. O X Elite também foi considerado 21% mais rápido em comparação com o Apple M3.
- O desempenho e a eficiência energética do Cloud AI 100 atraem parceiros como Amazon AWS, HP Enterprise, Dell e Lenovo que desejam executar processamento de inferência com baixo custo e potência. A Cerebras, inventora do Wafer Scale Engine 3, também anunciou esta semana que está fazendo parceria com a Qualcomm para oferecer benefícios de custo 10x maiores usando a plataforma para seus clientes.
- Observe que o X Elite usa um núcleo totalmente novo projetado pela Nuvia, que a Qualcomm adquiriu em 2021. Espera-se que este novo núcleo seja usado em breve em futuros data centers e dispositivos móveis. Também vale ressaltar que, embora o X Elite seja um ótimo chip na era dos PCs com IA, ele tem uma grande montanha de software para escalar para aplicativos Windows.
Software de IA
Qualcomm AI Hub é um recurso projetado especificamente para desenvolvedores que criam dispositivos com tecnologia Snapdragon da Qualcomm e outras plataformas. Serve como um local central para os desenvolvedores acessarem e utilizarem ferramentas de desenvolvimento de IA no dispositivo. Aqui está uma análise dos principais recursos:
- Biblioteca de modelos de IA: Este hub oferece uma coleção de mais de 75 modelos de IA pré-otimizados. Esses modelos cobrem uma variedade de tarefas, como reconhecimento de imagem, detecção de objetos e processamento de áudio. Os desenvolvedores podem integrar facilmente esses modelos em seus aplicativos, reduzindo o tempo e o esforço de desenvolvimento.
- Concentre-se na IA no dispositivo: O AI Hub concentra-se na IA no dispositivo, onde o processamento da IA ocorre diretamente no próprio dispositivo, em vez de depender da nuvem. Essa abordagem traz benefícios como tempos de resposta mais rápidos, maior privacidade e menos dependência da conectividade com a Internet.
- Pré-otimização para desempenho: Os modelos de IA fornecidos no hub são otimizados especificamente para funcionar com eficiência em processadores Qualcomm. Essa otimização garante desempenho suave e uso eficiente dos recursos do dispositivo.
- Acessibilidade: O Qualcomm AI Hub disponibiliza esses modelos em várias plataformas além da sua própria. Os desenvolvedores podem encontrá-los no próprio Qualcomm AI Hub, Hugging Face e GitHub.
Centro de IA da Qualcomm
Qualcomm
No geral, o Qualcomm AI Hub ajuda a desenvolver aplicativos baseados em IA para dispositivos executados no Qualcomm Snapdragon e outras plataformas, fornecendo modelos pré-otimizados e recursos personalizados para IA no dispositivo. Com o objetivo de simplificar e acelerar.
conclusão
À medida que a Qualcomm continua a evoluir, acreditamos que a IA será um diferencial central no futuro. A IA pode ajudar em tudo, desde fotografia até serviços de produtividade personalizados. A Qualcomm planeja levar hardware e software de IA de ponta, com sua própria organização interna de pesquisa para inovação de longo prazo e uma equipe de SoC para garantir a execução dos planos. AMD e Intel não estão no espaço móvel e a Apple parece não perceber que a revolução da IA já está em andamento.
A Qualcomm precisará desenvolver e executar uma estratégia de ecossistema ideal para Windows no X Elite, e a Microsoft ajudará. Ninguém deseja executar um aplicativo em modo de emulação, pelo menos não por longos períodos de tempo.
A Nvidia é a líder absoluta em IA de data center, mas acreditamos que a Qualcomm está liderando no limite, onde grande parte do trabalho está acontecendo. E já existem alguns telefones muito legais no mercado que demonstram o valor da IA no limite.
me siga Twitter Ou LinkedIn. Confira meu website.
divulgação: Este artigo expressa as opiniões do autor.
Não deve ser interpretado como um conselho para comprar ou investir nas empresas mencionadas. A Cambrian AI Research tem a sorte de trabalhar com empresas de semicondutores como Blaize, BrainChip, CadenceDesign, Cerebras, D-Matrix, Eliyan, Esperanto, FuriosaAI, Graphcore, GML, IBM, Intel, Mythic, NVIDIA, etc. . Qualcomm Technologies, Si-Five, SiMa.ai, Synopsys, Ventana Microsystems, Tenstorrent e vários clientes de investimento. A Companhia não possui posição de investimento em nenhuma das empresas mencionadas neste artigo e não tem planos de começar a investir em nenhuma das empresas mencionadas neste artigo em um futuro próximo. Para obter mais informações, visite nosso site https://cambrian-AI.com.
