Os desenvolvedores agora podem integrar recursos de acessibilidade em seus aplicativos, permitindo aos usuários controlar o cursor por meio de gestos faciais e movimentos de cabeça. Por exemplo, você pode abrir a boca e mover o cursor ou levantar as sobrancelhas e clicar e arrastar.
Anunciado durante o Google I/O para desktop do ano passado, o Project Gameface usa a câmera do dispositivo e um banco de dados de expressões faciais da API Face Landmarks Detection do MediaPipe para manipular o cursor.
“Rastreamos perfeitamente suas expressões faciais e movimentos de cabeça por meio da câmera do seu dispositivo e os traduzimos em controles intuitivos e personalizados”, explicou o Google em um anúncio. “Os desenvolvedores agora podem criar aplicativos que permitem aos usuários configurar sua experiência personalizando expressões faciais, tamanho dos gestos, velocidade do cursor e muito mais.”
Embora o Gameface tenha sido inicialmente criado para jogadores, o Google também fez parceria com a Incluzza, uma empresa social indiana focada em acessibilidade, para entender como ele se encaixa em outros ambientes, como trabalho, escola e situações sociais. .
O Projeto Gameface foi inspirado em Lance Carr, um streamer de videogame tetraplégico que sofre de distrofia muscular. Carr colaborou com o Google neste projeto com o objetivo de criar uma alternativa mais econômica e acessível aos caros sistemas de rastreamento de cabeças.
