Convertí mi cara en un controlador de juego, y tú también puedes
En Google I/O, la IA fue un tema durante todo el evento, pero se anunció otra tecnología de asistencia revolucionaria que permite que su rostro controle una computadora en lugar de usar un mouse. Project GameFace de Google literalmente convierte tu cara en un controlador de juego. Si incluso el mejor mouse o trackball está resultando difícil o imposible, esta aplicación gratuita puede mejorar significativamente su experiencia informática.
La publicación del blog de Google describe cómo Project GameFace se inspiró en la difícil situación del streamer de videojuegos Lance Carr , que tiene distrofia muscular. Un incendio provocó la pérdida del costoso mouse de seguimiento de la cabeza de Carr, que le había permitido seguir jugando.
Google trabajó con Carr para desarrollar Project GameFace, una solución que usa una cámara web estándar y funciona en cualquier PC con Windows. Puede descargar la aplicación desde el proyecto o bifurcación de GitHub y personalizarla para sus necesidades particulares si conoce Python.
Lo instalé y lo probé. Mi cámara web integrada funcionó para el control del puntero, pero una ventana cercana la apagó demasiado como para detectar bien mis cejas y mi boca. Conecté un Insta360 Link, que incluye tecnología de seguimiento facial para girar e inclinar mientras me muevo. Las dos tecnologías se combinaron a la perfección y todo funcionó muy bien después de algunos ajustes.
La velocidad del cursor era demasiado rápida, por lo que bajé de la configuración predeterminada de 40 a 15 verticalmente y 20 horizontalmente. Con estos ajustes, podía mover el puntero del mouse a cualquier punto de la pantalla simplemente girando e inclinando la cabeza. Esto no es seguimiento ocular. Parece seguir mi nariz.
La aplicación reconoce seis gestos faciales: boca abierta, boca izquierda y derecha, levantar la ceja izquierda y derecha y bajar la ceja derecha. No está claro por qué la ceja inferior izquierda no es una opción. Esta configuración de gestos, combinada con el movimiento de la cabeza para el control direccional, hace que sea relativamente fácil vincular las teclas y los clics del mouse, lo que le permite jugar o controlar una computadora solo con su cara.
Hay mucho margen de mejora aquí. Idealmente, los grupos de vinculaciones de gestos y velocidades de cursor deben guardarse para cada aplicación para que no tenga que encontrar una única configuración que funcione para todo. También sería más conveniente requerir un clic de confirmación, con una cuenta regresiva para revertir, luego de ajustar la velocidad del cursor. Me tomó unos minutos dominar el puntero salvaje del mouse cuando activé el seguimiento de rostros por primera vez.
En general, Project GameFace es una adaptación maravillosa que debería hacer la vida mucho más fácil para muchas personas que, de otro modo, tendrían dificultades para navegar en una computadora o jugar un juego. Más empresas de tecnología deberían aprovechar el control de gestos habilitado por una cámara web .