Abre el Snapdragon 8 y comprueba que está lleno de los mejores documentos de reuniones.
"Además de la optimización de fotografías y los asistentes de voz, ¿qué más tiene la IA de los teléfonos móviles?"
Cuando se lanzó la nueva generación de la plataforma móvil Snapdragon 8 este año, Qualcomm tradujo y tradujo una vez más, lo que es un gran agujero mental:
Dejar que el teléfono móvil aprenda a "autorizar" y reconocer posibles enfermedades del usuario a través de la voz, como depresión y asma;
Deje que el teléfono móvil se dé cuenta de "anti-mirones" y se dé cuenta de la pantalla de bloqueo automático reconociendo la vista de usuarios desconocidos;
Deje que los juegos móviles obtengan una superresolución y lleve la calidad de imagen que solo podía ejecutarse en el lado de la PC al teléfono móvil para experimentar …
Más importante aún, Snapdragon 8 tiene la capacidad de ejecutar estas funciones de IA al mismo tiempo .
Qualcomm afirma que el motor de inteligencia artificial de séptima generación del Snapdragon 8 tiene un aumento de rendimiento de hasta 4 veces en comparación con la generación anterior .
Esto significa que cuando jugamos en teléfonos móviles, no hay problema en "abrir" varias aplicaciones de IA al mismo tiempo. Más importante aún, no es solo una simple mejora del rendimiento de la IA, sino también una experiencia de aplicación fluida para los usuarios.
Hoy en día, cuando las actualizaciones de los procesos de hardware son tan difíciles, ¿cómo es que Qualcomm "entregó" tantos trucos nuevos en el rendimiento y la aplicación del motor de inteligencia artificial de séptima generación?
Revisamos algunos artículos de investigación y documentos técnicos publicados por Qualcomm y encontramos algunas "pistas":
En el documento de la herramienta de código abierto AIMET publicado por Qualcomm, hay información sobre "cómo comprimir el modelo de superresolución de IA";
En un blog técnico relacionado con "Anti-mirón", presenté cómo utilizar la tecnología de detección de objetivos bajo la premisa de la protección de la privacidad …
Estos documentos y los principales artículos de conferencias detrás de los blogs técnicos provienen de una organización: Qualcomm AI Research Institute .
Se puede decir que Qualcomm ha "ocultado" muchos artículos de IA publicados por institutos de investigación en el motor de IA de séptima generación.
El principal documento de la reunión "Ocultación" de la IA móvil
Echemos un vistazo a la mejora del algoritmo de la cámara del motor de inteligencia artificial de séptima generación .
Con el objetivo de alcanzar este punto de reconocimiento inteligente, Qualcomm ha aumentado los puntos de reconocimiento de características faciales a 300 este año, lo que puede capturar cambios de expresión más sutiles.
Pero al mismo tiempo, Qualcomm ha aumentado la velocidad de detección de rostros en un 300% . ¿cómo hiciste eso?
En un estudio publicado por Qualcomm sobre CVPR, encontramos la respuesta.
En este artículo, Qualcomm propuso una nueva capa de convolución llamada Skip-Convolutions (omitir convolución), que puede restar dos imágenes antes y después, y solo convolucionar la parte cambiada.
Sí, al igual que los ojos humanos, es más fácil notar la "parte móvil".
Esto permite que Snapdragon 8 se concentre más en el objeto objetivo en sí mismo cuando realiza algoritmos de detección de flujo de video en tiempo real, como detección de objetivos y reconocimiento de imágenes, y al mismo tiempo usa el exceso de potencia informática para mejorar la precisión.
Puede preguntarse, ¿de qué sirve el reconocimiento facial con tales detalles para tomar fotografías?
Además, esta vez Qualcomm y Leica lanzaron juntos el filtro Leica Leitz , utilizando un motor inteligente basado en IA, que incluye algoritmos como la detección de rostros, lo que permite a los usuarios tomar fotos de forma más inteligente sin pensar.
No solo detección de rostros, las funciones de disparo inteligente de Qualcomm también incluyen superresolución, reducción de ruido de múltiples cuadros, compensación de movimiento local …
Sin embargo, la transmisión de video en tomas de alta resolución suele ser en tiempo real. ¿Cómo procesa el motor de inteligencia artificial de manera inteligente una cantidad tan grande de datos?
También es un artículo CVPR Qualcomm propuso una red neuronal compuesta por múltiples clasificadores en cascada, que pueden cambiar el número de neuronas utilizadas en el modelo de acuerdo con la complejidad del cuadro de video y controlar la cantidad de cálculo por sí mismo.
Frente al proceso "complejo y de gran volumen" del procesamiento de video inteligente, la IA ahora puede sostenerlo.
Además de la fotografía inteligente, la tecnología de voz de Qualcomm también es un punto brillante en esta ocasión.
Como se mencionó al principio, el motor de inteligencia artificial de séptima generación admite el uso de teléfonos móviles para acelerar el análisis de los patrones de voz del usuario para determinar el riesgo de problemas de salud como el asma y la depresión.
Entonces, ¿cómo distingue exactamente la voz del usuario sin involucrar la recopilación de datos?
Específicamente, Qualcomm ha propuesto un método de aprendizaje federado en el teléfono móvil, que no solo puede utilizar el modelo de entrenamiento de voz de los usuarios de teléfonos móviles, sino que también garantiza que no se filtre la privacidad de los datos de voz.
Muchas de estas funciones de IA se pueden encontrar en artículos publicados por Qualcomm AI Research Institute.
Las pistas que también se pueden encontrar son el soporte teórico que AI mencionó al principio para mejorar el rendimiento de los teléfonos móviles. Esto tiene que mencionar una pregunta:
Con tantos modelos de IA ejecutándose al mismo tiempo, ¿cómo mejora Qualcomm el rendimiento de procesamiento del hardware?
Aquí tenemos que mencionar la cuantificación de una dirección de investigación clave de Qualcomm en los últimos años .
A juzgar por la hoja de ruta tecnológica más reciente publicada por Qualcomm, la cuantificación de modelos siempre ha sido una de las tecnologías centrales que el Instituto de Investigación de IA ha estudiado en los últimos años. El propósito es "reducir" los modelos de IA.
Debido a la potencia limitada, la potencia informática, la memoria y las capacidades de disipación de calor, el modelo de IA utilizado por los teléfonos móviles es muy diferente del modelo de IA en las PC.
En la PC, la GPU tiene cientos de vatios de potencia en cada turno, y el cálculo del modelo de IA puede usar números de punto flotante de 16 o 32 bits (FP16, FP32). El SoC del teléfono móvil tiene solo unos pocos vatios de potencia y es difícil almacenar modelos de IA de gran volumen.
En este momento, es necesario reducir el modelo FP32 a un número entero de 8 bits (INT8) o incluso a un número entero de 4 bits (INT4), mientras se asegura que la precisión del modelo no sufra demasiadas pérdidas.
Tomando el modelo de estera de IA como ejemplo, normalmente podemos lograr un matizado de IA muy preciso con la potencia de cálculo de un procesador de computadora, pero por el contrario, si queremos usar un teléfono móvil para lograr un matizado de IA "casi de efecto", tengo que usarlo para el método de cuantificación del modelo.
Para permitir la instalación de más modelos de IA en teléfonos móviles, Qualcomm ha realizado una gran cantidad de investigación cuantitativa. Los artículos publicados en la conferencia principal incluyen cuantificación sin datos DFQ, mecanismo de redondeo AdaRound y tecnología conjunta de cuantificación y poda Bayesian Bits ( Bits bayesianos).) Espera.
Entre ellos, DFQ es una tecnología de cuantificación sin datos que puede reducir el tiempo de entrenamiento de las tareas de IA y mejorar el rendimiento de la precisión de cuantificación. En MobileNet, el modelo de IA visual más común en teléfonos móviles, DFQ ha logrado el mejor rendimiento más allá de todos los demás métodos:
AdaRound puede reducir el peso de las redes complejas Resnet18 y Resnet 50 a 4 bits, lo que reduce en gran medida el espacio de almacenamiento del modelo, mientras que solo pierde menos del 1% de precisión:
Como una nueva operación de cuantificación, los bits bayesianos no solo pueden duplicar el ancho de bit, sino también cuantificar el error residual entre el valor de precisión total y el valor redondeado anterior en cada nuevo ancho de bit, para lograr precisión y eficiencia. Proporcione un mejor intercambio. -entre.
Estas tecnologías no solo permiten que más modelos de IA se ejecuten en teléfonos móviles con menor consumo de energía , como la superresolución de IA de juegos (similar a DLSS) que solo se puede ejecutar en computadoras, ahora se puede ejecutar en Snapdragon 8. ；
Incluso algunos de estos modelos de IA pueden "ejecutarse al mismo tiempo", como la detección de gestos y el reconocimiento facial:
De hecho, la tesis es solo el primer paso.
Si desea aplicar rápidamente las capacidades de IA a más aplicaciones, también necesita más plataformas y herramientas de código abierto.
Libere más capacidades de inteligencia artificial para la aplicación
En este sentido, Qualcomm mantiene una mente abierta.
Los métodos y modelos para construir aplicaciones de inteligencia artificial de manera eficiente en estos documentos, Qualcomm AI Research Institute a través de la cooperación, el código abierto y otros métodos, los compartió con más comunidades de desarrolladores y socios, para que podamos experimentar más en Snapdragon 8. Funciones y aplicaciones interesantes.
Por un lado, Qualcomm cooperó con Google para compartir la capacidad de desarrollar rápidamente más aplicaciones de IA con los desarrolladores.
Qualcomm está equipado con el servicio Vertex AI NAS de Google en Snapdragon 8 , que aún se actualiza mensualmente, lo que significa que las aplicaciones de inteligencia artificial desarrolladas por los desarrolladores en el motor de inteligencia artificial de séptima generación pueden actualizar rápidamente el rendimiento del modelo.
Con NAS, los desarrolladores pueden usar IA automáticamente para generar modelos apropiados, incluido el algoritmo de cámara inteligente, traducción de voz y superresolución que Qualcomm anunció en la reunión principal. Todos pueden incluirse en el "rango de detección" de IA y desarrollarse automáticamente para el desarrollo Coincidir con el mejor modelo.
Aquí se utilizan los algoritmos de compensación de movimiento e interpolación de fotogramas de Qualcomm. Y de manera similar a estas tecnologías de inteligencia artificial, los desarrolladores también pueden implementarlo a través de NAS, y puede adaptarse mejor a Snapdragon 8, sin el problema del "ajuste ineficaz".
Imagina que cuando juegues en un teléfono móvil equipado con Snapdragon 8 en el futuro, sentirás que la imagen es más suave, pero no perderá más energía (refiriéndose a un mayor consumo de energía):
Al mismo tiempo, el mantenimiento del modelo de IA se ha vuelto más simple. Según Google, en comparación con otras plataformas, la cantidad de líneas de código necesarias para entrenar un modelo para Vertex AI NAS se puede reducir en casi un 80%.
Por otro lado, Qualcomm también ha abierto sus propias herramientas que han sido investigadas y cuantificadas a lo largo de los años.
El año pasado, Qualcomm abrió un modelo de herramienta de " mejora de la eficiencia" llamado AIMET (Kit de herramientas de eficiencia del modelo de IA).
Incluye una gran cantidad de algoritmos de compresión y cuantificación, como la poda de redes neuronales y la descomposición de valor singular (SVD), muchos de los cuales son resultados de los principales artículos de conferencias publicados por Qualcomm AI Research Institute. Una vez que los desarrolladores utilizan las herramientas AIMET, pueden utilizar directamente estos algoritmos para mejorar sus modelos de IA y hacer que funcione sin problemas en los teléfonos móviles.
Las capacidades cuantitativas de Qualcomm no solo son de código abierto para los desarrolladores ordinarios, sino que también permiten implementar más aplicaciones de inteligencia artificial de las principales empresas de inteligencia artificial en Snapdragon 8.
En el nuevo Snapdragon 8, cooperaron con Hugging Face, una empresa muy conocida en el campo de la PNL, para que el asistente inteligente en el teléfono pueda ayudar a los usuarios a analizar las notificaciones y recomendar cuáles priorizar, para que los usuarios puedan ver las más importantes. notificaciones de un vistazo.
Al ejecutar su modelo de análisis de sentimientos en el motor Qualcomm AI, puede alcanzar una velocidad 30 veces superior a la normal de la CPU .
Es precisamente la precipitación de la investigación técnica y la actitud abierta mantenida en la tecnología que Qualcomm continúa actualizando los diversos "nuevos agujeros cerebrales" de la IA en la industria de la telefonía móvil:
Desde la "eliminación" inteligente del video anterior, el silencio de la reunión inteligente, hasta la pantalla de privacidad de este año, la superresolución del teléfono móvil …
Hay más aplicaciones de inteligencia artificial implementadas por documentos, plataformas y herramientas de código abierto, todas las cuales también se incluyen en este motor de inteligencia artificial.
El Qualcomm AI Research Institute, que se ha estado escondiendo detrás de estas investigaciones, ha vuelto a surgir con la aparición del motor de IA de séptima generación.
Qualcomm AI es "suave y duro"
La mayor parte del tiempo, nuestra impresión de Qualcomm AI parece permanecer en el "rendimiento del hardware" del motor de AI.
Después de todo, desde que se lanzó el primer proyecto de IA en 2007, Qualcomm ha estado mejorando las capacidades de procesamiento para los modelos de IA en términos de rendimiento de hardware.
Sin embargo, la investigación de Qualcomm sobre algoritmos de IA también "ya se ha planificado".
En 2018, Qualcomm estableció el Instituto de Investigación de IA, dirigido por Max Welling , un conocido teórico en el campo de la IA , y es alumno de Hinton, el padre del aprendizaje profundo.
Según estadísticas incompletas, desde que Qualcomm estableció el Instituto de Investigación de IA, se han publicado decenas de artículos en las principales conferencias académicas de IA como NeurIPS, ICLR y CVPR.
Entre ellos, se han implementado al menos 4 modelos de documentos de compresión en el lado de la inteligencia artificial de los teléfonos móviles, y hay muchos documentos relacionados con la visión por computadora, el reconocimiento de voz y la informática de privacidad.
Se puede decir que el motor de inteligencia artificial de séptima generación mencionado anteriormente es solo un microcosmos de los resultados de la investigación de Qualcomm sobre algoritmos de inteligencia artificial en los últimos años.
A través de los resultados de la investigación de Qualcomm AI, Qualcomm también ha extendido con éxito el modelo de AI a muchos escenarios de aplicaciones de tecnología de vanguardia.
En términos de conducción autónoma , Qualcomm ha lanzado la plataforma digital automotriz Snapdragon, que "contiene" una solución integral desde chips hasta algoritmos de inteligencia artificial. sus soluciones han alcanzado los 200 millones de vehículos.
Entre ellos, el sistema de conducción asistida y el sistema de conducción autónoma de próxima generación de BMW adoptarán la solución de conducción autónoma de Qualcomm.
En XR , Qualcomm lanzó la plataforma de desarrollo Snapdragon Spaces XR para el desarrollo de dispositivos y aplicaciones como gafas AR montadas en la cabeza.
A través de la cooperación con Wanna Kicks, Snapdragon 8 también trae las capacidades del motor de inteligencia artificial de séptima generación a la aplicación de prueba de realidad aumentada.
En drones , Qualcomm lanzó la plataforma Flight RB5 5G este año. Muchas de estas funciones, como la evitación de obstáculos de 360 °, la fotografía con drones y la función anti-vibración, se pueden implementar a través del modelo de IA en la plataforma. Entre ellos, el primer UAV en llegar a Marte, el "Gizwit", está equipado con procesadores y tecnologías relacionadas proporcionadas por Qualcomm.
Mirando hacia atrás, no es difícil encontrar que esta vez Qualcomm ya no enfatiza la mejora de la potencia informática del hardware (TOPS) en el rendimiento de la IA, sino que integra el software y el hardware en su conjunto, y obtiene los datos de una mejora 4 veces mayor en el rendimiento de la IA. y refuerza aún más la experiencia de la aplicación de IA. Aterrizaje integral.
Esto no solo muestra que Qualcomm presta más atención a la experiencia real de los usuarios, sino que también muestra la confianza de Qualcomm en su propio software, porque el hardware ya no es una manifestación completa de las capacidades de inteligencia artificial de Qualcomm.
Se puede decir que la actualización del motor de inteligencia artificial de séptima generación de Snapdragon 8 marca el comienzo de la integración de software y hardware de inteligencia artificial de Qualcomm .
Recientemente, Qualcomm ha presentado varias investigaciones nuevas sobre códecs, que se publicaron en ICCV 2021 e ICLR 2021 respectivamente.
En estos artículos, Qualcomm también utilizó algoritmos de inteligencia artificial para mostrar nuevas ideas para la optimización de códecs.
En un estudio que utilizó el principio GAN, el último algoritmo de códec de Qualcomm hace que la imagen no solo sea más clara, sino también más pequeña por cuadro, lo que se puede hacer con solo 14.5KB:
Por el contrario, después de que el algoritmo de códec original se comprima a 16,4 KB por fotograma, el bosque se volverá extremadamente borroso:
En otro artículo que utiliza la idea de interpolación de cuadros y códec neuronal, Qualcomm eligió combinar la compresión de cuadros P basada en redes neuronales y la compensación de interpolación de cuadros, y usar AI para predecir la compensación de movimiento que debe realizarse después de la interpolación de cuadros.
Después de la prueba, este algoritmo es mejor que el registro SOTA anterior de Google en CVPR 2020, y también es mejor que el rendimiento de compresión actual del códec de código abierto basado en el estándar H.265.
No es el primer intento de Qualcomm de aplicar modelos de IA a más campos La aplicación de códecs de video es una nueva dirección.
Si estos modelos se pueden implementar con éxito en la plataforma o incluso en la aplicación, realmente podemos ser libres al mirar videos en el dispositivo.
A medida que continúe el programa de "integración suave y dura", es posible que en el futuro veamos estos últimos resultados de IA aplicados a los teléfonos inteligentes.
Combinando la "demostración de músculos" de Qualcomm en PC, automoción, XR y otros campos …
Es previsible que el Qualcomm con el que está familiarizado y el Snapdragon con el que está familiarizado no se detendrán definitivamente en el teléfono móvil, y sus capacidades de inteligencia artificial no se detendrán en el teléfono móvil.
#Bienvenido a seguir la cuenta oficial de WeChat de Aifaner: Aifaner (ID de WeChat: ifanr), se le proporcionará más contenido emocionante lo antes posible.