Este pequeño sensor está a punto de cambiar la cámara de tu teléfono para siempre
“Creemos que existe una oportunidad real de desarrollar y utilizar un generador de imágenes espectrales en un teléfono inteligente. A pesar de todo el progreso que se ha hecho con diferentes cámaras y la potencia informática de un teléfono inteligente, nadie puede identificar realmente el verdadero color de una imagen”.
Así es como el CEO de Spectricity , Vincent Mouret, describió la misión de la compañía a Digital Trends en una entrevista reciente, así como la razón por la que está fabricando un sensor de imagen espectral miniaturizado que está listo para usar en un teléfono inteligente. Pero, ¿qué es exactamente un sensor espectral y cómo funciona? Resulta que puede hacer mucho más que capturar colores bonitos.
¿Alguna vez has visto este color?
Antes de llegar a todo eso, hablemos de lo que hace el sensor de imagen multiespectral S1 de Spectricity para las cámaras. La mayoría de las cámaras de los teléfonos usan sensores RGB de tres colores (rojo, verde y azul), pero el sensor Spectricity S1 mira más allá de la luz visible y el rango del infrarrojo cercano para reproducir colores más naturales y consistentes, junto con un balance de blancos considerablemente mejorado.
“Una cámara estándar integrada en un teléfono inteligente tiene un sensor RGB que ve rojo, verde y azul”, dijo Mouret. “Agregamos filtros para crear hasta 16 imágenes diferentes con diferentes colores, diferentes longitudes de onda de luz, luz proveniente de diferentes fuentes y la luz reflejada proveniente del objeto de la escena. Puede identificar muchas propiedades diferentes gracias a estas imágenes diferentes en comparación con un RGB estándar”.
Lo que esto significa es que sin importar las condiciones de iluminación, las imágenes tomadas por un teléfono con el sensor S1 tendrán colores más uniformes en todo momento, como puede ver en la imagen de ejemplo a continuación. Durante nuestra conversación, vi una demostración en vivo que reprodujo la reproducción del color y la consistencia que se ve en el ejemplo, pero vale la pena señalar que el sensor fue operado por una PC y no por un teléfono inteligente.
“Verá que con las cámaras Xiaomi, Samsung, Apple y Huawei, los colores son muy diferentes en diferentes condiciones de iluminación. En la misma escena tomada con nuestro generador de imágenes espectrales, hay ligeras diferencias, pero menores. Los colores de las imágenes son los colores que vemos a simple vista. Puedes ver que todos los teléfonos inteligentes producen colores muy diferentes”.
Esta precisión de color también mejorará la capacidad de las cámaras de los teléfonos inteligentes para reproducir mejor los diferentes tonos de piel. En otra imagen de ejemplo, el sensor S1 pareció mostrar mejoras considerables aquí también.
“Puedes ver que los tonos de piel son totalmente diferentes según las condiciones de iluminación”, señaló Mouret. “La solución es usar un generador de imágenes espectrales para analizar las condiciones de iluminación, para realmente dar el tono correcto. Esta es la única manera. Puedes poner mucha IA detrás, pero no es suficiente. Necesitas tener algo de hardware adicional.”
Desafortunadamente, Mouret no tenía a mano un teléfono Google Pixel para comparar el sensor S1 con la tecnología computacional Real Tone de Google , que promete hacer algo similar, solo que usando mejoras de software .
¿Es un sensor o una cámara?
Los beneficios de un sensor de imagen espectral como el S1 parecen ser claros, y ¿quién no quiere un balance de blancos más efectivo y colores naturales y consistentes en sus fotografías? Pero la forma en que Mouret describió la capacidad del S1 hizo que sonara más como una cámara que como un sensor. ¿Cuál es? ¿Puede realmente caber dentro de un teléfono inteligente? Si es así, ¿qué modificaciones serán necesarias?
El ingeniero de aplicaciones de Spectricity, Michael Jacobs, quien ejecutó la demostración que vi, explicó qué es realmente el S1.
“Es realmente un sensor complementario, muy similar a un sensor de profundidad o un sensor 3D usado con una cámara RGB”, confirmó.
Sin embargo, técnicamente toma fotos, pero no las que le gustaría usar individualmente, como explicó Mouret:
“Nuestro sensor de imagen tiene una resolución VGA, 800 x 600 píxeles. Debe combinar esta imagen espectral más pequeña con una imagen RGB. El módulo en sí es realmente muy pequeño. Ha sido diseñado para ser integrado en un smartphone. Así que mide 5 mm por 5 mm por 6 mm”, me dijo Mouret, antes de hablar más sobre cómo se construye el sensor. “No es fácil, pero diría que no es nada muy sofisticado”, explicó, diciendo que el módulo está construido utilizando los mismos métodos que los sensores CMOS regulares. “En términos de costo total, el módulo completo tendrá el mismo costo que una cámara estándar de gran volumen”.
En este momento, el sensor se integrará con un procesador de señal de imagen (ISP) estándar utilizado por los procesadores de teléfonos inteligentes de Qualcomm y MediaTek, pero requerirá un software adicional para funcionar.
El sensor de imagen multiespectral S1 no es un pony de un solo truco, y en realidad tiene una segunda función intrigante, ya que puede reconocer y analizar biomarcadores de la piel. Lo que esto significa es que puede saber si está "viendo" a una persona real, lo que podría usarse para aplicaciones de seguridad, por ejemplo, sabe si alguien está usando una máscara para ocultar su identidad, cuidado de la piel e incluso en aplicaciones de salud cuando combinado con IA y otro software. También se puede utilizar para mejorar las fotos en modo retrato.
¿Cuándo se usará en un teléfono?
Los fabricantes han estado trabajando para mejorar la reproducción del color en los teléfonos durante un tiempo, desde el LG G5 en 2016, que usó un sensor de espectro de color dedicado junto con su sensor de enfoque automático láser para mejorar el rendimiento del color. Huawei tomó un enfoque diferente y abandonó un sensor RGB en el P30 Pro en favor de un sensor RYYB, en su esfuerzo por reproducir mejor los colores y mejorar el rendimiento con poca luz. Olympus e Imec también han experimentado con sensores RGB de infrarrojo cercano para diferentes aplicaciones.
El sensor Spectricity S1 es el primero en el mundo y va en una dirección diferente a la de estos ejemplos. Según la demostración y las imágenes de ejemplo, se muestra bastante prometedor, pero ¿cuándo deberíamos esperar verlo en un teléfono?
“Al principio, se presentará en teléfonos de gama alta”, dijo Mouret. "Será un volumen pequeño en 2024, un volumen mayor en 2025 y luego, a partir de 2026, será más generalizado".
Mouret también espera que los primeros ejemplos provengan de fabricantes chinos de teléfonos inteligentes, y no de compañías como Samsung y Apple. Sin embargo, Mouret espera que esto cambie en el futuro, y en el comunicado de prensa de CES 2023 para el sensor S1, no se contuvo en sus expectativas y dijo:
“Esperamos que los primeros modelos de teléfonos inteligentes con el S1 se lancen en 2024, y esperamos que todos los teléfonos inteligentes incluyan nuestra tecnología en los próximos años”.
Sí, todos los teléfonos inteligentes . Es un gran objetivo, pero si el rendimiento que vimos en la demostración es lo que finalmente veremos en la cámara de un teléfono con el S1 al lado, pocos fabricantes querrán quedarse atrás.