La nueva investigación «sombreada» del MIT utiliza sombras para ver qué cámaras no pueden
La inteligencia artificial pronto podría ayudar a las cámaras de video a ver mentiras más allá de lo que la lente puede ver, mediante el uso de sombras. Investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT han inventado un algoritmo que "ve" lo que está fuera del cuadro de video al analizar las sombras y el sombreado que crean los objetos fuera de la vista. La investigación, Blind Inverse Light Transport by Deep Matrix Factorization , se publicó hoy, 6 de diciembre.
El algoritmo funciona casi como leer títeres de sombras a la inversa: la computadora ve la sombra en forma de conejito y luego puede crear una estimación del objeto que creó esa sombra. La computadora no sabe cuál es ese objeto, pero puede proporcionar un bosquejo aproximado de la forma.
Los investigadores utilizaron sombras y geometría para enseñar al programa cómo predecir el transporte de luz o cómo se mueve una luz en una escena. Cuando la luz golpea un objeto, se dispersa, creando sombras y reflejos. El equipo de investigación trabajó para "descifrar" esa luz del patrón de sombreado, sombras y reflejos. El refinamiento adicional ayudó a la computadora a estimar la forma más plausible de todas las posibilidades potenciales.
Con una comprensión de cómo se mueve la luz, el algoritmo puede crear una reconstrucción aproximada del objeto que creó esa sombra, a pesar de que el objeto en sí no está realmente en el video. El algoritmo se basa en dos redes neuronales, una para "descifrar" y otra para generar la alimentación de video de cómo se ve ese objeto.
El algoritmo crea una silueta pixelada de la forma y cómo se mueve esa forma. Eso no es suficiente para crear una cámara espía que vea las esquinas, pero sí ayuda a hacer que esas escenas de CSI donde los investigadores extraen detalles que antes no existían fueran un poco más verosímiles.
Los investigadores sugieren que, con un mayor refinamiento, la tecnología podría usarse para aplicaciones como mejorar la visión de los autos sin conductor. Al leer la información de la sombra, el automóvil podría ver potencialmente un objeto a punto de cruzar la carretera incluso antes de que entre en el campo de visión de la cámara. Esa aplicación aún está muy lejos: los investigadores dicen que el proceso actualmente toma alrededor de dos horas para reconstruir un objeto misterioso.
La investigación se basa en un trabajo similar de otros investigadores del MIT que utilizaron láseres especiales para ver lo que una cámara no podía . La nueva investigación funciona sin ningún equipo adicional más allá de la cámara, la computadora y el software.