Fotorealista A.I. La herramienta puede rellenar los espacios en las imágenes, incluidas las caras.
Solo tiene que ir a ver el último éxito de taquilla de Hollywood o elegir un nuevo título de juego AAA para recordar que los gráficos de computadora se pueden usar para crear algunas imágenes deslumbrantes de otros mundos cuando se soliciten. Pero algunos de los ejemplos más impresionantes de imágenes generadas por máquinas no son necesariamente paisajes extraños o monstruos gigantes, son modificaciones de imágenes que ni siquiera notamos .
Ese es el caso de una nueva demostración de IA creada por científicos informáticos en China. Una colaboración entre la Universidad Sun Yat-sen en Guangzhou y el laboratorio de investigación de Microsoft en Beijing, han desarrollado una inteligencia artificial inteligente que se puede usar para rellenar con precisión las áreas en blanco de una imagen: ya sea una cara perdida o la parte frontal de un edificio.
Llamada pintura, la técnica utiliza tecnología de aprendizaje profundo para llenar estos espacios, ya sea copiando parches de imagen en el resto de la imagen, o generando nuevas áreas que se vean convincentemente precisas. La herramienta, a la que sus creadores se refieren como PEN-Net (Pyramid-context ENcoder Network), realiza esta restauración de la imagen "codificando la semántica contextual de la entrada de resolución completa y decodificando las características semánticas aprendidas de nuevo en imágenes". La atención resultante Las imágenes de la Red de Transferencia (ATN) no solo son increíblemente realistas, sino que la herramienta también es muy rápida de aprender.
"[En este trabajo, propusimos] un modelo generativo profundo para tareas de pintura de imagen de alta calidad", Yanhong Zeng , autor principal del proyecto, está asociado con la Escuela de Datos y Ciencias de la Computación de Sun Yat-sen University. Laboratorio de Inteligencia de Máquinas y Computación Avanzada, contó Tendencias Digitales. “Nuestro modelo llena las regiones faltantes desde lo profundo a lo superficial en todos los niveles, basado en un mecanismo de atención de capas cruzadas, de modo que se puedan garantizar la coherencia de la estructura y la textura al pintar los resultados. Estamos muy contentos de ver que nuestro modelo es capaz de generar texturas más claras y estructuras más razonables que las obras anteriores ".
Como señala Zeng, esta no es la primera vez que los investigadores desarrollan herramientas para pintar. Sin embargo, el sistema PEN-Net del equipo muestra resultados impresionantes junto al método clásico PatchMatch e incluso a otros enfoques de vanguardia.
"La pintura de imagen tiene una amplia gama de aplicaciones en nuestra vida diaria", continuó Zeng. "Ahora estamos planeando aplicar nuestra tecnología en la edición de imágenes, especialmente para la eliminación de objetos [y] la restauración de fotos antiguas".
Un documento que describe el trabajo, titulado "Aprendizaje de la red del codificador de contexto de pirámide para el pintado de imágenes de alta calidad", está disponible para leer en el repositorio de papel de preimpresión Arxiv .