Un científico de datos de Netflix enseñó un A.I. Reconocer escenas de smooching en películas.
Un científico de datos de Netflix ha enseñado un algoritmo de inteligencia artificial (AI) para poder reconocer errores. Amir Ziai desarrolló la herramienta, que es capaz de ver películas y reconocer escenas en las que los personajes se quedan boquiabiertos, como parte de su trabajo para obtener un certificado de posgrado en AI de la Universidad de Stanford.
Seleccionó las escenas de besos porque, según dijo a Tendencias digitales, pueden ser difíciles de detectar usando técnicas tradicionales de procesamiento de video. Esto se debe a que las máquinas se confunden fácilmente y producen falsos positivos cuando se ven otros escenarios en los que dos personas tienen sus cabezas cerca una de la otra, como escenas que hablan o en las que los personajes caminan muy cerca.
"La capacitación se realizó utilizando una base de datos de películas de Hollywood que abarcan varias décadas y géneros", dijo Ziai. “Anoté segmentos de besos y no besos en 100 de estas películas, y utilicé esos segmentos para entrenar una red neuronal multimodal que usa características de audio y visuales de segmentos de 1 segundo. El mayor desafío con el entrenamiento de estos modelos es doble. Primero, tuve que asegurarme de haber anotado un conjunto representativo de ejemplos de entrenamiento que ayudarán a generalizar a un conjunto diverso de películas. En segundo lugar, la capacitación de modelos de aprendizaje profundo en video puede requerir muchos recursos ”.
No obstante, logró la hazaña, y la herramienta resultante resulta ser impresionantemente precisa. El sistema emplea un proceso de dos fases. Primero, usa un clasificador binario para predecir si los besos tienen lugar o no con funciones extraídas de fotogramas fijos y ondas de audio. El segundo componente luego agrega las etiquetas binarias para "segmentos contiguos no superpuestos" en un conjunto de escenas de besos. El resultado final logra una puntuación de validación F1 de 0.95 en una base de datos diversa de películas.
Ziai, debe notarse, no es la única persona interesada en lograr que la inteligencia de la máquina reconozca los besos. Recientemente, Google presentó una nueva función para su herramienta Photobooth que le pide a los smartphones Pixel que tomen fotos automáticamente cuando reconocen que los sujetos en un marco se están besando.
"Se puede usar un sistema como el detector de besos para agregar automáticamente metadatos a las películas", dijo Ziai. “Estos metadatos se pueden utilizar para buscar y recuperar fragmentos relevantes. Por ejemplo, un editor de video puede usar dichos metadatos para encontrar rápidamente segmentos relevantes y acelerar el proceso de edición de una película ".
Un documento que describe el trabajo, titulado Detectar escenas de besos en una base de datos de películas de Hollywood, está disponible para leer en el servidor de preimpresión arXiv .