¿Por qué no utilizar una cámara para fotografía computacional que mejore enormemente las capacidades de la cámara del iPhone?

En el lanzamiento de la serie iPhone 11, el vicepresidente senior de Apple, Philip W. Schiller, introdujo el concepto de fotografía computacional por primera vez al presentar el sistema de imágenes de la serie iPhone 11 Pro. Este concepto también fue el primero Conocido por el publico.

De hecho, el concepto de fotografía computacional no es nuevo, apareció por primera vez en un artículo público en 1994 y se determinó que la síntesis en la cámara de HDR, fotos panorámicas y bokeh simulado pertenecen a la categoría de fotografía computacional. Pero en ese momento, el principal portador de fotografías seguía siendo la película, y las cámaras digitales apenas estaban comenzando y no había cámaras en los teléfonos móviles.

Décadas más tarde, el proveedor de grabación de imágenes ha cambiado de la película a la digital, los teléfonos móviles tienen cámaras y la fotografía computacional se ha convertido gradualmente en una tendencia importante.

Sin embargo, esta tendencia tiene poco que ver con las cámaras. Los fabricantes de cámaras todavía están mejorando gradualmente el píxel, la velocidad de disparo continuo y las capacidades de video. Parecen ciegos a la fotografía computacional. Las fotos tomadas (directamente) son todavía muy mediocres y gradualmente están siendo utilizadas por los teléfonos inteligentes. "Más allá".

Por el contrario, la potencia informática de los chips de los teléfonos inteligentes es cada vez más fuerte, la inteligencia artificial, los algoritmos y el aprendizaje automático están involucrados en una gama más amplia. Hay cada vez más métodos deductivos de imágenes y, finalmente, fotos procesadas por una serie de "algoritmos". También está mejorando.

Hoy en día, muchas personas están más dispuestas a usar teléfonos móviles para grabar y compartir, y las cámaras son cada vez menos comunes. Esto también se refleja en el rendimiento de mercado de las dos. El mercado de los teléfonos inteligentes ha crecido rápidamente y el mercado de las cámaras se ha reducido año tras año. Incluso las cámaras de CC (tarjeta ) Desapareció gradualmente.

En este momento, algunas personas pueden preguntar, dado que las fotos tomadas con los teléfonos inteligentes tienen una apariencia y un tacto tan buenos, ¿por qué los fabricantes de cámaras tradicionales no siguen la tendencia de la fotografía computacional y consideran mejorar la apariencia y el tacto de las fotos?

¿La cámara no tiene suficiente potencia informática para contar?

Comencemos con el "núcleo" de este problema.

El núcleo de un teléfono móvil es SoC, que integra CPU, GPU, ISP, NPU y banda base. Le permite hacer llamadas, tomar fotografías, ver videos, jugar juegos y navegar por Internet. También determina directamente el rendimiento del teléfono móvil.

El componente central de la cámara es el sensor de imagen (CMOS), que es similar a un teléfono móvil, excepto por el área de componentes, para imágenes y sensibilidad a la luz. Además, el chip de procesamiento central que controla todo el sistema de la cámara se llama procesador de imágenes.

Tomemos como ejemplo el procesador de imagen BIONZ X de Sony (serie α7 royal). Incluye chips SoC e ISP. No integra ISP en SoC. La ventaja es que Sony puede aumentar la cantidad de chips ISP de acuerdo con los requisitos de rendimiento de CMOS. (El BIONZ X de α7RIII está equipado con dos ISP.) La desventaja es que el grado de integración no es tan alto como el de los teléfonos móviles.

El papel del SoC en BIONZ X es similar al de un teléfono móvil Los requisitos de rendimiento para controlar la interfaz de control y las funciones de la cámara no son altos. Realice la transformación de Bayer, demosaicing, reducción de ruido, nitidez y otras operaciones en los "datos" recopilados por el sensor de imagen, confiando principalmente en el ISP, y finalmente convierta los datos recopilados por CMOS en la vista en tiempo real de la cámara. En este proceso, el ISP de la cámara no implica el proceso de cálculo, pero trata las fotos como productos en la línea de montaje para un procesamiento unificado.

Con la mejora continua del número de píxeles, la velocidad de disparo continuo y el rendimiento de video de la cámara actual, el procesador de imagen de la cámara tiene una gran demanda de velocidad y rendimiento del procesamiento de imágenes, y el volumen de datos individuales es muy grande, sin involucrar el "cálculo". , La potencia de procesamiento del procesador de imagen de la cámara supera con creces la potencia de procesamiento del ISP de teléfono inteligente actual.

Pero cuando se trata de fotografía computacional o capacidades de IA, hay algo diferente. El proceso de imágenes de un teléfono inteligente es algo similar al de una cámara, pero antes de que se presente la imagen final, también requiere cálculos de ISP y DSP, ajuste y optimización en tiempo real, especialmente después de que el sistema multicámara se convierte en la corriente principal, el volumen de datos de cálculo del teléfono móvil se duplica.

Después de que la serie iPhone 11 Pro lanzara el sistema multicámara, detrás del cambio suave y sin problemas del sistema multicámara se encuentran las enormes capacidades de procesamiento de datos de los dos aceleradores de aprendizaje automático recién agregados en A13 Bionic, que alcanzan un billón de veces por segundo. Se puede considerar que las capacidades de procesamiento de datos eficientes y de alta frecuencia consumen la enorme cantidad de datos generados por tres cámaras.

El procesador de imágenes de la cámara procesa principalmente los datos originales y casi no hay proceso de cálculo, mientras que el SoC del teléfono móvil incluye el procesamiento previo de adquisición de datos y los procesos de cálculo posteriores, y los dos se enfocan en direcciones diferentes.

Diferentes grupos, resultado de la segmentación del mercado

La fotografía de computación móvil se ha desarrollado rápidamente. La causa principal es que el tamaño del sensor de imagen (CMOS) del teléfono móvil es demasiado pequeño. Con la tecnología actual, si desea superar físicamente o acercarse a la cámara, solo puede optimizarla a través de algoritmos para que parezca sencillo, por ejemplo, automático HDR, escena súper nocturna, gran apertura simulada, cambio de cielo mágico y otras funciones.

Pero la interpretación de estos algoritmos sigue siendo difícil de lograr una intervención "personalizada", como la cantidad de filtros que se agregan y la cantidad de reflejos y sombras HDR que se retienen. Sin embargo, para los teléfonos móviles que se enfrentan a las masas, en la medida de lo posible, permita que la mayoría de la gente tome buenas fotos, lo que está más en línea con el posicionamiento en el mercado y el posicionamiento en el público de los teléfonos móviles.

Desde la invención de la cámara, la cámara tiene un atributo absoluto de "herramienta". Para ser eficiente, la apariencia, el control, la función, etc., comprometerán la eficiencia. Frente a un grupo profesional de nicho, naturalmente estará más en línea con sus necesidades. Las cámaras registrarán la profundidad del color, el color, la luz y otra información tanto como sea posible, para que los usuarios puedan hacer una gama más amplia de ajustes posteriores para determinar si es bueno o no. No en sus necesidades.

Para la mayoría de las personas que no tienen una base en fotografía, tener a mano una foto atractiva es mucho más importante que obtener una foto informativa. Para los fabricantes de cámaras profesionales, aumentar la profundidad de color de la grabación RAW está más en línea con el posicionamiento en el mercado que aumentar el efecto directo de JPG.

Sin embargo, las cosas no son tan absolutas y las cámaras también están intentando cambiar. Fuji siempre ha estado comprometido con el efecto directo de la cámara, introduciendo "simulación de película", a través de diferentes algoritmos, para hacer que las fotos sean más elegantes y se vean mejor. Sin embargo, este proceso no pasa por cálculos de escenas, sino que requiere que los usuarios elijan por sí mismos. Esto es similar a algunas aplicaciones de simulación de películas en teléfonos móviles y no involucra la llamada "fotografía computacional".

Después de la IA, ¿es la dirección general de la cámara?

En el campo de la fotografía, el posprocesamiento es un paso indispensable. Por un lado, el software de posprocesamiento puede hacer un uso completo de la rica información registrada en formato RAW y, por otro lado, también puede usar el alto rendimiento y la potencia informática de la PC para procesar fotos rápidamente.

A diferencia de los fabricantes de cámaras, el software de posproducción profesional casi convencional ha comenzado a trabajar en IA, enfatizando las capacidades de procesamiento de la IA.

Photoshop de Adobe ha agregado una función de reconocimiento automático a las operaciones tales como corte, reparación y dermoabrasión en versiones recientes de la actualización, haciendo que la operación sea cada vez más tonta y el efecto cada vez más preciso. El software de retoque Pixelmator Pro en la plataforma Mac comenzó a utilizar el aprendizaje automático Core ML de Apple para reconocer imágenes ya en 2018, con el fin de realizar ajustes de color, matizado, selección e incluso salida de compresión. Se utilizó el aprendizaje automático ML. motor.

Como se mencionó en el artículo anterior, debido a la limitación de la potencia de cómputo de la IA del chip y al problema del nicho de mercado, los fabricantes de cámaras apenas se han esforzado en la fotografía computacional. Sin embargo, también se puede considerar que la explosión de software posterior en IA compensa las deficiencias de las cámaras en la fotografía computacional.

Incluso si se incluye la IA del software posterior, las cámaras aún no se han deshecho del proceso tradicional. Las cámaras graban y los procesos del software. Este proceso sigue siendo engorroso para el público. Para los fotógrafos profesionales, la intervención de un software posterior AI puede reducir la carga de trabajo y hacer que las operaciones originales complicadas, como recortar, sean mucho más fáciles, pero aún no puede revertir el proceso de procesamiento (creación) de fotos de la industria de la fotografía tradicional, que es completamente diferente del teléfono móvil. diferente.

Según los datos de CIPA, el mercado de las cámaras se está reduciendo gradualmente, por el contrario, el mercado de la telefonía móvil sigue creciendo. La tendencia de la "fotografía computacional" en los teléfonos inteligentes no cambiará la dirección de las cámaras para volverse más profesionales, ni revertirá la reducción gradual del mercado de las cámaras.

Frente a los teléfonos móviles amenazantes, las cámaras solo pueden desarrollarse en una dirección más profesional y seguir subdividiendo el mercado hacia arriba. En los últimos años, el formato completo de 40 millones y 60 millones de píxeles de alto, el formato medio de más de 100 millones de píxeles y el micro-single Las capacidades de video continúan acercándose a las videocámaras profesionales, que son todos productos del segmento de las cámaras.

La creciente especialización de las cámaras significa la necesidad de sensores de imagen (CMOS) de mejor rendimiento, pero la "fotografía computacional" se basa en un módulo de aprendizaje automático independiente. Como todos sabemos, el alto costo y el alto riesgo del desarrollo de chips dificultan las cosas para los fabricantes de cámaras. Ten en cuenta ambos. La fotografía computacional y el desarrollo de la especialización son dos caminos diferentes. Al mismo tiempo, para características como la "fotografía computacional" y la "intervención de la IA" que son de poca utilidad para los usuarios profesionales, es probable que los fabricantes de cámaras sean abandonados estratégicamente temporalmente debido al equilibrio de los costos de investigación y desarrollo.

En esta etapa o en el futuro previsible, es aún más difícil querer que los fabricantes de cámaras adopten la "fotografía computacional" con alto riesgo, alta inversión y resultados lentos, sin mencionar que todavía hay muchos software de postproducción profesionales que utilizan IA para retocar fotos. Al final.

#Bienvenido a seguir la cuenta oficial de WeChat de Aifaner: Aifaner (ID de WeChat: ifanr), se le proporcionará más contenido emocionante lo antes posible.

Ai Faner | Enlace original · Ver comentarios · Sina Weibo