ISP (procesador de señal de imagen)
DSP (Procesador de señal digital)
El ISP se utiliza generalmente para procesar los datos de salida del sensor de imagen., como AEC (Control automático de exposición), CAG (Control de ganancia automática), AWB (Balance de blancos automático), corrección de color, Sombreado de lentes, Corrección gamma, eliminación de malas manchas, Nivel de negro automático, Nivel de blanco automático, etc..
DSP tiene más funciones que ISP. Puede tomar fotos y hacer eco. (Codificación y decodificación JPEG), grabación y reproducción de vídeo (Codificación y decodificación de vídeo.), H 264 codificación y decodificación, y muchos otros aspectos del procesamiento, en breve, procesamiento de señales digitales. ISP es un tipo especial de DSP que procesa señales de imágenes..
01.Procesador de señal de imagen ISP
La función principal del ISP. (Procesador de señal de imagen) El procesador de señal de imagen es procesar la señal de salida del sensor de imagen frontal en la etapa posterior.. Se utilizan diferentes ISP para combinar sensores de imagen de diferentes fabricantes..
La excelencia del ISP es muy importante en todo el producto de la cámara.. Cabe decir que afecta directamente a la calidad de la imagen presentada a los usuarios.. Después de que la imagen sea recopilada por CCD o CMOS, necesita posprocesamiento para adaptarse mejor a diferentes entornos, y puede restaurar mejor los detalles del campo bajo diferentes condiciones ópticas.
En proveedor de servicios de Internet, completará el 2A (AWB/AE, balance de blancos automático/exposición automática) o 3A (AWB/AE/AF, balance de blancos automático/exposición automática/enfoque automático) que a menudo mencionamos. En modo tradicional, Se suele utilizar un DSP o un FPGA para completar el posprocesamiento de imágenes.. Algunos productos de cámara admiten la reducción de ruido 3D, amplia dinámica, obturador lento, acumulación de cuadros, fuerte supresión de luz y otras funciones que también completan los ISP.
Esquema de arquitectura ISP: se puede dividir en dos formas: independiente (externo) e integrado (interno).
Los procesadores CPU incluyen AP, PA y PC. PA: procesador de banda base, AP: procesador de aplicaciones, CP: acelerador multimedia.
02.Principal composición interna del ISP
Como se muestra en la siguiente figura, El ISP incluye CPU, SUP IP, SI y otros dispositivos. De hecho, El ISP puede considerarse un SOC (sistema de chip) que puede ejecutar varios programas de algoritmos para procesar señales de imágenes en tiempo real.
UPC
La CPU es la unidad central de procesamiento., que puede ejecutar varios algoritmos de procesamiento de imágenes como AF, LSC, y controlar dispositivos periféricos. La CPU interna de los ISP modernos es generalmente la serie ARM Cortex-A., como Cortex-A5 y Cortex-A7.
SUBIP
SUB IP es un término genérico para varios módulos funcionales., que procesan imágenes profesionalmente. SUBIP común, como DIS, CSC, VRA, etc..
Interfaz de transmisión de imágenes
Hay dos tipos de interfaces de transmisión de imágenes., ITU paralelo y CSI serie. CSI es la abreviatura de MIPI CSI. En vista de las muchas ventajas de MIPI CSI, La interfaz MIPI-CSI se ha utilizado ampliamente para transmitir datos de imágenes y diversos datos definidos por el usuario en el campo de las cámaras móviles.. El ISP externo generalmente incluye interfaces MIPI-CSIS y MIPI-CSIM. El ISP integrado generalmente solo requiere una interfaz MIPI-CSIS.
Periféricos generales
Los periféricos generales se refieren a I2C., SPI, PWM, UART, PERRO GUARDIÁN, etc.. ISP incluye controlador I2C, que se utiliza para leer información OTP, controlar VCM, etc.. Para un ISP externo, el propio ISP es un dispositivo esclavo I2C. El AP puede controlar el modo de trabajo del ISP y obtener su estado de trabajo a través de I2C.
03.Flujo de procesamiento del ISP
Proceso de generación de imágenes: La escena se proyecta sobre la superficie del sensor a través de la imagen óptica generada por la lente., convertidos en señales eléctricas analógicas mediante conversión fotoeléctrica, Convertido en señales de imagen digital mediante conversión A/D después de la eliminación del ruido., y luego enviado al chip de procesamiento de señal digital (DSP) para procesar.
Por lo tanto, la imagen del sensor es una imagen de Bayer, que ha sufrido compensación de nivel de negro, corrección de sombreado de lentes, mala corrección de píxeles, interpolación de color, Eliminación de ruido de Bayer, corrección del balance de blancos, corrección de color, corrección gamma, conversión de espacio de color (RGB a YUV) En el espacio de color YUV, Eliminación de ruido de color y mejora de bordes., mejora del color y el contraste, y se requiere control automático de exposición. Entonces, YUV (o RGB) Los datos de formato se envían y transmiten a la CPU a través de la interfaz de E/S para su procesamiento..
Actualmente, Los ISP utilizados en productos de cámaras de alta definición generalmente provienen de las siguientes fuentes:
Autoinvestigación y desarrollo por parte de los fabricantes.: Para cooperar mejor con la compresión de back-end y el desarrollo de funciones., Los fabricantes de equipos de cámaras de alta definición desarrollan de forma independiente algoritmos de procesamiento de ISP, integrar los algoritmos en chips FPGA o DSP, y conecte los sensores de imagen frontales.
Tercero R&D: En 2010, Poco a poco han surgido una serie de soluciones ISP lanzadas por fabricantes de cámaras que no son HD.. Venden directamente diferentes chips ISP a fabricantes de cámaras para cooperar con sensores de diferentes fabricantes..
Modo de superposición: El fabricante de sensores combinará el ISP de desarrollo propio con su propio sensor para formar una solución de adquisición y procesamiento de imágenes para el cliente.. Se han completado el algoritmo de procesamiento de imágenes y varios trabajos de depuración.. El fabricante de la cámara solo necesita realizar el acoplamiento de la interfaz y la compresión o conversión de back-end a video digital. (HD-SDI). Este modo se llama Dispositivos autónomos o Sistema de cámara en chip..
01. Procesador de señal digital DSP
DSP (procesador de señal digital) es un microprocesador único con su propio sistema de instrucción completo. Es un dispositivo que procesa una gran cantidad de información con señales digitales.. Su característica más importante es que tiene un multiplicador de hardware dedicado y una estructura de bus Harvard para procesar una gran cantidad de señales digitales rápidamente..
Un procesador de señal digital incluye una unidad de control., una unidad de operación, varios registros y un cierto número de unidades de almacenamiento en un pequeño chip. También se puede conectar con una serie de recuerdos en su periferia., y puede comunicarse con un cierto número de dispositivos externos. Tiene funciones integrales de software y hardware., y es en sí mismo una microcomputadora.
DSP adopta el diseño de Harvard, eso es, el bus de datos y el bus de direcciones están separados, para que el programa y los datos se almacenen en dos espacios separados, permitiendo una superposición completa entre la búsqueda de instrucciones y la ejecución de instrucciones. Es decir, al ejecutar la última instrucción, la siguiente instrucción se puede sacar y decodificar, lo que mejora enormemente la velocidad del microprocesador. Además, permite la transmisión entre el espacio de programa y el espacio de datos, porque aumenta la flexibilidad de los dispositivos.
Su principio de funcionamiento es recibir señales analógicas., convertirlos en señales digitales de 0 o 1, modificar, Eliminar y fortalecer las señales digitales., e interpretar los datos digitales a datos analógicos o al formato del entorno real en otros chips del sistema. No sólo tiene programabilidad, pero también puede ejecutar decenas de millones de instrucciones complejas por segundo en tiempo real. Su fuente es más que microprocesadores de uso general.. Es un chip informático cada vez más importante en el mundo de la electrónica digital.. Su poderosa capacidad de procesamiento de datos y su alta velocidad de carrera son las dos características más encomiables..
En la era digital actual, DSP se ha convertido en el dispositivo básico en la comunicación, computadora, Electrónica de consumo y otros campos..
02. Características del sistema DSP
(1) Interfaz conveniente
El sistema DSP es compatible con otros sistemas o dispositivos basados en tecnología digital moderna.. Es mucho más fácil realizar ciertas funciones a través de tales interfaces de sistema que interconectar sistemas analógicos con estos sistemas..
(2) Fácil programación
El chip DSP programable del sistema DSP puede permitir a los diseñadores modificar y actualizar el software de manera flexible y conveniente durante el proceso de desarrollo..
(3) Buena estabilidad
El sistema DSP se basa en el procesamiento digital., que se ve menos afectado por la temperatura ambiente y el ruido, y tiene alta confiabilidad.
(4) Alta precisión
16 El sistema digital de bits puede lograr la precisión.
(5) Buena repetibilidad
El rendimiento del sistema analógico se ve muy afectado por el rendimiento de los parámetros de los componentes., mientras que el sistema digital básicamente no se ve afectado, por lo que el sistema digital es conveniente para realizar pruebas, depuración y producción en masa.
(6) Fácil integración
Los componentes digitales del sistema DSP están altamente estandarizados, lo cual es conveniente para la integración a gran escala.