ISP (이미지 신호 프로세서)
DSP (디지털 신호 프로세서)
ISP는 일반적으로 이미지 센서의 출력 데이터를 처리하는 데 사용됩니다., AEC와 같은 (자동 노출 제어), AGC (자동 이득 제어), AWB (자동 화이트 밸런스), 색보정, 렌즈 셰이딩, 감마 보정, 나쁜 점 제거, 자동 블랙 레벨, 자동 화이트 레벨, 등.
DSP는 ISP보다 더 많은 기능을 가지고 있습니다.. 사진을 찍고 에코할 수 있습니다. (JPEG 인코딩 및 디코딩), 비디오 녹화 및 재생 (비디오 인코딩 및 디코딩), 시간 264 인코딩 및 디코딩, 그리고 처리의 다른 많은 측면, 요컨대, 디지털 신호 처리. ISP는 이미지 신호를 처리하는 특별한 종류의 DSP입니다..
01.ISP 이미지 신호 프로세서
ISP의 주요 기능 (이미지 신호 프로세서) 이미지 신호 프로세서는 프런트 엔드 이미지 센서에서 출력되는 신호를 이후 단계에서 처리하는 것입니다.. 다양한 제조업체의 이미지 센서를 일치시키기 위해 다양한 ISP가 사용됩니다..
카메라 제품 전체에 있어 ISP의 우수성은 매우 중요합니다.. 사용자에게 제시되는 이미지 품질에 직접적인 영향을 미친다고 해야 할까요?. CCD 또는 CMOS로 이미지를 수집한 후, 다양한 환경에 더 잘 적응하려면 후처리가 필요합니다., 다양한 광학 조건에서 필드 세부 정보를 더 잘 복원할 수 있습니다..
ISP에서, 그것은 2A를 완료할 것이다 (AWB/AE, 자동 화이트 밸런스/자동 노출) 또는 3A (AWB/AE/AF, 자동 화이트 밸런스/자동 노출/자동 초점) 우리가 자주 언급하는. 기존 모드에서는, DSP 또는 FPGA는 일반적으로 이미지 후처리를 완료하는 데 사용됩니다.. 일부 카메라 제품은 3D 노이즈 감소를 지원합니다., 와이드 다이내믹, 느린 셔터, 프레임 축적, ISP가 완료하는 강력한 빛 억제 및 기타 기능.
ISP 아키텍처 체계: 두 가지 형태로 나눌 수 있다: 독립적인 (외부) 그리고 통합 (내부).
CPU 프로세서에는 AP가 포함됩니다., BP와 CP. BP: 베이스밴드 프로세서, AP: 애플리케이션 프로세서, CP: 멀티미디어 가속기.
02.ISP의 주요 내부 구성
아래 그림과 같이, ISP에는 CPU가 포함됩니다., SUP IP, IF 및 기타 장치. 사실은, ISP는 SOC로 간주될 수 있습니다. (칩 시스템) 다양한 알고리즘 프로그램을 실행하여 영상신호를 실시간으로 처리할 수 있는.
CPU
CPU는 중앙처리장치이다, AF 등 다양한 영상처리 알고리즘을 실행할 수 있는, LSC, 주변기기 제어 및 제어. 최신 ISP의 내부 CPU는 일반적으로 ARM Cortex-A 시리즈입니다., Cortex-A5 및 Cortex-A7과 같은.
서브 IP
SUB IP는 다양한 기능 모듈을 총칭하는 용어입니다., 전문적으로 이미지를 처리하는. 공통 서브 IP, DIS와 같은, CSC, VRA, 등.
이미지 전송 인터페이스
이미지 전송 인터페이스에는 두 가지 종류가 있습니다., 병렬 ITU 및 직렬 CSI. CSI는 MIPI CSI의 약자입니다.. MIPI CSI의 많은 장점을 고려하여, MIPI-CSI 인터페이스는 모바일 카메라 분야에서 이미지 데이터와 다양한 사용자 정의 데이터를 전송하는 데 널리 사용되었습니다.. 외부 ISP에는 일반적으로 MIPI-CSIS 및 MIPI-CSIM 인터페이스가 포함됩니다.. 내장 ISP에는 일반적으로 MIPI-CSIS 인터페이스만 필요합니다..
일반 주변기기
일반 주변 장치는 I2C를 참조합니다., SPI, PWM, UART, 지키는 개, 등. ISP에는 I2C 컨트롤러가 포함되어 있습니다., OTP 정보를 읽는 데 사용되는 것입니다., 제어 VCM, 등. 외부 ISP의 경우, ISP 자체는 I2C 슬레이브 장치입니다.. AP는 ISP의 작업 모드를 제어하고 I2C를 통해 작업 상태를 얻을 수 있습니다..
03.ISP 처리 흐름
이미지 생성 과정: 렌즈에서 생성된 광학 이미지를 통해 장면이 센서 표면에 투사됩니다., 광전변환을 통해 아날로그 전기신호로 변환, 노이즈 제거 후 A/D 변환을 통해 디지털 영상신호로 변환, 그런 다음 디지털 신호 처리 칩으로 전송됩니다. (DSP) 처리를 위해.
그러므로, 센서의 이미지는 베이어 이미지입니다., 블랙 레벨 보상을 받은 제품, 렌즈 쉐이딩 보정, 잘못된 픽셀 수정, 색상 보간, 바이엘 소음 제거, 화이트 밸런스 보정, 색보정, 감마 보정, 색 공간 변환 (RGB에서 YUV로) YUV 색상 공간에서, 색상 노이즈 제거 및 가장자리 향상, 색상 및 대비 향상, 및 자동 노출 제어가 필요합니다. 그 다음에, YUV (또는 RGB) 포맷 데이터가 출력되어 I/O 인터페이스를 통해 CPU로 전송되어 처리됩니다..
현재, 고화질 카메라 제품에 사용되는 ISP는 일반적으로 다음 소스에서 제공됩니다.:
제조사 자체 연구개발: 백엔드 압축 및 기능 개발에 더 잘 협력하기 위해, 고화질 카메라 장비 제조업체는 ISP 처리 알고리즘을 독립적으로 개발합니다., 알고리즘을 FPGA 또는 DSP 칩에 통합, 프런트엔드 이미지 센서를 연결하고.
제3자 R&디: ~ 안에 2010, HD가 아닌 카메라 제조업체에서 출시한 수많은 ISP 솔루션이 점차 등장했습니다.. 그들은 다양한 제조업체의 센서와 협력하기 위해 다양한 ISP 칩을 카메라 제조업체에 직접 판매합니다..
오버레이 모드: 센서 제조업체는 자체 개발한 ISP와 자체 센서를 결합하여 고객에게 이미지 수집 및 처리 솔루션을 제공합니다.. 이미지 처리 알고리즘 및 다양한 디버깅 작업이 완료되었습니다.. 카메라 제조업체는 인터페이스 도킹과 백엔드 압축 또는 디지털 비디오로의 변환만 수행하면 됩니다. (HD-SDI). 이 모드를 독립형 장치 또는 카메라 시스템 온칩이라고 합니다..
01. DSP 디지털 신호 프로세서
DSP (디지털 신호 프로세서) 자체 완전한 명령 시스템을 갖춘 독특한 마이크로프로세서입니다.. 디지털 신호로 많은 양의 정보를 처리하는 장치입니다.. 가장 큰 특징은 대량의 디지털 신호를 빠르게 처리할 수 있는 전용 하드웨어 곱셈기와 Harvard 버스 구조를 가지고 있다는 점입니다..
디지털 신호 프로세서에는 제어 장치가 포함됩니다., 작전 단위, 작은 칩에 다양한 레지스터와 특정 수의 저장 장치. 주변의 수많은 추억과도 연결될 수 있다, 특정 수의 외부 장치와 통신할 수 있습니다.. 소프트웨어와 하드웨어의 포괄적인 기능을 가지고 있습니다., 그리고 그 자체가 마이크로컴퓨터이다.
DSP는 Harvard 디자인을 채택합니다, 그건, 데이터 버스와 주소 버스가 분리되어 있습니다., 프로그램과 데이터가 두 개의 별도 공간에 저장되도록, 명령어 가져오기와 명령어 실행이 완전히 겹칠 수 있도록 허용. 즉 말하자면, 마지막 명령을 실행할 때, 다음 명령어를 꺼내서 디코딩할 수 있습니다., 이는 마이크로프로세서의 속도를 크게 향상시킵니다.. 게다가, 프로그램 공간과 데이터 공간 사이의 전송을 허용합니다., 장치의 유연성을 높이기 때문입니다..
작동 원리는 아날로그 신호를 수신하는 것입니다., 이를 디지털 신호로 변환하여 0 또는 1, 수정하다, 디지털 신호 삭제 및 강화, 디지털 데이터를 다른 시스템 칩의 아날로그 데이터 또는 실제 환경 형식으로 다시 해석합니다.. 프로그래밍 가능성뿐만 아니라, 초당 수천만 개의 복잡한 명령을 실시간으로 실행할 수도 있습니다.. 그 소스는 범용 마이크로프로세서 그 이상입니다.. 디지털 전자 세계에서 점점 더 중요한 컴퓨터 칩입니다.. 강력한 데이터 처리 능력과 빠른 실행 속도는 가장 칭찬할만한 두 가지 기능입니다..
오늘날의 디지털 시대에, DSP는 통신의 기본 장치가 되었습니다., 컴퓨터, 가전제품 및 기타 분야.
02. DSP 시스템의 특징
(1) 편리한 인터페이스
DSP 시스템은 최신 디지털 기술을 기반으로 하는 다른 시스템 또는 장치와 호환됩니다.. 이러한 시스템과 아날로그 시스템을 인터페이스하는 것보다 이러한 시스템 인터페이스를 통해 특정 기능을 구현하는 것이 훨씬 쉽습니다..
(2) 쉬운 프로그래밍
DSP 시스템의 프로그래밍 가능한 DSP 칩을 통해 설계자는 개발 과정에서 소프트웨어를 유연하고 편리하게 수정하고 업그레이드할 수 있습니다..
(3) 좋은 안정성
DSP 시스템은 디지털 프로세싱을 기반으로 합니다., 주변 온도와 소음에 영향을 덜 받는 제품, 그리고 신뢰성이 높다.
(4) 높은 정밀도
16 비트 디지털 시스템은 정확도를 달성할 수 있습니다.
(5) 좋은 반복성
아날로그 시스템의 성능은 구성요소 매개변수의 성능에 크게 영향을 받습니다., 디지털 시스템은 기본적으로 영향을 받지 않지만, 따라서 디지털 시스템은 테스트에 편리합니다., 디버깅 및 대량 생산.
(6) 쉬운 통합
DSP 시스템의 디지털 구성요소는 고도로 표준화되어 있습니다., 대규모 통합에 편리합니다..