Popularizarea științei de bază
ISP (procesor de semnal de imagine)
DSP (Procesor de semnal digital)
ISP este utilizat în general pentru a procesa datele de ieșire ale senzorului de imagine, precum AEC (Control automat al expunerii), AGC (Control automat al câștigului), AWB (Balans de alb automat), corectarea culorii, Umbrirea lentilelor, Corecție gamma, îndepărtarea punctelor rele, Nivel automat de negru, Nivel de alb automat, etc.
DSP are mai multe funcții decât ISP. Poate face fotografii și ecou (Codare și decodare JPEG), înregistrare și redare video (Codificare și decodare video), H 264 codificare și decodare, și multe alte aspecte ale prelucrării, în scurt, procesarea semnalelor digitale. ISP este un tip special de DSP care procesează semnale de imagine.
01.Procesor de semnal de imagine ISP
Funcția principală a ISP (Procesor de semnal de imagine) procesorul de semnal de imagine este de a procesa semnalul de ieșire de către senzorul de imagine frontal în etapa ulterioară. Diferiți ISP-uri sunt utilizați pentru a potrivi senzorii de imagine de la diferiți producători.
Excelența ISP-ului este foarte importantă în întregul produs al camerei. De spus că afectează direct calitatea imaginii prezentate utilizatorilor. După ce imaginea este colectată de CCD sau CMOS, are nevoie de post-procesare pentru a se adapta mai bine la diferite medii, și poate restabili mai bine detaliile câmpului în diferite condiții optice.
În ISP, va completa 2A (AWB/AE, balans de alb automat/expunere automată) sau 3A (AWB/AE/AF, balans de alb automat/expunere automată/focalizare automată) despre care amintim adesea. În modul tradițional, un DSP sau un FPGA este de obicei folosit pentru a finaliza post-procesarea imaginilor. Unele produse de cameră acceptă reducerea zgomotului 3D, dinamică largă, obturator lent, acumulare de cadre, suprimarea puternică a luminii și alte funcții care sunt, de asemenea, completate de furnizorii de servicii de internet.
Schema arhitecturii ISP: poate fi împărțit în două forme: independent (extern) si integrat (intern).
Procesoarele CPU includ AP, BP și CP. BP: procesor în bandă de bază, AP: procesor de aplicații, CP: accelerator multimedia.
02.Principala compoziție internă a ISP-ului
După cum se arată în figura de mai jos, ISP include CPU, SUP IP, IF și alte dispozitive. De fapt, ISP-ul poate fi considerat un SOC (sistem de cip) care poate rula diverse programe de algoritm pentru a procesa semnale de imagine în timp real.
CPU
CPU este unitatea centrală de procesare, care poate rula diverși algoritmi de procesare a imaginii, cum ar fi AF, LSC, și controlează dispozitivele periferice. CPU-ul intern al ISP-ului modern este, în general, seria ARM Cortex-A, precum Cortex-A5 și Cortex-A7.
SUB IP
SUB IP este un termen generic pentru diferite module funcționale, care procesează imaginile profesional. IP SUB comun, precum DIS, CSC, VRA, etc.
Interfață de transmisie a imaginii
Există două tipuri de interfețe de transmisie a imaginii, ITU paralel și CSI serial. CSI este abrevierea lui MIPI CSI. Având în vedere numeroasele avantaje ale MIPI CSI, Interfața MIPI-CSI a fost utilizată pe scară largă pentru a transmite date de imagine și diverse date definite de utilizator în domeniul camerei mobile. ISP-ul extern include în general interfețele MIPI-CSIS și MIPI-CSIM. ISP-ul încorporat necesită, în general, doar interfața MIPI-CSIS.
Periferice generale
Perifericele generale se referă la I2C, SPI, PWM, UART, CÂINE DE PĂJUT, etc. ISP include controler I2C, care este folosit pentru a citi informațiile OTP, controlează VCM, etc. Pentru un ISP extern, ISP-ul în sine este un dispozitiv slave I2C. AP-ul poate controla modul de lucru al ISP-ului și poate obține starea de funcționare a acestuia prin I2C.
03.Fluxul de procesare ISP
Procesul de generare a imaginii: scena este proiectată pe suprafața senzorului prin imaginea optică generată de Lens, convertite în semnale electrice analogice prin conversie fotoelectrică, convertite în semnale de imagine digitale prin conversie A/D după eliminarea zgomotului, și apoi trimis la cipul de procesare a semnalului digital (DSP) pentru prelucrare.
Prin urmare, imaginea de la senzor este o imagine Bayer, care a suferit compensarea nivelului de negru, corectarea umbririi lentilelor, corectare proastă a pixelilor, interpolarea culorilor, Eliminarea zgomotului Bayer, corectarea balansului de alb, corectarea culorii, corecție gamma, conversia spațiului de culoare (RGB la YUV) În spațiul de culoare YUV, eliminarea zgomotului de culoare și îmbunătățirea marginilor, îmbunătățirea culorii și a contrastului, iar controlul automat al expunerii este necesar. Apoi, YUV (sau RGB) datele de format sunt ieșite și transmise CPU prin interfața I/O pentru procesare.
În prezent, ISP-urile utilizate în produsele pentru camere de înaltă definiție provin, în general, din următoarele surse:
Cercetare și dezvoltare personală de către producători: Pentru a coopera mai bine cu compresia back-end și dezvoltarea funcțiilor, Producătorii de echipamente pentru camere de înaltă definiție dezvoltă în mod independent algoritmi de procesare ISP, integrați algoritmii în cipuri FPGA sau DSP, și conectați senzorii de imagine frontali.
Terțul R&D: În 2010, au apărut treptat o serie de soluții ISP lansate de producătorii de camere non HD. Ei vând direct diferite cipuri ISP producătorilor de camere pentru a coopera cu senzori de la diferiți producători.
Modul de suprapunere: Producătorul senzorului va combina ISP-ul auto-dezvoltat cu propriul senzor pentru a forma o soluție de achiziție și procesare a imaginii pentru client. Algoritmul de procesare a imaginii și diverse lucrări de depanare au fost finalizate. Producătorul camerei trebuie să facă doar andocarea interfeței și compresia back-end sau conversia în video digital (HD-SDI). Acest mod se numește Stand Alone Devices sau Camera System Onchip.
01. Procesor de semnal digital DSP
DSP (procesor de semnal digital) este un microprocesor unic cu propriul său sistem complet de instrucțiuni. Este un dispozitiv care procesează o cantitate mare de informații cu semnale digitale. Cea mai mare caracteristică a sa este că are un multiplicator hardware dedicat și o structură de magistrală Harvard pentru a procesa rapid un număr mare de semnale digitale.
Un procesor de semnal digital include o unitate de control, o unitate de operare, diverse registre și un anumit număr de unități de stocare într-un cip mic. De asemenea, poate fi conectat cu o serie de amintiri de la periferie, și poate comunica cu un anumit număr de dispozitive externe. Are funcții complete de software și hardware, și este în sine un microcalculator.
DSP adoptă designul Harvard, adică, magistrala de date și magistrala de adrese sunt separate, astfel încât programul și datele să fie stocate în două spații separate, permițând suprapunerea completă a instrucțiunilor de preluare și de execuție. Adică, la executarea ultimei instrucţiuni, următoarea instrucțiune poate fi scoasă și decodificată, ceea ce îmbunătățește foarte mult viteza microprocesorului. în plus, permite transmiterea între spațiul programului și spațiul de date, deoarece crește flexibilitatea dispozitivelor.
Principiul său de funcționare este de a primi semnale analogice, transforma-le în semnale digitale de 0 sau 1, modifica, ștergeți și întăriți semnalele digitale, și interpretați datele digitale înapoi la date analogice sau la formatul de mediu real în alte cipuri de sistem. Nu numai că are programabilitate, dar poate rula și zeci de milioane de instrucțiuni complexe pe secundă în timp real. Sursa sa este mai mult decât microprocesoare de uz general. Este un cip de computer din ce în ce mai important în lumea electronică digitală. Capacitatea sa puternică de procesare a datelor și viteza mare de rulare sunt cele mai lăudabile două caracteristici.
În era digitală de astăzi, DSP a devenit dispozitivul de bază în comunicare, calculator, electronice de larg consum și alte domenii.
02. Caracteristicile sistemului DSP
(1) Interfață convenabilă
Sistemul DSP este compatibil cu alte sisteme sau dispozitive bazate pe tehnologie digitală modernă. Este mult mai ușor să realizezi anumite funcții prin astfel de interfețe de sistem decât să interfați sisteme analogice cu aceste sisteme.
(2) Programare ușoară
Cipul DSP programabil al sistemului DSP le poate permite proiectanților să modifice și să actualizeze software-ul în mod flexibil și convenabil în timpul procesului de dezvoltare.
(3) Stabilitate bună
Sistemul DSP se bazează pe procesare digitală, care este mai puțin afectată de temperatura și zgomotul ambiant, și are fiabilitate ridicată.
(4) Precizie mare
16 sistemul digital bit poate atinge precizia.
(5) Repetabilitate bună
Performanța sistemului analogic este foarte afectată de performanța parametrilor componentelor, în timp ce sistemul digital este practic neafectat, astfel încât sistemul digital este convenabil pentru testare, depanare și producție în masă.
(6) Integrare ușoară
Componentele digitale din sistemul DSP sunt foarte standardizate, ceea ce este convenabil pentru integrarea pe scară largă.
Popularizarea științei de bază Hard Core popularizarea științei Hard Core popularizarea științei Hard Core popularizarea științei Hard Core popularizarea științei Hard Core popularizarea științei Hard Core popularizarea științei Hard Core popularizarea științei