Hård kärna vetenskap popularisering
ISP (bildsignalprocessor)
DSP (Digital signalprocessor)
ISP används vanligtvis för att bearbeta utdata från bildsensorn, såsom AEC (Automatisk exponeringskontroll), AGC (Automatisk förstärkningskontroll), AWB (Automatisk vitbalans), färgkorrigering, Linsskuggning, Gammakorrigering, dålig fläckborttagning, Autosvartnivå, Auto vitnivå, etc.
DSP har fler funktioner än ISP. Den kan ta bilder och eka (JPEG-kodning och avkodning), videoinspelning och uppspelning (Videokodning och avkodning), H 264 kodning och avkodning, och många andra aspekter av bearbetning, kort sagt, bearbeta digitala signaler. ISP är en speciell typ av DSP som behandlar bildsignaler.
01.ISP bildsignalprocessor
ISP:s huvudfunktion (Bildsignalprocessor) bildsignalprocessorn ska bearbeta signalen som matas ut av front-end-bildsensorn i ett senare skede. Olika internetleverantörer används för att matcha bildsensorer från olika tillverkare.
ISP:s förträfflighet är mycket viktig i hela kameraprodukten. Det ska sägas att det direkt påverkar bildkvaliteten som presenteras för användarna. Efter att bilden samlas in av CCD eller CMOS, det behöver efterbearbetas för att bättre anpassa sig till olika miljöer, och kan bättre återställa fältdetaljerna under olika optiska förhållanden.
I ISP, det kommer att slutföra 2A (AWB/AE, automatisk vitbalans/autoexponering) eller 3A (AWB/AE/AF, automatisk vitbalans/autoexponering/autofokus) som vi ofta nämner. I traditionellt läge, en DSP eller en FPGA används vanligtvis för att slutföra efterbehandlingen av bilder. Vissa kameraprodukter stöder 3D-brusreducering, bred dynamik, långsam slutare, ram ackumulering, stark ljusdämpning och andra funktioner som också fullföljs av Internetleverantörer.
ISP-arkitekturschema: den kan delas upp i två former: oberoende (extern) och integrerad (inre).
CPU-processorer inkluderar AP, BP och CP. BP: basbandsprocessor, AP: applikationsbehandlare, CP: multimediaaccelerator.
02.ISP:s huvudsakliga interna sammansättning
Som visas i figuren nedan, ISP inkluderar CPU, SUP IP, IF och andra enheter. I själva verket, ISP kan betraktas som en SOC (system av chip) som kan köra olika algoritmprogram för att bearbeta bildsignaler i realtid.
CPU
CPU:n är den centrala processorenheten, som kan köra olika bildbehandlingsalgoritmer som AF, LSC, och styr kringutrustning. Den interna CPU:n hos modern ISP är i allmänhet ARM Cortex-A-serien, som Cortex-A5 och Cortex-A7.
SUB IP
SUB IP är en samlingsbeteckning för olika funktionsmoduler, som bearbetar bilder professionellt. Gemensam SUB IP, som DIS, CSC, VRA, etc.
Bildöverföringsgränssnitt
Det finns två typer av bildöverföringsgränssnitt, parallell ITU och seriell CSI. CSI är en förkortning av MIPI CSI. Med tanke på många fördelar med MIPI CSI, MIPI-CSI-gränssnittet har använts i stor utsträckning för att överföra bilddata och olika användardefinierade data inom mobilkameraområdet. Extern ISP inkluderar vanligtvis MIPI-CSIS och MIPI-CSIM-gränssnitt. Inbyggd ISP kräver i allmänhet bara MIPI-CSIS-gränssnitt.
Allmän kringutrustning
Allmän kringutrustning hänvisar till I2C, SPI, PWM, UART, VAKTHUND, etc. ISP inkluderar I2C-kontroller, som används för att läsa OTP-information, styra VCM, etc. För en extern ISP, Internetleverantören i sig är en I2C-slavenhet. AP kan styra ISP:s arbetsläge och få dess arbetsstatus via I2C.
03.ISP-bearbetningsflöde
Bildgenereringsprocess: scenen projiceras på sensorytan genom den optiska bilden som genereras av Lens, omvandlas till analoga elektriska signaler genom fotoelektrisk omvandling, omvandlas till digitala bildsignaler genom A/D-konvertering efter bruseliminering, och skickas sedan till det digitala signalbehandlingschippet (DSP) för bearbetning.
Därför, bilden från sensorn är en Bayer-bild, som har genomgått svartnivåkompensation, korrigering av linsskuggning, dålig pixelkorrigering, färginterpolation, Bayer brusborttagning, vitbalanskorrigering, färgkorrigering, gammakorrigering, färgrymdskonvertering (RGB till YUV) I YUV-färgrymden, avlägsnande av färgbrus och kantförbättring, färg och kontrastförbättring, och automatisk exponeringskontroll krävs. Sedan, YUV (eller RGB) formatdata matas ut och överförs till CPU:n via I/O-gränssnittet för bearbetning.
För närvarande, Internetleverantörer som används i högupplösta kameraprodukter kommer vanligtvis från följande källor:
Egen forskning och utveckling av tillverkare: För att bättre kunna samarbeta med back-end kompression och funktionsutveckling, Tillverkare av högupplöst kamerautrustning utvecklar oberoende ISP-bearbetningsalgoritmer, integrera algoritmerna i FPGA- eller DSP-chips, och anslut de främre bildsensorerna.
Tredje part R&D: I 2010, ett antal ISP-lösningar som lanserats av icke HD-kameratillverkare har gradvis dykt upp. De säljer direkt olika ISP-chips till kameratillverkare för att samarbeta med sensorer från olika tillverkare.
Överlagringsläge: Sensortillverkaren kommer att kombinera den egenutvecklade internetleverantören med sin egen sensor för att bilda en bildupptagnings- och bearbetningslösning för kunden. Bildbehandlingsalgoritmen och olika felsökningsarbeten har slutförts. Kameratillverkaren behöver bara göra gränssnittsdockning och back-end-komprimering eller konvertering till digital video (HD-SDI). Detta läge kallas Fristående enheter eller Camera System Onchip.
01. DSP digital signalprocessor
DSP (digital signalprocessor) är en unik mikroprocessor med ett eget komplett instruktionssystem. Det är en enhet som bearbetar en stor mängd information med digitala signaler. Dess största funktion är att den har en dedikerad hårdvarumultiplikator och Harvard-busstruktur för att snabbt bearbeta ett stort antal digitala signaler.
En digital signalprocessor inkluderar en styrenhet, en operationsenhet, olika register och ett visst antal lagringsenheter i ett litet chip. Den kan också kopplas ihop med ett antal minnen i dess periferi, och kan kommunicera med ett visst antal externa enheter. Den har omfattande funktioner för mjukvara och hårdvara, och är själv en mikrodator.
DSP antar Harvard-design, som är, databussen och adressbussen är separerade, så att programmet och data lagras i två separata utrymmen, möjliggör fullständig överlappning av hämtningsinstruktioner och exekverande instruktioner. Det vill säga, när den sista instruktionen utförs, nästa instruktion kan tas ut och avkodas, vilket avsevärt förbättrar mikroprocessorns hastighet. Dessutom, den tillåter överföring mellan programutrymme och datautrymme, eftersom det ökar flexibiliteten hos enheter.
Dess arbetsprincip är att ta emot analoga signaler, omvandla dem till digitala signaler 0 eller 1, ändra, radera och stärka de digitala signalerna, och tolka de digitala data tillbaka till analoga data eller faktiska miljöformat i andra systemchips. Den har inte bara programmerbarhet, men kan också köra tiotals miljoner komplexa instruktioner per sekund i realtid. Dess källa är mer än mikroprocessorer för allmänna ändamål. Det är ett allt viktigare datorchip i den digitala elektroniska världen. Dess kraftfulla databearbetningsförmåga och höga körhastighet är de två mest lovvärda funktionerna.
I dagens digitala era, DSP har blivit den grundläggande enheten inom kommunikation, dator, konsumentelektronik och andra områden.
02. Funktioner i DSP-systemet
(1) Bekvämt gränssnitt
DSP-systemet är kompatibelt med andra system eller enheter baserade på modern digital teknik. Det är mycket lättare att realisera vissa funktioner genom sådana systemgränssnitt än att koppla analoga system med dessa system.
(2) Enkel programmering
DSP-systemets programmerbara DSP-chip kan göra det möjligt för designers att modifiera och uppgradera programvaran flexibelt och bekvämt under utvecklingsprocessen.
(3) Bra stabilitet
DSP-systemet är baserat på digital bearbetning, som påverkas mindre av omgivningstemperatur och buller, och har hög tillförlitlighet.
(4) Hög precision
16 bit digitalt system kan uppnå noggrannheten.
(5) Bra repeterbarhet
Det analoga systemets prestanda påverkas i hög grad av prestandan hos komponentparametrar, medan det digitala systemet i princip är opåverkat, så det digitala systemet är bekvämt att testa, felsökning och massproduktion.
(6) Enkel integration
Digitala komponenter i DSP-system är mycket standardiserade, vilket är bekvämt för storskalig integration.
Hård kärna vetenskap popularisering Hård kärna vetenskap popularisering Hård kärna vetenskap popularisering Hård kärna vetenskap popularisering Hård kärna vetenskap popularisering Hård kärna vetenskap popularisering Hård kärna vetenskap popularisering Hård kärna vetenskap popularisering