Vulgarisation scientifique fondamentale
FAI (processeur de signal d'image)
DSP (Processeur de signal numérique)
ISP est généralement utilisé pour traiter les données de sortie du capteur d'image, comme AEC (Contrôle automatique de l'exposition), CAG (Contrôle automatique du gain), AWB (Balance des blancs automatique), correction des couleurs, Ombrage des lentilles, Correction gamma, suppression des mauvais points, Niveau de noir automatique, Niveau de blanc automatique, etc..
DSP a plus de fonctions que ISP. Il peut prendre des photos et faire écho (Encodage et décodage JPEG), enregistrement et lecture vidéo (Encodage et décodage vidéo), H 264 encodage et décodage, et de nombreux autres aspects du traitement, en bref, traitement des signaux numériques. ISP est un type spécial de DSP qui traite les signaux d'image.
01.Processeur de signal d'image FAI
La fonction principale du FAI (Processeur de signal d'image) le processeur de signal d'image doit traiter le signal émis par le capteur d'image frontal à un stade ultérieur. Différents FAI sont utilisés pour faire correspondre les capteurs d'image de différents fabricants.
L'excellence du FAI est très importante dans l'ensemble du produit de la caméra. Il faut dire que cela affecte directement la qualité de l'image présentée aux utilisateurs. Une fois l'image collectée par CCD ou CMOS, il a besoin d'un post-traitement pour mieux s'adapter aux différents environnements, et peut mieux restaurer les détails du champ dans différentes conditions optiques.
Chez le FAI, ça complétera le 2A (AWB/AE, balance des blancs automatique/exposition automatique) ou 3A (AWB/AE/AF, balance des blancs automatique/exposition automatique/mise au point automatique) que l'on évoque souvent. En mode traditionnel, un DSP ou un FPGA est généralement utilisé pour compléter le post-traitement des images. Certains produits d'appareil photo prennent en charge la réduction du bruit 3D, large dynamique, obturation lente, accumulation de cadres, forte suppression de la lumière et autres fonctions également remplies par les FAI.
Schéma d'architecture du FAI: il peut être divisé en deux formes: indépendant (externe) et intégré (interne).
Les processeurs CPU incluent AP, BP et CP. PA: processeur de bande de base, PA: processeur d'applications, CP: accélérateur multimédia.
02.Composition interne principale du FAI
Comme le montre la figure ci-dessous, Le FAI inclut le processeur, IP SUP, SI et autres appareils. En fait, Le FAI peut être considéré comme un SOC (système de puce) qui peut exécuter divers programmes algorithmiques pour traiter les signaux d'image en temps réel.
Processeur
Le CPU est l'unité centrale de traitement, qui peut exécuter divers algorithmes de traitement d'image tels que AF, LSC, et contrôler les périphériques. Le processeur interne des FAI modernes est généralement de la série ARM Cortex-A, comme Cortex-A5 et Cortex-A7.
SOUS-IP
SUB IP est un terme générique désignant divers modules fonctionnels, qui traitent les images de manière professionnelle. SUB IP commune, comme DIS, SCC, VRA, etc..
Interface de transmission d'images
Il existe deux types d'interfaces de transmission d'images, ITU parallèle et CSI série. CSI est l'abréviation de MIPI CSI. Compte tenu des nombreux avantages de MIPI CSI, L'interface MIPI-CSI a été largement utilisée pour transmettre des données d'image et diverses données définies par l'utilisateur dans le domaine des caméras mobiles. Le FAI externe inclut généralement les interfaces MIPI-CSIS et MIPI-CSIM. Le FAI intégré ne nécessite généralement qu'une interface MIPI-CSIS.
Périphériques généraux
Les périphériques généraux font référence à I2C, IPS, MLI, UART, CHIEN DE GARDE, etc.. Le FAI comprend un contrôleur I2C, qui est utilisé pour lire les informations OTP, contrôle VCM, etc.. Pour un FAI externe, le FAI lui-même est un périphérique esclave I2C. L'AP peut contrôler le mode de fonctionnement du FAI et obtenir son état de fonctionnement via I2C.
03.Flux de traitement du FAI
Processus de génération d'images: la scène est projetée sur la surface du capteur à travers l'image optique générée par Lens, converti en signaux électriques analogiques par conversion photoélectrique, converti en signaux d'image numériques par conversion A/D après élimination du bruit, puis envoyé à la puce de traitement du signal numérique (DSP) pour le traitement.
Donc, l'image du capteur est une image Bayer, qui a subi une compensation de niveau noir, correction de l'ombrage de l'objectif, mauvaise correction des pixels, interpolation des couleurs, Suppression du bruit Bayer, correction de la balance des blancs, correction des couleurs, correction gamma, conversion de l'espace colorimétrique (RVB vers YUV) Dans l'espace colorimétrique YUV, suppression du bruit de couleur et amélioration des bords, amélioration des couleurs et du contraste, et un contrôle automatique de l'exposition sont nécessaires. Alors, YUV (ou RVB) les données de format sont sorties et transmises à la CPU via l'interface E/S pour le traitement.
Actuellement, Les FAI utilisés dans les produits de caméras haute définition proviennent généralement des sources suivantes:
Auto-recherche et développement par les fabricants: Afin de mieux coopérer avec la compression back-end et le développement de fonctions, Les fabricants d'équipements de caméra haute définition développent indépendamment des algorithmes de traitement FAI, intégrer les algorithmes dans des puces FPGA ou DSP, et connectez les capteurs d'images frontaux.
Tiers R&D: Dans 2010, un certain nombre de solutions FAI lancées par des fabricants de caméras non HD ont progressivement vu le jour. Ils vendent directement différentes puces ISP aux fabricants d'appareils photo pour coopérer avec des capteurs de différents fabricants..
Mode superposition: Le fabricant de capteurs combinera l'ISP auto-développé avec son propre capteur pour former une solution d'acquisition et de traitement d'images destinée au client.. L'algorithme de traitement d'image et divers travaux de débogage sont terminés. Le fabricant de la caméra n'a qu'à effectuer l'amarrage de l'interface et la compression back-end ou la conversion en vidéo numérique. (HD-SDI). Ce mode est appelé Appareils autonomes ou Système de caméra sur puce.
01. Processeur de signal numérique DSP
DSP (processeur de signal numérique) est un microprocesseur unique doté de son propre système d'instructions complet. C'est un appareil qui traite une grande quantité d'informations avec des signaux numériques. Sa plus grande caractéristique est qu'il dispose d'un multiplicateur matériel dédié et d'une structure de bus Harvard pour traiter rapidement un grand nombre de signaux numériques..
Un processeur de signal numérique comprend une unité de commande, une unité opérationnelle, divers registres et un certain nombre d'unités de stockage dans une petite puce. Il peut également être connecté à un certain nombre de mémoires situées en périphérie., et peut communiquer avec un certain nombre d'appareils externes. Il dispose de fonctions complètes de logiciel et de matériel, et est lui-même un micro-ordinateur.
DSP adopte le design Harvard, c'est, le bus de données et le bus d'adresse sont séparés, afin que le programme et les données soient stockés dans deux espaces distincts, permettant un chevauchement complet des instructions de récupération et d'exécution des instructions. C'est à dire, lors de l'exécution de la dernière instruction, l'instruction suivante peut être extraite et décodée, ce qui améliore considérablement la vitesse du microprocesseur. En outre, il permet la transmission entre l'espace programme et l'espace données, car cela augmente la flexibilité des appareils.
Son principe de fonctionnement est de recevoir des signaux analogiques, les convertir en signaux numériques de 0 ou 1, modifier, supprimer et renforcer les signaux numériques, et interpréter les données numériques en données analogiques ou au format d'environnement réel dans d'autres puces système. Il est non seulement programmable, mais peut également exécuter des dizaines de millions d'instructions complexes par seconde en temps réel. Sa source ne se limite pas aux microprocesseurs à usage général. C'est une puce informatique de plus en plus importante dans le monde électronique numérique. Sa puissante capacité de traitement des données et sa vitesse d'exécution élevée sont les deux caractéristiques les plus louables.
À l’ère numérique d’aujourd’hui, Le DSP est devenu l'appareil de base en communication, ordinateur, électronique grand public et autres domaines.
02. Caractéristiques du système DSP
(1) Interface pratique
Le système DSP est compatible avec d'autres systèmes ou appareils basés sur la technologie numérique moderne. Il est beaucoup plus facile de réaliser certaines fonctions via de telles interfaces système que d'interfacer des systèmes analogiques avec ces systèmes..
(2) Programmation facile
La puce DSP programmable du système DSP peut permettre aux concepteurs de modifier et de mettre à niveau le logiciel de manière flexible et pratique pendant le processus de développement..
(3) Bonne stabilité
Le système DSP est basé sur le traitement numérique, qui est moins affecté par la température ambiante et le bruit, et a une grande fiabilité.
(4) Haute précision
16 Le système numérique bit peut atteindre la précision.
(5) Bonne répétabilité
Les performances du système analogique sont grandement affectées par les performances des paramètres des composants, alors que le système numérique n’est pratiquement pas affecté, le système numérique est donc pratique pour tester, débogage et production de masse.
(6) Intégration facile
Les composants numériques du système DSP sont hautement standardisés, ce qui est pratique pour une intégration à grande échelle.
Vulgarisation scientifique fondamentale Vulgarisation scientifique fondamentale Vulgarisation scientifique fondamentale Vulgarisation scientifique fondamentale Vulgarisation scientifique fondamentale Vulgarisation scientifique fondamentale Vulgarisation scientifique fondamentale Vulgarisation scientifique fondamentale