Les capteurs d’image CMOS, bien qu’étonnants à bien des égards, ne sont pas parfaits: ils sont affectés par de nombreux types d’introduction de bruit qui peuvent réduire la qualité de l’image. Ce bruit peut entraîner des pixels corrompus – ou de «mauvais» pixels – et Samsung a dévoilé une nouvelle méthode pour s’en débarrasser: un réseau neuronal.

Présenté à l’origine au Conférence internationale sur la vision par ordinateur et le traitement d’images, ce papier par Girish Kalyanasundaram de Samsung Electronics a récemment été publié en ligne et remarqué par Monde des capteurs d’image>. Dans ce document, le Kalyanasundaram explique comment Samsung étudie la lutte contre les «mauvais» pixels et le bruit des capteurs en utilisant un réseau neuronal assisté par prétraitement.

« La méthode proposée utilise une approche de réseau neuronal simple pour détecter ces mauvais pixels sur une image de capteur Bayer afin qu’elle puisse être corrigée et que la qualité globale de l’image puisse être améliorée », lit-on dans l’abstrait. «Les résultats montrent que nous sommes en mesure d’atteindre un taux d’échec de défaut inférieur à 0,045% avec la méthode proposée.»

À mesure que la résolution des capteurs Bayer augmente, en particulier des capteurs aussi petits que ceux des smartphones, ils deviennent de plus en plus sensibles à divers types de bruits indésirables. L’un quelconque des différents types de bruit peut conduire à une distorsion de l’intensité d’un pixel et donc à une détérioration de la qualité d’image perçue.

«Ces pixels sont appelés« pixels défectueux », et ils peuvent être de deux types: statiques et dynamiques», explique Kalyanasundaram. «Les pixels statiques sont ceux avec des défauts permanents, qui sont introduits pendant la phase de fabrication et sont toujours fixes en termes de localisation et d’intensité. Ces types de pixels sont testés et leurs emplacements sont stockés à l’avance dans la mémoire du capteur afin qu’ils puissent être corrigés par le pipeline de capteur d’image (ISP). Les pixels défectueux dynamiques ne sont pas cohérents. Ils changent spatialement et temporellement, ce qui les rend plus difficiles à détecter et à corriger. »

Étant donné que ces pixels dynamiques sont constamment en mouvement, Samsung pense que la meilleure façon de les combattre consiste à utiliser un système capable de reconnaître ces pixels défectueux au fur et à mesure qu’ils apparaissent et de les supprimer de manière proactive. Les chercheurs ont essayé deux architectures de réseau neuronal différentes pour voir si le concept fonctionnerait, et ont constaté que les deux méthodes fonctionnaient beaucoup mieux en précision de détection que la méthode de référence, même si l’une d’entre elles entraînait un nombre plus élevé de faux positifs bien qu’elle enregistrait moins d’échecs autre. Dans l’image de référence ci-dessous, «NN» est l’abréviation de Neural Network.

« Les exemples de ratés encerclés en rouge montrent que les réseaux de neurones ont encore des problèmes pour identifier certains cas significativement mauvais, ce qui indique une marge d’amélioration, sur laquelle le travail actuel est en cours », écrit Kalyanasundaram. « Étant donné que les faux positifs se produisent autour des régions de bord, l’utilisation d’une méthode de correction de bonne qualité peut garantir que la détection erronée de ces pixels en tant que pixels défectueux n’aura aucun effet de détérioration après correction, en particulier autour des régions de bord. »

Bien que les détails soient très techniques, le concept est simple: utilisez un réseau de neurones pour prédire, trouver et éliminer les mauvais pixels dans la capture d’image pour permettre une meilleure qualité d’image globale malgré la haute résolution qui est entassée sur les petits capteurs trouvés sur les smartphones . Il reste à voir si cette méthode peut être déployée sur les appareils grand public, mais sur le papier, la recherche semble convaincante.

Crédits image: L’image d’en-tête utilise des ressources sous licence via Dépôt Photos.