AMD met discrètement en open source un processeur d'images coûteux destiné aux FPGA

Contrairement à ce que certains pourraient penser, les capteurs d’image des appareils photo ne capturent pas d’eux-mêmes des images en couleur finies. Ils capturent des grilles de pixels brutes sous la forme d’un motif en mosaïque de couleurs. Pour obtenir une image exploitable, les fabricants s’appuient généralement sur des processeurs de signal d’image (ISP) propriétaires et coûteux afin de convertir les données brutes du capteur en vidéo structurée, via un code crypté. À l’instar des ISP propriétaires, Mini-ISP gère l’ensemble du processus de conversion au sein d’une logique programmable, mais il est open source et peut être inspecté. Il effectue l’étalonnage du niveau de noir, le dématriçage de Bayer pour reconstruire la couleur RVB complète, la balance des blancs et le mappage global des tons afin de produire des couleurs naturelles sur les écrans connectés. Alors que les ingénieurs d’AMD avaient initialement publié le code en toute discrétion, des mises à jour récentes ont transformé le projet Mini-ISP en un ensemble prêt à être intégré dans des conceptions matérielles concrètes.

Le projet se distingue également en rejetant la surabondance de fonctionnalités courante dans les IP commerciales, afin d’améliorer les performances de traitement d’image. Les cœurs ISP tiers consomment généralement des milliers de portes logiques FPGA (LUT) et de tranches DSP pour exécuter des filtres de lissage spatial gourmands en ressources. Mini-ISP supprime entièrement les opérations lourdes de débruitage et de post-accentuation. En se concentrant sur la correction des couleurs et la reconstruction des pixels, le cœur traite 1, 2 ou 4 pixels par cycle d’horloge à des vitesses pouvant atteindre 500 MHz. Cette architecture allégée offre un débit pouvant atteindre 2 gigapixels par seconde avec une latence de pipeline inférieure à la milliseconde.

Pour les constructeurs de robots, les concepteurs de drones et les chercheurs en vision embarquée, ce lancement discret d’AMD constitue un outil précieux de traitement d’images. Il permet aux développeurs qui déploient des FPGA Spartan UltraScale+ ou Artix, plus économiques, de créer des pipelines de caméras sur mesure sans avoir à payer les frais de licence élevés pratiqués par les fournisseurs.