Bildsignalprozessor

Ein Bildsignalprozessor (ISP) ist ein dedizierter digitaler Signalprozessor, der in System-on-Chip-Designs integriert ist und kritische Bildverarbeitungsfunktionen ausführt. Er empfängt Rohdaten von Bildsensoren (typischerweise Bayer-Muster-Daten) und wendet eine Reihe von Algorithmen an, darunter Demosaicing, Rauschunterdrückung, Farbkorrektur, Weißabgleich, Gammakorrektur, Schärfung und Komprimierung, um visuell optimierte digitale Bilder oder Videostreams zu erzeugen. Der ISP ist für Kamerasysteme in Smartphones, Digitalkameras, Automobil-Visionssystemen und anderen Bildgebungsanwendungen unerlässlich. Er arbeitet, indem er Rohpixeldaten von einem Bildsensor über eine parallele oder serielle Schnittstelle empfängt und diese Daten dann durch eine Pipeline aus spezialisierten Hardware-Beschleunigern und programmierbarer Logik verarbeitet, die Bildverarbeitungsalgorithmen in Echtzeit ausführen. Zu den wichtigsten Verarbeitungsstufen gehören: Sensor-Schnittstelle und Datenerfassung, Schwarzpegelkorrektur und Objektivschattenkompensation, Demosaicing zur Rekonstruktion von Vollfarbbildern aus Bayer-Muster-Daten, Anwendung einer Farbkorrekturmatrix, Rauschfilterung und Kantenverbesserung, Gammakorrektur und Tonemapping, Bildskalierung und Formatkonvertierung. Die verarbeiteten Ausgaben werden dann an Speicher- oder Anzeigesteuerungen innerhalb des SoC geliefert. Der ISP wird auf Silizium mit Prozessknoten von typischerweise 7 bis 28 nm hergestellt, und seine Gehäusegröße beträgt typischerweise 5 bis 15 mm. Er arbeitet in einem Sperrschichttemperaturbereich von -40 bis 85 °C, mit einer Versorgungsspannung von 0,9 bis 1,2 V und verbraucht je nach Auflösung und Bildrate zwischen 0,5 und 2,0 W. Er unterstützt Standbildauflösungen von bis zu 48 bis 108 Megapixeln, Bildraten von 30 bis 240 fps bei 1080p und Pixeltiefen von 10 bis 14 Bit pro Farbkanal. Das Signal-Rausch-Verhältnis beträgt typischerweise 60 bis 80 dB bei voller Beleuchtung. Zu den Schnittstellen gehören MIPI CSI-2 und LVDS. Der ISP ist für den Betrieb bei nicht kondensierender Luftfeuchtigkeit von 10 bis 90 % relativer Luftfeuchtigkeit ausgelegt und hat eine ESD-Toleranz von ±2000 V (HBM) gemäß IEC 61000-4-2. Diese Werte sind Referenzbereiche und müssen für das jeweilige Modell und die Anwendung bestätigt werden.

Der ISP empfängt Rohpixeldaten von einem Bildsensor über eine parallele oder serielle Schnittstelle wie MIPI CSI-2 oder LVDS. Anschließend verarbeitet er diese Daten durch eine Pipeline aus spezialisierten Hardware-Beschleunigern und programmierbarer Logik, die Bildverarbeitungsalgorithmen in Echtzeit ausführen. Zu den wichtigsten Stufen gehören Sensor-Schnittstelle und Datenerfassung, Schwarzpegelkorrektur und Objektivschattenkompensation, Demosaicing zur Rekonstruktion von Vollfarbbildern aus Bayer-Muster-Daten, Anwendung einer Farbkorrekturmatrix, Rauschfilterung und Kantenverbesserung, Gammakorrektur und Tonemapping sowie Bildskalierung und Formatkonvertierung. Die verarbeiteten Ausgaben werden an Speicher- oder Anzeigesteuerungen innerhalb des SoC geliefert.