MIPI CSI-2: Weiterentwicklung der Schnittstelle

Herr Thanigasalam, was ist die MIPI-CSI-2-Kameraspezifikation und wie unterstützt sie heutige Anwendungen für Kamera- und Bildsysteme?

Haran Thanigasalam: MIPI CSI-2, das MIPI Camera Serial Interface 2, wurde erstmals 2005 vorgestellt und ist heute die weltweit am häufigsten implementierte Schnittstelle für integrierte Kameras und Imaging-Systeme. Der CSI-2-Anschluss (Conduit) eignet sich für Bildverarbeitungssysteme mit einer oder mehreren Kameras, die auf einer Vielzahl von Plattformen eingesetzt werden, z. B. in Mobiltelefonen, PC- und Client-Computern, Augmented- und Virtual-Reality-Headsets, Industrierobotern, Automobilen und medizinischen Geräten. Zudem unterstützt MIPI CSI-2 eine breite Palette von Hochleistungsanwendungen, einschließlich 1080p, 4K, 8K und höher, HDR (High Dynamic Range) Prosumer-Video, hochauflösende Fotografie, sowie Low-Power-Inferencing und Machine Vision.

Zur Unterstützung von Hochleistungssensoren ist CSI-2 spurenskalierbar. Es unterstützt bis zu 32 virtuelle Kanäle, um die wachsende Zahl von Bildsensoren mit mehreren relevanten Bereichen, Mehrfachbelichtung und Aggregation für Anwendungen wie Objektklassifizierung und Kollisionsvermeidung in Automobilplattformen zu ermöglichen. Derzeit kann die Spezifikation entweder auf einer MIPI C-PHY- oder einer D-PHY-Physical-Layer-Schnittstelle für Anwendungen mit kurzer und mittlerer Reichweite oder bis zu 15 Meter über die MIPI A-PHY-Long-Range-SerDes-Schnittstelle für Anwendungen wie Fahrassistenzsysteme (Advanced Driver Assistance Systems, ADAS) und Infotainment-Systeme in Fahrzeugen (In-vehicle Infotainment, IVI) oder für diverse Anwendungen für das Industrial IoT implementiert werden. Mit der neuesten Generation der Spezifikation, v4.0, können CSI-2-Bilddaten auch über die kostengünstige Zweidrahtschnittstelle MIPI I3C/I3C Basic mit geringer Pin-Anzahl übertragen werden. Alle Versionen von CSI-2 sind abwärtskompatibel mit früheren Versionen. Die CSI-2-Spezifikation ist für Mitglieder der MIPI Alliance verfügbar.

Welche SoCs werden von CSI-2 unterstützt?

Seit der Einführung der ersten Mobiltelefone mit Kamera hat die MIPI Alliance die Weiterentwicklung des Mobiltelefonmarktes unterstützt, was zu einer sehr breiten Annahme von CSI-2 im erweiterten Markt für integrierte Kameras führte. Wir haben nach und nach die Verwendung der Spezifikation in einer Vielzahl von Plattform-SoCs erreicht – vom Consumer-Bereich bis zum gewerblichen und Infrastrukturbereich. So ist das Kernformat CSI-2 für die Übertragung von Pixelrasterdaten aus Bildsensoren mittlerweile in eingebetteten Kameramodulen praktisch allgegenwärtig.

Mit der Weiterentwicklung von Anwendungen der maschinellen Bildverarbeitung wächst der Bedarf an intelligenteren Schnittstellen, die mehrere Bildsensoren für eine Wahrnehmung und Entscheidungsfindung in nahezu Echtzeit miteinander verbinden. Die Integrationskomplexität muss vereinfacht werden, Kosten und Stromverbrauch müssen gesenkt werden. Welche Funktionen der neuesten CSI-2-Version tragen dazu bei, diese Trends bei Machine-Vision-Anwendungen zu unterstützen?

Bildsensoren werden ständig weiterentwickelt, um eine höhere Pixeldichte, Farbtiefe, Lichtempfindlichkeit und Wiedergabetreue zu unterstützen, und auch die von den Bildsensoren erzeugte Datenmenge nimmt ständig zu. Daher werden immer leistungsfähigere Bildverarbeitungsfunktionen benötigt. So hat die MIPI Camera Working Group in den letzten knapp 20 Jahren regelmäßig neue CSI-2-Funktionen entwickelt, um den neuen Anforderungen an die Architektur von Bildverarbeitungssystemen gerecht zu werden.

Ein Beispiel ist die differentielle Puls-Code-Modulation (DPCM). Betrachtet man die Entwicklung von CSI-2, so war einer der ersten Anwendungsbereiche, auf den wir uns konzentrierten, als wir die Spezifikation für ein breiteres Ökosystem als Handykameras verfeinerten, die Automobilindustrie. Eines der systemtechnischen Probleme, denen wir uns annahmen, war die Erkennung von Geschwindigkeitsschildern unter schwierigen Beleuchtungsbedingungen, und unter Berücksichtigung bestimmter Hardwarebeschränkungen, die es in einigen Fahrzeugsystemen gab. Stellen Sie sich beispielsweise ein schräges Straßenschild vor, das verschiedene Lichtintensitäten von hoher, mittlerer und niedriger Intensität aufweist, gepaart mit hohem, mittlerem und niedrigem Kontrast. Ziel war es, den Energie- und Bandbreitenbedarf zu reduzieren und gleichzeitig die Konturen zu erhalten, um Straßenschilder schnell und genau erkennen und entziffern zu können. Um eine höhere Komprimierung bei geringerer Bandbreite zu ermöglichen und eine bessere Bildqualität sowie eine unverfälschte Kantenerkennung ohne Kompressionsartefakte zu unterstützen, wurde DPCM für CSI-2 entwickelt.

Darüber hinaus wurden weitere CSI-2-Funktionen eingeführt, die sich ebenfalls mit den neuen Herausforderungen der maschinellen Bildverarbeitung befassen:

• Mithilfe der Funktionen LRTE PDQ (Latency Reduction and Transport Efficiency Packet Delimiter Quick) und ALP (Alternate Low Power) wurden die Sensoren effizient zusammengefasst, die Systemleistung weiter reduziert und eine Streaming-Lösung mit größerer Reichweite ohne viele Overheads ermöglicht.
• Die Verringerung der PSD (Power Spectral Density) anhand der „Galois Field 2^16“ Polynomverschlüsselung half, Emissionen und Interferenzen zu reduzieren.
• SROI (Smart Region of Interest) wurde konzipiert, um Bilder mittels Inferenzalgorithmen zu analysieren.
• Die Entwicklung von USL (Unified Serial Link) reduziert den Verkabelungsaufwand, indem ein separater I²C/MIPI I³C/GPIO-Side-Channel zur Übertragung von verschlüsselten Daten und Steuerungsdaten mittels der MIPI-Physical Layer überflüssig wurde.
• MPC (Multi-Pixel Compression) baut auf der früheren DPCM-Lösung auf und bietet eine Verbesserung des Signal-Rausch-Verhältnisses um zirka 14 dB in der Spitze bei einer weiteren Reduzierung der Komprimierungseffizienz um 20 Prozent.

Inwieweit erfüllt die aktuelle Spezifikation die Anforderungen an das Design von IoT-Anwendungen?

Als sich CSI-2 auf dem globalen Mobiltelefonmarkt zunehmend verbreitet hatte, konzentrierte sich die MIPI Camera Working Group darauf, umfassendere Fähigkeiten für ein breiteres Spektrum an Plattformen zu ermöglichen. Das IoT ist ein gutes Beispiel dafür. Eine der wichtigsten neuen Funktionen von CSI-2 v3.0, die 2019 veröffentlicht wurde, war beispielsweise SROI, um bessere Ableitungen für maschinelles Sehen in Anwendungsbereichen wie dem industriellen IoT zu ermöglichen.

Die im Jahr 2021 in CSI-2 Version 4.0 eingeführte MPC-Funktion nutzt alle Verbesserungen, die wir im Laufe der Zeit mit DPCM entwickelt haben, und geht noch weiter, um eine effizientere Komprimierung und gleichzeitig eine bessere Bildqualität zu ermöglichen. MPC soll die geometrische Auflösungssteigerung von Bildsensor-Fotodioden unterstützen, die wir im IoT und in anderen Anwendungsbereichen beobachten. Die neueste Generation von Tetra-Cell- und Nona-Cell-Bildsensoren mit Multi-Pixel-CFAs (Farbfilter-Arrays) ermöglicht beispielsweise Videoaufnahmen auf gängigen mobilen Geräten, die eine vergleichbare kinematografische Qualität aufweisen, wie kommerzielle Filme.

MPC reduziert die enormen Bandbreitenanforderungen einer solchen Bilderfassung, indem es Mehrpixel- und Standard-Bayer-CFA-Bilder mit höherer Effizienz und Qualität komprimiert, wobei die statistische Wahrscheinlichkeit berücksichtigt wird, dass benachbarte Pixel innerhalb eines bestimmten Bildes ähnliche Merkmale aufweisen. Dadurch werden die Verarbeitungsanforderungen in der gesamten Systempipeline gesenkt, wodurch die zulässige thermische Verlustleistung eingehalten wird.

Diese Beispiele verdeutlichen, wie die MIPI Camera Working Group mit den Bedürfnissen der Systementwickler für das Internet der Dinge und andere hochwertige Bildgebungsanwendungen mit sehr anspruchsvollen Anforderungen an PSNR (Peak Signal-to-Noise Ratio) und DR (Dynamic Range) Schritt hält.

Der Markt für Embedded-Systeme benötigt leistungsfähigere und stromsparende KI-Lösungen, die in Edge-Umgebungen in Peripherie-Geräten mit oft sehr hohem Stromverbrauch eingesetzt werden können. KI-Lösungen erfordern häufig anspruchsvolle Bildverarbeitungs- und Audiofunktionen, die meist nur auf leistungsfähigeren Multi-Core-Mikroprozessoren zu finden sind, die aber leider auch viel mehr Strom verbrauchen. Welche Bedeutung hat MIPI CSI-2 für diesen Bereich?

In der Tat sind im Embedded-Markt immer leistungsfähigere Bildsensoren in Kombination mit Technologien wie KI und Edge Computing gefragt. Daher ist die langjährige Erfahrung der MIPI Camera Working Group bei der Entwicklung und Verfeinerung von energiesparenden Kameraschnittstellen, die inhärent im Edge-Bereich arbeiten, von großem Nutzen.

Wie bereits erwähnt, wurden die LRTE-PDQ- und ALP-Funktionen von CSI-2 eingeführt, um Sensoren zu bündeln, die Reichweite zu erhöhen und die Systemleistung zu reduzieren. AOSC (Always-On Sentinel Conduit), das in CSI-2 v4.0 eingeführt wurde, ist eine weitere Funktion, die ebenfalls zur Avantgarde der Embedded-Innovationen gehört.

Mit AOSC sollen „Always-On“ Bildverarbeitungssysteme unterstützt werden, in denen Kombinationen von Bildsensoren mit sehr geringem Stromverbrauch und VDSPs (Vision Digital Signal Processors) permanent ihre Umgebung überwachen und Host-CPUs mit höherem Stromverbrauch nur dann aufwecken, wenn dies durch bestimmte Ereignisse erforderlich ist. Dies ermöglicht die Übertragung von CSI-2-Bilddaten von einem Bildsensor zu einem VDSP über einen stromsparenden MIPI I3C oder I3C Basic-Bus. Es sind nur zwei I3C-Drähte erforderlich, was eine bahnbrechende Effizienz darstellt, die die Kosten und die Komplexität von Awareness- und Inferencing-Lösungen mit extrem niedrigem Stromverbrauch für die Ereigniserkennung drastisch reduziert.

Können Sie uns etwas über einige der zukünftigen Anwendungen von CSI-2 erzählen?

Gerne. Ein Beispiel ist das unabhängige CSI-2-Protokoll über Wi-Fi unter Verwendung des IEEE-1722-Übertragungsnetzwerks. Der MIPI-Vorstand hat CSI-2 für den nativen Einsatz mit IEEE 802.11 Wi-Fi unter Verwendung des IEEE-1722-Audio-Video-Bridging-Protokolls genehmigt, und die MIPI Camera Working Group entwickelt diese Fähigkeit für verschiedenste Bereiche.

MIPI arbeitet an der Entwicklung einer Reihe von Funktionen. Dazu gehören u. a. eine optimale Leitungsführung für PC- und Client-Bildgebungssysteme, die Unterstützung mehrerer Sensoren, die einem einzigen physischen Anschluss zugeordnet sind, Bestimmungen für plesiochrone Bildgebungssysteme und eine skalierbare Schnittstelle für Bildsignalprozessoren. (neu)