Durch die integrierte KI-Funktion können die Bildsensoren die gesammelten Daten direkt am Netzwerk-Rand verarbeiten, was zu verringerter Latenz und niedrigerem Stromverbrauch führt. (Bild: Sony)
Der Pixelchip der Bildsensoren ist rückwärtig beleuchtet und verfügt über rund 12,3 effektive Megapixel zur Erfassung von Informationen über einen weiten Betrachtungswinkel. Neben der herkömmlichen Bildsensor-Betriebsschaltung ist der Logikchip mit einem DSP (Digitaler Signalprozessor) von Sony ausgestattet, der die KI-Signale verbreitet, sowie einem Speicher für das KI-Modell. Diese Bauweise macht den Einsatz von Hochleistungsprozessoren oder externen Speichern überflüssig und eignet sich daher für Edge-AI-Systeme.
Die Signale, die der Pixelchip erfasst, werden durch einen ISP (Bildsignalprozessor) geleitet. Die KI-Verarbeitung erfolgt in der Prozessstufe auf dem Logikchip, und die extrahierten Informationen werden als Metadaten ausgegeben, was das Datenvolumen reduziert. Zudem werden so keine Bildinformationen ausgegeben, was die Sicherheitsrisiken verringert. Wenn ein Video mit einem herkömmlichen Bildsensor aufgezeichnet wird, müssen die Daten für jedes einzelne Ausgabebild an die KI-Verarbeitung gesendet werden. So müssen große Datenmengen übertragen werden, und es wird schwer, Echtzeitleistung zu erreichen. Die Sensoren von Sony führen die ISP-Verarbeitung und die Highspeed-KI-Verarbeitung auf dem Logikchip aus und schließen den gesamten Prozess in einem einzigen Videobild ab. Dieses Design ermöglicht eine hochpräzise Echtzeitverfolgung von Objekten bei Videoaufnahmen.
Die Intelligent-Vision-Sensoren eröffnen neue Möglichkeiten zur Entwicklung KI-fähiger Kameras. Sie können eine Vielzahl von Anwendungen im Einzelhandel und Industrieausrüstungssektor unterstützen und den Aufbau von Cloud-Systemen erleichtern. Bei Anwendungen, die mit Cloud-Diensten arbeiten, lässt sich mit solchen Sensoren etwa die Latenz bei der Datenübertragung verkürzen und der Energieverbrauch senken.
(prm)
