Bild 1: Aus Videobildern, die aus der Luft aufgenommen wurden, wurde mit Hilfe der Ikena ISR Software dieses Landschafts-Mosaik vom Waldbrand in Montana erzeugt. Mit freundlicher Genehmigung von Avwatch Inc.

Bild 1: Aus Videobildern, die aus der Luft aufgenommen wurden, wurde mit Hilfe der Ikena ISR Software dieses Landschafts-Mosaik vom Waldbrand in Montana erzeugt. Mit freundlicher Genehmigung von Avwatch Inc.Avwatch Inc.

Der Gründer und Geschäftsführer von Motion DSP, Sean Varah, erinnert sich: „Als wir die Algorithmen erstmals anwendeten, dauerte es mehr als einen Tag um ein Einzelbild eines Videos in Standardqualität zu rekonstruieren. Allerdings verfügten wir damit über die erste Software überhaupt, mit der die Bildqualität von Videos automatisiert verbessert werden konnte.“ So entwickelte sich die Ikena-Software von Motion DSP schnell zu einem „offline“ Werkzeug für die Strafverfolgung. Zu den Kunden zählen beispielsweise der US Secret Service und Scotland Yard. Videobeweise – egal ob diese von einem Mobiltelefon oder von einer Videoüberwachungskamera stammten – leiden häufig unter mangelhafter Qualität bedingt durch geringe Auflösung, Verwacklung, schlechte Beleuchtung oder Bildrauschen, was die forensische Auswertung extrem erschweren kann.

„Wie man es aus zahlreichen amerikanischen Krimimalserien kennt, wo der Bösewicht ein Verbrechen begeht und nur eine schlecht aufgelöste Videoüberwachungsaufnahme des Autokennzeichens der einzige Hinweis ist, so setzt auch die Polizei unsere Software dazu ein, um die Buchstaben auf einem Autokennzeichen zu rekonstruieren“, so Sean Varah.

2007 entdeckten auch die Nachrichtendienste die Fähigkeiten der Ikena Software für sich. So konnte sich Motion DSP eine Ausschreibung der non-profit Organization In-Q-Tel im Auftrag des US-Nachrichtendienstes sichern. Dank der Weiterentwicklung der Hardware für die Bildverarbeitung war es Motion DSP bald möglich, die Fähigkeiten von Ikena weiter zu verbessern und zu beschleunigen. „Nach jahrelanger harter Arbeit sind wir nun in der Lage, mehr als 30 Einzelbilder in der Sekunde zu verarbeiten, selbst wenn es sich dabei um Videomaterial in HD-Auflösung handelt. Dieses Leistungsniveau konnten wir nur mit Hilfe der GPU-Technologie erreichen“, so Sean Varah.

Echtzeit Video-Optimierung — zu Land, zu Wasser und in der Luft

Neben der Grafikverarbeitung profitiert Ikena zudem von einem verbesserten CPU-Durchsatz. Sean Varah erklärt: „Wir suchen nicht weniger als die schnellste Verarbeitungsleistung – das heißt, so viele Rechenkerne wie möglich, bei höchstmöglicher Taktung und der geringstmöglichen Energieaufnahme.“

Durch die zusätzliche Rechenleistung fortschrittlicher Verarbeitungs- und Grafiktechnologien gelang es Ikena bald auch das Interesse des US-Verteidigungsministeriums auf sich zu ziehen. Dies im Zuge der laufenden Investitionen in neue Technologien für Nachrichtendienste, Aufklärung und Überwachung im Irak und in Afghanistan.

Aktuell verfügen nahezu alle militärischen Fahrzeuge über eine automatisierte Videoaufzeichnung – von Kampfjets über Transportfahrzeuge und Panzer bis hin zu unbewaffneten Drohnen wie dem Predator. „Allein im Jahr 2009 fiel im Irak und in Afghanistan Videomaterial im Umfang von mehr als 24 Jahren an“, so Sean Varah. „Die Menge an Videodaten, die in den Einsatzgebieten gesammelt werden ist absolut überwältigend.“

Aufgrund der zunehmenden Abhängigkeit von aufgezeichnetem Bildmaterial hat die US-Regierung damit begonnen, grundlegende Anforderungen für die Echtzeit-Bildverarbeitung zu definieren, um die Qualität des gesammelten Videomaterials zu verbessern. „Die Analysten benötigen bessere Videos um nachvollziehen zu können, was sich gerade abspielt – im Militärjargon wird dies als Situational Awareness bezeichnet“, so Sean Varah.

„Unser Differenzierungsmerkmal liegt in der Fähigkeit Bildoptimierungen mittels Superauflösung von Videomaterial durchzuführen. Möglich wird dies durch die GPU. Und soweit uns bekannt ist, sind wir aktuell die Einzigen, die das leisten können. Die Verarbeitung in Echtzeit ist dabei von entscheidender Bedeutung, da auch die Entscheidungen aufgrund des Videomaterials in Echtzeit gefällt werden müssen.“

Ein anspruchsvoller Kunde mit noch anspruchsvolleren Anforderungen

In einer Situation, in der die Qualität eines Video-Streams dazu beitragen kann, Leben zu retten, ist die Messlatte hoch gesteckt, was technologische Standards und Anforderungen betrifft. Sean Varah erklärt: „Das US-Verteidigungsministerium ist ein extrem anspruchsvoller Kunde. Unsere komplette Bildverarbeitung muss 1080p unterstützen, was extrem hoch ist. 1080p entspricht der sechsfachen Auflösung von Standard Definition (SD) Video. Um einen Vergleich zu geben: Wir veranschlagen für einen SD Video Stream einen Performancebedarf von 150 bis 200 Gigaflops für die Verarbeitung. Ein 1080p Stream benötigt dagegen eine Leistung im Bereich von 1,2 Teraflops.“

„So können wir auf dem leistungsstärksten High End Grafikprozessor von AMD 1080p Video in Echtzeit verarbeiten sowie zwei 720p Streams. Das gelingt uns auf keiner anderen GPU“, so Sean Varah.

Motion DSP hat Ikena kürzlich auf Open CL angepasst, einem offenen Standard der sicherstellt, dass die Software von mehreren Hardwareherstellern unterstützt wird. „Kunden wie die US-Regierung versuchen möglichst Abhängigkeiten von nur einer Quelle zu vermeiden. Wann immer es um die Beschaffung geht, achten sie darauf, dass es auch einen Wettbewerb gibt. Und sie suchen gezielt nach offenen Standards. Sie haben die einschneidende Erfahrung machen müssen, dass Menschen sterben mussten, weil die Systeme, die Händler ihnen verkauft hatten, so dediziert und geschlossen waren, dass es nicht gelang, die Systeme miteinander kommunizieren zu lassen“, so Sean Varah.

„Die Entscheidung auf Open CL zu portieren war absolut richtig. Dadurch haben wir eine offene Plattform geschaffen, die über Jahre hinweg ein Standard sein wird. Auch war die enge Zusammenarbeit mit AMD sehr fruchtbar, denn so konnten wir unsere Algorithmen so anpassen, dass sie die Vorteile der AMD-Architektur voll ausnutzen und so ein Leistungsniveau erzielen, das wir mit Hardware anderer Anbieter nicht erreichen konnten. Damit können wir unseren Kunden im US-Verteidigungsministerium mehr Leistung bieten: Höhere Auflösungen, eine bessere Verarbeitungsqualität und mehrere Streams gleichzeitig.“

Energieeffiziente AMD-Technologien ermöglichen neue Installationen

Zusätzlich zum ungeschlagenen Verarbeitungsdurchsatz und der starken Grafikleistung entdeckte Motion DSP, dass sie mithilfe der Energieeffizienz von AMD-Plattformen neue anspruchsvolle Einsatzszenarios erschließen können, in denen Ikena ebenfalls von Nutzen sein könnte.

„AMD zeichnet sich durch zwei Vorteile aus. Einer liegt am oberen Ende der Leistungsskala, denn mit AMD erzielen wir leicht einen 30- bis 60-prozentigen Performancegewinn im Vergleich zu Wettbewerbsprodukten. Der andere liegt am unteren Ende der Leistungsskala bezogen auf die Energieaufnahme: denn AMD ermöglicht es uns, fortschrittliche Bildverarbeitung deutlicher effizienter umzusetzen und so 30 bis 50 % Energie einzusparen. Und das ist extrem wichtig, wenn Sie das Potential unserer Lösung direkt implementieren möchten, beispielsweise in eine Drohne, wo enge Restriktionen hinsichtlich Wärmeabgabe, Gewicht und Energieaufnahme vorgegeben sind“, erklärt Sean Varah.

Stiletto: Ein schwimmendes High-Speed Rechenzentrum

Bild 2: Das Stiletto Stealth-Boot vor und nach der Bildoptimierung durch Motion DSP. Mit freundlicher Genehmigung von Motion DSP.

Bild 2: Das Stiletto Stealth-Boot vor und nach der Bildoptimierung durch Motion DSP. Mit freundlicher Genehmigung von Motion DSP.Motion DSP

Im Juni 2011 demonstrierte Motion DSP sein Potential auf einem Versuchsboot des amerikanischen Verteidigungsministeriums – einem knapp 27 m langen Carbonfaser-Katamaran mit vier 1500 PS Dieselmotoren, 8 Live HD-Video Kanälen und zwei mit AMD Technologie bestückten Colfax CX1250-N4 Rackmount-Servern, die mit der Ikena Software arbeiten.

„Wir installierten eine Mini-Cloud aus AMD-Hardware. Wir hatten zwei 1HE hohe Server, jeder davon mit zwei AMD-Opteron-Prozessoren der 6100er Serie und zwei ATI Fire Pro V8800 Grafikkarten bestückt. Durch diese beiden Systeme führten wir 8 Videokanäle, sodass jeder der beiden AMD-basierten Server die kontinuierliche Echtzeitverarbeitung von je 4 Videokanälen übernahm“, so Sean Varah.

„In diesem Versuchsaufbau ging es darum zu testen, inwieweit wir die bestehende Militärsensorik verbessern können. Wir verarbeiteten dazu die schiffseigenen Sea-Flir- und Gyro-Cam-Kameras in Echtzeit. Das Ergebnis war beeindruckend, denn wir konnten die Videoqualität signifikant verbessern. Ein Analyst der Air Force kommentierte, dass unsere Software das Video um bis zu 2 NIIRS-Level (National Imagery Interpretability Rating) verbessert. So konnte gezeigt werden, dass alles was man dafür tun muss, um die Videoqualität zu verbessern, darin besteht, AMD-Hardware in den bestehenden Rack zu packen, um so die Kameraaufnahmen unmittelbar zu verbessern. Die Demonstration war entsprechend ein großer Erfolg.“

Die Ergebnisse, die Ikena mithilfe der AMD-basierten Server an Bord des High-Speed Tarnbootes erzielen konnte, machten Eindruck auf das Publikum: „Es kamen 6 verschiedene Dienststellen des US-Verteidigungsministeriums zu der Demonstration. Diese verlief so erfolgreich, das aktuell mehrere Auslieferungen, beziehungswiese „Transitionen“, wie sie das Verteidigungsministerium nennt, stattfinden – allesamt Kunden, die sich dazu entschieden haben, unsere Software auf einer Reihe verschiedener Plattformen zu integrieren, von Workstations zur Full-Motion-Video-Analyse bis hin zu Enterprise-Server-Installationen,“ so Sean Vera.

Bild 3: Stiletto Stealth-Boot. Mit freundlicher Genehmigung des Stiletto Programms des Rapid Reaction Technology Office (RRTO)

Bild 3: Stiletto Stealth-Boot. Mit freundlicher Genehmigung des Stiletto Programms des Rapid Reaction Technology Office (RRTO)Rapid Reaction Technology Office (RRTO)

„Als ein weiteres Ergebnis unseres Erfolges bei der Sensordatenverbesserung, hat man uns dazu eingeladen, zum Stiletto-Programm zurück zu kehren und unser Produkt permanent zu installieren.“ Das Rapid Reaction Technology (RRTO) Office des Assistant Secretary of Defense für Forschung und Entwicklung fördert den Stiletto für technologische Demonstrationen.

Eine Technologie-Partnerschaft mit Zukunft

Mit der immensen und stetig zunehmenden Menge an Videomaterial – die aus der wachsenden Flotte an militärischen Fahrzeugen mit immer mehr Kameras pro Fahrzeug resultiert – stellen sich Motion DSP zahlreiche neue Möglichkeiten und Herausforderungen für die Zukunft.

Beispielsweise würde Technologie, die automatisch taktische Analysen von Videomaterial durchführt, den Menschen davon entlasten, unzählige Stunden für die Durchsicht von Videomaterial aufzuwenden. „Das nächste Problem, mit dem wir uns auseinandersetzen, besteht darin, den Arbeitsaufwand für das Personal zu reduzieren, um das Verteidigungsministerium dabei zu unterstützen, mit weniger Personaleinsatz mehr zu erreichen“, so Sean Vera. „Diese Art von fortschrittlicher Computer-Vision wird noch mehr Rechnerpower benötigen, als wir aktuell verwenden.“

Zudem wächst auch die Nachfrage im öffentlichen Bereich, beispielsweise bei der öffentlichen Sicherheit. Avwatch, ein Anbieter von Luftüberwachungssystemen, unterstützt Rettungsteams in Katastrophengebieten mit Echtzeit-Videos aus der Luft. Zu den letzten Einsatzgebieten zählen der Hurricane Irene und die Waldbrände in Montana.

Der Firmenchef von Avwatch, Chris Kluckhuhn, erklärt: „Wir verwenden Ikena um das Videobild zu stabilisieren und zu verbessern. Wenn wir Videomaterial live streamen, werden alle Verbesserungen durch Ikena in Echtzeit vorgenommen bevor es live distribuiert wird.“ Im Fall des Waldbrandes im Montana Forest konnte durch zusammenfügen mehrerer Minuten von Videomaterial mit der Mosaik-Funktion von Ikena unmittelbar eine weitflächige Übersichtskarte vergleichbar mit einer Satellitenaufnahme des Waldbrandgebietes erzeugt werden.

„Motion DSP ist führend darin Computertechnologie für die Echtzeit-Bildaufbereitung einzusetzen und stellt Ersthelfern so nie dagewesene Möglichkeiten zur Verfügung,“ so Chris Kluckhuhn.

Egal ob es darum geht, Hilfsteams mit taktischen Informationen in Echtzeit zu versorgen, einen Gerichtsprozess mit Beweismaterial zu unterstützten, oder ein wachsames Auge auf die Truppen im Auslandseinsatz zu halten – Motion DSP wird weiter Technologien entwickelt, für die die Sicherheit Priorität hat.