Blick in eine Computereinheit von Graphcore, die speziell zur Verarbeitung von KI-Rechenoperationen ausgelegt ist. Diese Einheit ist mit vier speziellen KI-Prozessoren (Colossus MK2) ausgestattet und ermöglicht 1 petaFLOP an KI-Rechenleistung mit bis zu 526 GB Arbeitsspeicher.
(Quelle: Graphcore)
Die auf eine Dauer von drei Jahren ausgelegte Kooperation zwischen 6 Partnern aus 4 Ländern will ein nachhaltiges Supercomputing-Ökosystem realisieren. Das Projekt wird zudem effiziente Algorithmen und kohärente Tools bereitstellen, die speziell dafür ausgelegt sind, die Leistung und Energieeffizienz von Sparse-Rechenoperationen auf den neuesten Hochleistungscomputern zu maximieren. Gleichzeitig soll das EU-Projekt neue Anwendungsgebiete für Sparse-Computing in Datenanalytik und Deep Learning zu erschließen. Das Sparsity-Konzept wird auch auf der Software-Ebene mit Sparse-Kernel und -Bibliotheken unterstützt. Diese sollen im Rahmen dieses Projektes genutzt und weiterentwickelt werden.
Um den praktischen Nutzen dieser Computertechnologie zu demonstrieren, soll das Sparcity-Projekt die Computing-Skalierung und die Energieeffizienz in vier anspruchsvollen realen Anwendungen verbessern, nämlich beim autonomen Fahren, in der Bioinformatik und der rechnergestützten Kardiologie sowie in sozialen Netzwerken.
An Sparcity wirken das norwegische Simula Research Laboratory, das Forschungsinstitut INESC-ID in Lissabon, die Ludwig-Maximilians-Universität München, die türkische Sabanci-Universität und Graphcore mit, ein Hersteller von speziellen Prozessoren für KI-Berechnungen. Die Koordinierung des Projekts verantwortet die Koç-Universität Istanbul.
Sparse-Computing und KI-Prozessoren
Bislang wird ein Großteil der Rechenkapazität von normalen Computern, die KI-Berechnungen durchführen, für arithmetische Operationen an Parametern aufgewendet, die für die behandelte Problemstellung nicht relevant sind, weil aussagefähige Parameter in diesen Modellen spärlich (‚sparse‘) verteilt sind. Die Problematik des ineffizienten Zeit- und Energieaufwandes für die Verarbeitung wertloser Daten wird durch die exponentielle Zunahme des Umfangs und der Komplexität der KI-Modelle weiter verschärft. Sparse Computation (oder Sparse Computing) nutzt neue Verfahren, bei denen – vereinfacht ausgedrückt – die Verarbeitungsleistung auf diejenigen Elemente eines Modells konzentriert wird, die für die Lösung einer komplexen Aufgabe am wichtigsten sind. Ein solcher Ansatz entspricht der Funktionsweise des menschlichen Gehirns, das beispielsweise ein durch einen optischen Reiz erzeugtes Signal nur über die für das Sehen zuständigen neuralen Bahnen weiterleitet, statt jedes Neuron im Gehirn zu aktivieren. Die speziellen IPU-Prozessoren (Intelligence Processing Unit) von Graphcore sind speziell für KI-Rechenoperationen entwickelt und können beispielsweise parallel und völlig unabhängig voneinander zahlreicher, sehr unterschiedliche Berechnungen ausführen; das ist für das Sparse-Computing von entscheidender Bedeutung.
