Ein Benchmark namens ML Perf Inference v0.5 soll die Leistungsfähigkeit von Machine Learning messen. (Bild: AdobeStock, NicoElNino)
Ein Konsortium von über 40 Unternehmen und Wissenschaftlern hat den Benchmark ML Perf Inference v0.5 verabschiedet. Dieser soll messen, wie hoch die Leistungsfähigkeit und Effizienz von Machine Leaning in der Industrie ist. Dieser Benchmark befasst sich mit einer Reihe möglicher Anwendungen wie autonomes Fahren und Sprachverarbeitung und untersucht den Einfluss, den Geräte wie Smartphones, PCs, Edge-Server und Cloud-Computing-Plattformen auf die Datenverarbeitung haben.
Der Benchmark soll Informationen darüber liefern, wie schnell ein trainiertes neuronales Netzwerk neue Daten verarbeiten kann, um nützliche Erkenntnisse zu liefern. Zuvor hatte MLPerf eine begleitende v0.5 Trainings-Benchmark-Suite veröffentlicht. Diese führte zu 29 Ergebnissen, die bei der Messung der Leistungsfähigkeit modernster Systeme für das Training tiefer neuronaler Netze berücksichtigt werden sollten.
Die ML Perf Inference besteht aus fünf Bechmarks, die sich auf drei Aufgaben im Bereich Machine Learning konzentrieren:
- Bildklassifizierung – Vorhersage eines „Labels“ für ein bestimmtes Bild aus dem Image-Net-Datensatz, zum Beispiel zur Identifizierung von Elementen in einem Foto.
- Objekterkennung – Auswahl eines Objekts aus dem MS-COCO-Datensatz, der häufig in der Robotik, Automatisierung und Automobilindustrie verwendet wird.
- Maschinelle Übersetzung – Übersetzen von Sätzen zwischen Englisch und Deutsch unter Verwendung des WMT Englisch-Deutsch-Benchmarks, ähnlich wie bei Autoübersetzungen in weit verbreiteten Chat- und E-Mail-Anwendungen.
MLPerf veröffentlicht Benchmark-Referenzimplementierungen, die das Problem, das Modell und das Qualitätsziel definieren, sowie Anweisungen zur Ausführung des Codes. Die Referenzimplementierungen sind in den Frameworks ONNX, PyTorch und TensorFlow verfügbar. Die Arbeitsgruppe MLPerf Inferenz-Benchmark folgt einer „agilen“ Benchmarking-Methodik: frühzeitige Einführung, Einbindung einer breiten und offenen Gemeinschaft und schnelle Iteration. Auf der Website mlperf.org werden die Spezifikationen erläutert, mit Richtlinien für den Referenzcode. Außerdem werden künftige Ergebnisse veröffentlicht.
„Durch die Schaffung gemeinsamer und relevanter Kennzahlen zur Bewertung neuer maschineller Lernprogramme, von Hardwarebeschleunigern sowie Cloud- und Edge-Computing-Plattformen in realen Situationen werden diese Benchmarks gleiche Wettbewerbsbedingungen schaffen, die auch von kleinen Unternehmen genutzt werden können“, sagten die Vorsitzenden der Inference-Arbeitsgruppe.
(gk)
