In Bezug auf Verlustleistung und thermisches Management gibt es zwei Wege, die Auswirkungen des PDN auf das Gesamtsystem zu verbessern. Die erste Option wäre es, den Widerstand durch dickere Kabel, stärkere Stecker und breitere Bahnen für die Versorgung auf den Leiterplatten zu verringern. Bei der zweiten Option erhöhen Entwickler die Spannung im PDN, um die Ströme für die geforderte Leistung zu reduzieren. Das kann dazu führen, dass sich Kabelquerschnitte, Steckergrößen und Kupferflächen auf den Platinen reduzieren, was wiederum auch zu verringerten Baugrößen, Kosten und Gewichten führt.

Eckdaten

Künstliche Intelligenz, maschinelles Lernen und Deep Learning – diese Anwendungen erfordern viel Leistung von Rechenzentren. Um dort die Stromversorgung zu gewährleisten, setzen Unternehmen zunehmend auf 48-Volt-Netze. Allerdings erfordert das eine Änderung im Power Distribution Network: Spannung erhöhen, um die Leistung zu reduzieren. Was es dabei zu beachten gibt, erklärt der Artikel.

Jahrelang setzten Entwickler auf die erste Option, um die große Infrastruktur zu nutzen, die über viele Jahre auf der Basis von einphasigen Netzteilen sowie DC/DC-Wandlern und Reglern mit 12 V entstand. Ein weiterer Grund waren die nicht zufriedenstellenden Eigenschaften von DC/DC-Topologien, welche in der Lage waren, hohe Spannungen direkt auf die Lastspannungen herabzusetzen sowie die damit verbundenen höheren Kosten für Wandler und Regler für höhere Spannungen.

Heutige Power-Lösungen wechseln aber von Option eins auf Option zwei und erhöhen die Spannung im PDN. Immer höhere Performance sowie zusätzliche Funktionen erfordern höhere Leistungen und treiben dadurch diese Entwicklung voran. Bei Rechenzentren erhöhte sich durch die Erweiterung um künstliche Intelligenz, maschinelles Lernen sowie Deep Learning die Leistung in einem Rack um 200 Prozent auf rund 20 kW. Die Leistungen in den Racks der Supercomputer erreichen jetzt 100 kW und mehr.

Point-of-Load in einem 48-V-Stromnetz

Die optimale Point-of-Load Versorgung: 1. Ein Regler hat den höchsten Wirkungsgrad, wenn Vin = Vout.
2. Der maximale Wirkungsgrad wird erreicht, wenn die Erzeugung des hohen Stromes möglichst nah bei der Last erfolgt, damit Leitungsverluste minimiert werden.
2. Der maximale Wirkungsgrad wird erreicht, wenn die Erzeugung des hohen Stromes möglichst nah bei der Last erfolgt, damit Leitungsverluste minimiert werden.
2. Der maximale Wirkungsgrad wird erreicht, wenn die Erzeugung des hohen Stromes möglichst nah bei der Last erfolgt, damit Leitungsverluste minimiert werden.
2. Der maximale Wirkungsgrad wird erreicht, wenn die Erzeugung des hohen Stromes möglichst nah bei der Last erfolgt, damit Leitungsverluste minimiert werden. Vicor

Solche Leistungssteigerungen zwangen die Ingenieure, das komplette Netzwerk für die Leistungsverteilung neu zu überdenken. Sie mussten dabei nicht nur die Versorgung der Racks sondern auch die Verteilung in den Racks selbst sowie auf den Server Blades berücksichtigen, auf denen immer höhere Ströme für die Versorgung der CPUs oder die KI-Prozessoren fließen. Bei einer Leistung von 5 kW pro Rack war die Versorgung mit einphasiger Netzspannung die Regel. Diese wurde dann auf 12 V für die Verteilung zu den Server Blades herabgesetzt. Bei 5 kW Leistung betrug der Strom 416 A (5kW/12V) und die Verteilung wurde mit dicken Kabeln bewerkstelligt.

PDN an Leistungsanforderungen anpassen

Um das Jahr 2015 stieg die benötigte Leistung der Prozessoren rapide an und damit auch die Leistung pro Rack auf 12 kW. Für eine 12-V-Versorgung bedeutet dies, dass im Rack Ströme von 1000 A fließen. Das OCP-Konsortium (Open Compute Project), welches die meisten der Cloud-, Server- und CPU-Anbieter zu seinen Mitgliedern zählt, verbesserte das 12-V-Design durch den Einsatz von Kupferschienen statt Kabeln sowie die Verwendung von mehreren, im Rack verteilten einphasigen Netzgeräten, was dazu führte, dass sich Abstände und Widerstände im Verteilernetzwerk zu den Server Blades reduzierten. Die wichtigste Änderung im Vergleich zu früheren Lösungen war, dass die einzelnen Phasen von einem 3-phasigen Netzanschluss der Racks stammten, um damit die verfügbare Leistung zu erhöhen.

"Last-Inch"-Problematik

Durch Überwindung des Hindernisses, welches der sogenannte „Last Inch“ bei der Versorgung von Hochleistungsprozessoren mit hohen Strömen darstellte, konnte Vicor die Performance verbessern und das Motherboard-Design vereinfachen. Vicor

Firmen, welche ihre eigenen Racks und Rechenzentrumslösungen herstellen, begannen einen 48-V-Bus einzusetzen. Diese bedeutet eine Reduzierung des Stromes im PDN auf 250 A in einem 12-kW-Rack, brachte aber auch neue Herausforderungen für die Leistungsumwandlung auf den Blades.

Da die Leistung pro Rack weiter auf Werte von 20 kW und mehr ansteigen, entwickelt sich das Power Distribution Network weiter, obwohl es bereits eine große 12-V-Infrastruktur mit verschiedenen Herstellern und preisgünstigen Standardkomponenten sowie Spannungsreglern gibt.

Es gibt kreative Versuche, den Status Quo dieser bestehenden älteren 12-V-Systeme zu erhalten, allerdings macht der Einzug von KI-Prozessoren in Rechenzentren mit Dauerströmen zwischen 500 und 1000 A und Spitzenströmen von bis zu 2000 A den Einsatz eines 12 V basierten PDN nahezu unmöglich. Bei KI zählt zuallererst die Performance und diese sowie die Konkurrenzfähigkeit schränkt ein 12-V-PDN ein. Um die vielfältigen Herausforderungen in diesen Hochleistungsracks zu meistern, hat das OCP-Konsortium deshalb das Rack-Design für einen 48-V-PDN weiterentwickelt.

48-Volt-Anwendungen benötigen ein neues PDN

Stromversorgung des Prozessors erfolgt über das MCM-Modul.

Die Versorgung mit hohem Strom erfolgt durch das MCM-Modul, welches neben dem Prozessor entweder auf dem Motherboard oder auf dem Prozessorsubstrat platziert werden kann. Vicor

Der Wechsel von 12-V- auf eine 48-V-Busspannung reduziert den Strom am Eingang um den Faktor 4 (P = V • I) und reduziert die Verluste um den Faktor 16 (Verlustleistung = I2R). Da auch der Automobil- und 5G-Markt, LED-Beleuchtungen und Displays sowie etliche Industrieapplikationen auf eine 48-V-Versorgung umsteigen, wächst die Infrastruktur für 48-V-Wandler rapide. Es macht daher auch geschäftlich Sinn, auf 48 V zu wechseln, und es gibt eine wachsende Anzahl von Lösungen, mit denen Ingenieure heute sowohl ein 12-V- als auch ein 48-V-System nutzen können. Aber nicht alle 48-V-Wandlertopologien oder -Architekturen sind gleich und Unterschiede bei den Eigenschaften kommen im Markt der 48-V-Wandler stärker zum Vorschein, weshalb die Entwickler dort besonders achtsam sein sollten. High-Performance und Wirkungsgrad stehen an erster Stelle der notwendigen Eigenschaften für den Einsatz in High-Power-Racks und Rechenzentren. Etliche Firmen wechseln zu einem Netzgerät mit 3-Phasen-Eingang und 48-V-Ausgang für die Verteilung zu den Blades. Alternativ wird auch eine hohe DC-Spannung (380 Vdc nach Gleichrichtung der 3 Phasen) als Busspannung im Rack verwendet und viele HPC-Firmen (High Performance Computing) nutzen diese hohe Gleichspannung für Racks mit bis zu 100 kW. Da PDNs für die Versorgung der Blades zu einer Spannung von 48 V übergehen, müssen Entwickler auch die Wandlerstufen auf den Blades neu überdenken. Dies ist ein faszinierender Bereich für Änderungen, da es mittlerweile viele Alternativen bei Architekturen, Topologien und Gehäuseformen von DC/DC-Wandlern und Reglern gibt.

PDN und Topologien in HPC-Anwendungen einsetzen

Der Einsatz von 48 V ist neu für Server in Datenzentren, ist jedoch Standard in vielen Kommunikationsapplikationen wie Routern oder Netzwerkschaltern. Dies war bedingt durch den Einsatz von -48-V-Bleibatterien in den Backup-Systemen von Telekommunikationsanlagen. Der traditionelle, in diesen Systemen allgemein verwendete Aufbau wurde Intermediate Bus Architektur (IBA) genannt. Diese bestand aus einem isolierten, nicht geregelten Bus-Wandler, welcher die -48 V auf +12 V umwandelte und damit eine Anzahl von Mulitphase-Buck-Reglern versorgte. Diese erzeugten aus der 12-V-Spannung die geregelte Versorgung der verschiedenen Lasten. Einige der Cloud- und HPC-Anbieter kopierten dieses System anfänglich für ihre 48-V-Systeme. Mit steigender Leistung und sinkenden Versorgungsspannungen der Lasten mit Werten von 1 V und weniger, mussten sie jedoch alternative Architekturen und Topologien finden.

Für Designs mit hoher Leistung und Leistungsdichte sind die Architekturen von Versorgung, Schalttopologien sowie Gehäuseformen die kritischen Elemente, welche die gesamten Eigenschaften bestimmen. Wegen des Leitungswiderstandes zwischen Regler und Last wird mit den steigenden Strömen der KI- und CPU-Prozessoren die Leistungsdichte der Stromversorgung an der Last selbst zum wichtigsten Element.

PDN auf moderne Anrichtungen ausrichten

Die aktuellen und zukünftigen Generationen von KI-Prozessoren benötigt Dauerströme von fast 1000 A mit Spitzen von bis zu 1500 – 2000 A. Bei einem typischen Widerstand von 200 – 400 µΩ zwischen einem Multiphase Buckregler und dem Prozessor, würde dies eine dauernde Verlustleistung im PDN von 200 – 400 W (P = I2R) bedeuten, eindeutig zu viel für jegliches System. Diese PDN-Verluste sind jetzt der dominierende Faktor für Wirkungsgrad und Performance des DC/DC-Regler-Designs. Es handelt sich um ein Problem an der Last selbst und lässt sich daher nicht durch die Wahl einer höheren Spannung lösen. Im Gegenteil, die Versorgungsspannungen sinken immer weiter, um das Mooresche Gesetz zu erfüllen. Die einzige Lösung ist, den PDN-Widerstand zu senken und dies wird erreicht, indem Entwickler den Regler möglichst nah an der Last platzieren. Bei einem Mulitphase-Regler werden in der Regel 16 – 24 Phasen benötigt, um den Strom eines KI-Prozessors zu liefern. Dies ist allerdings keine Lösung mit hoher Leistungsdichte und löst auch nicht das Problem mit den Verlusten auf dem PDN.

PDN-Lösung von Vicor

Schematische Darstellung von Vertical Power Delivery (VPD)

Vertical Power Delivery (VPD) ermöglicht eine weitere Reduzierung der Verluste in den Leitungen sowie der durch den Voltage Regulator benötigten Fläche auf der Leiterkarte. VPD ist der LPD-Lösung von Vicor, die Stützkondensatoren sind jedoch bereits in dem Strommultiplizierer oder dem GCM-Modul integriert. Vicor

Eine Alternative zu IBA ist die Factorized Power Architecture (FPA) von Vicor, welche aus einer Stufe für die Vorregelung (Pre-Regulation Module; PRM) gefolgt von einer Stufe für die Spannungsübersetzung (Voltage Transformation Module; VTM) besteht. Diese patentierte Architektur erlaubt die Optimierung jeder einzelnen Stufe. Das PRM übernimmt die nicht isolierte Regelfunktion und erzeugt aus der ungeregelten 48-V-Eingangsspannung eine präzise geregelte 48-V-Ausgangsspannung. Die Spannungsübersetzung auf die gewünschte Lastspannung übernimmt das VTM, bei dem es sich um einen Wandler mit festem Übersetzungsverhältnis handelt. Das PRM verwendet eine Zero-Voltage-Switching-Topologie, während im VTM eine resonante und hochfrequente Sine-Amplitude-Converter-Topologie (SAC) zum Einsatz kommt, welche mit Schalten bei Nullspannung und Nullstrom die Übersetzung auf die Lastspannung durchführt. Das VTM verhält sich wie ein DC/DC-Übertrager, bei dem die Spannung mit dem Faktor 1/k herabgesetzt und der Strom mit dem Faktor K multipliziert wird. Beim VTM, welches auch als Strommultiplizierer bekannt ist, handelt es sich um einen PoL-Wandler mit hoher Stromdichte. Durch seine innovative Chip-Gehäusetechnologie sowie integrierte hochkompakte Induktivitäten lässt sich das VTM sehr nah beim Prozessor platzieren.

Dieser hohe Grad an Stromdichte bietet dem Entwickler eine einzigartige Flexibilität. Je nach Prozessorstrom kann er zwischen einer lateralen oder einer vertikalen Versorgung wählen. Bei der lateralen Versorgung (lateral power delivery; LPD) befindet sich der Strommultiplizierer neben dem KI-Prozessor, entweder auf dem gleichen Substrat oder auf dem Motherboard mit einem Abstand von einigen wenigen Millimetern. Dies senkt den PDN-Widerstand auf rund 50 µΩ. Für noch höhere Performance wird bei der vertikalen Versorgung (vertical power delivery; VPD) der Multiplizierer unter dem Prozessor platziert, sodass die Ausgangspins exakt mit Größe und Position der Versorgungspins des darüber liegenden Prozessors übereinstimmen.

Das Gehäuse des Strommultiplizierer enthält auch die hochfrequenten Stützkondensatoren, die normalerweise unter dem Prozessor auf dem Motherboard oder dem Substrat angebracht sind. Diese Art von Strommultiplizierer wird GCM (Geared Current Mutliplier) genannt. VPD reduziert den PDN-Widerstand auf unglaubliche 5 bis 7 µΩ und ermöglicht einem KI-Prozessor seine vollen Performance-Möglichkeiten komplett auszuschöpfen.

Derart komplexe Herausforderungen bei der Stromversorgung erfordern einen ganzheitlichen Ansatz beim Design, damit diese hervorragenden Eigenschaften auch komplett geliefert werden können. Innovationen bei der Architektur, den Topologien und den Gehäusebauformen werden benötigt, um die härtesten und ständig steigenden Anforderungen zu erfüllen. PDNs mit höherer Spannung können viele Anforderungen bei der Systemperformance lösen. Ohne hohe Leistungsdichten und Wirkungsgrade werden Entwickler aber nicht vollkommen optimierte Lösungen erreichen. Die Reduzierung des PDN-Widerstands ist der Schlüssel für den Durchbruch bei der Versorgung der nächsten Generation von Prozessoren für HPC und die Ermöglichung der vielsprechenden künstlichen Intelligenz.