Das Leibniz-Rechenzentrum SuperMUC zählt zu den Supercomputern – der schnellste in Europa. Dementsprechend gut muss gekühlt werden.

Das Leibniz-Rechenzentrum SuperMUC zählt zu den Supercomputern – der schnellste in Europa. Dementsprechend gut muss gekühlt werden.IBM

Weil die Rechenleistung der PCs stetig in den Bereich mehrerer Billiarden Rechenschritte pro Sekunde steigt, wird die energierelevante Infrastruktur von Rechenzentren immer mehr zur Herausforderung. Es gilt, nicht nur die elektrische Energie für den Serverbetrieb dauerhaft und unterbrechungsfrei bereitzustellen, sondern auch die von den Servern produzierte Wärme sicher abzuführen. Durch die notwendigen Redundanzen sowie den permanenten 24-h-Betrieb ergeben sich hohe laufende Kosten. Insbesondere die Art der Kühlung beeinflusst dabei die Effizienz.

Es gibt grundsätzlich drei Möglichkeiten, um Servern zu kühlen: Luft-, Kaltwasser- und Warmwasserkühlung. In herkömmlichen Rechenzentren kommt im Server-Rack und im Raum mechanisch erzeugte Kaltluft als Kühlmedium zum Einsatz. Bei der Luftkühlung wird die der Server-Luft entzogene Wärme an die Umgebung abgegeben. Die gebräuchlichste und wirkungsvollste Lösung für diese Art der Raumkühlung ist das Kaltgangprinzip:

Bei der Luftkühlung werden die Server-Racks so aufgestellt, dass abwechselnd Warm- und Kaltgänge entstehen. Die Kaltluftzuführung erfolgt über einen Doppelboden von unten.

Bei der Luftkühlung werden die Server-Racks so aufgestellt, dass abwechselnd Warm- und Kaltgänge entstehen. Die Kaltluftzuführung erfolgt über einen Doppelboden von unten.Carpus-Partner

Dabei werden die Server-Racks, die standardmäßig die kühlere Zuluft an der Vorderseite ansaugen, so aufgestellt, dass abwechselnd Warm- und Kaltgänge entstehen. Die Kaltluftzuführung erfolgt über einen Doppelboden von unten. Der Temperaturunterschied zwischen Luftein- und -austritt ist dabei durch die maximal erlaubten Luftaustrittstemperaturen der IT-Komponenten begrenzt.

Der Flaschenhals für die Versorgung der Racks mit kühlerer Luft liegt in erster Linie im Doppelboden. Hier befinden sich Strömungshindernisse wie Verkabelungen oder Verrohrungen, die das gleichmäßige Verteilen der Kühlluft behindern. Um die Energieverluste zu verringern, kommen heute vermehrt Cool-Wall-Systeme mit Kühl- und Filtermodulen über die gesamte Wandfläche eines Raums zum Einsatz. Die größeren Wärmetauscherflächen ermöglichen einen höhere spezifische Kühlleistung und so einen effizienteren Betrieb als herkömmliche Kühlgeräte.

Die gesamte mechanische Kälteerzeugung bei einer Kaltwasserkühlung mit einer redundanten Kälte­erzeugung für ein Rechenzentrum mit 1 MW Leistung und einer Peripherie, die mit 250 kW Kühlleistung zu Buche schlägt, braucht 1.250 kW an Energie.

Die gesamte mechanische Kälteerzeugung bei einer Kaltwasserkühlung mit einer redundanten Kälte­erzeugung für ein Rechenzentrum mit 1 MW Leistung und einer Peripherie, die mit 250 kW Kühlleistung zu Buche schlägt, braucht 1.250 kW an Energie.Carpus-Partner

Kaltwasser kühlt effizienter als Luft

Bei einer Kaltwasserkühlung entfällt das Verteilen der Kaltluft über den Doppelboden. Die Umluftkühlung wird hierbei direkt über ein kaltwassergekühltes Rack oder die direkte Installation im Kaltgang realisiert. Der Wärmetauscher und die Ventilatoren zur Luftförderung befinden sich direkt am Rack. Das Ergebnis ist eine höhere Kühlleistung bei geringeren Energieverlusten. Das benötigte Kaltwasser stellen Kältemaschinen bereit. Das übliche Temperaturniveau für das Wasser liegt aktuell bei circa 14 bis 18 °C. Um weitere Energie einzusparen, ist es nötig, diese Temperaturen zu erhöhen. Denn dann kann die Kühlung zum Großteil des Jahres über Freikühlbetrieb – also ohne zusätzlichen Energieverbrauch – erfolgen. In derzeitigen Rechenzentren sind häufig kombinierte Varianten von Luftkühlung und direkter Rack-Kühlung zu finden, da nicht alle Server-Systeme das gleiche Temperaturniveau benötigen. Kaltwassergekühlte Server werden in der Regel als Mischvariante in Kombination mit luftgekühlten Systemen eingesetzt. Vor allem größere Rechenzentren profitieren durch diesen Parallelbetrieb, da sie so ihre Kühlung flexibler gestalten können.

Kaltwasser gekühlte Server kommen auch als Mischvariante in Kombination mit luftgekühlten Systemen zum Einsatz.

Kaltwasser gekühlte Server kommen auch als Mischvariante in Kombination mit luftgekühlten Systemen zum Einsatz.Carpus-Partner

Warmwasser kühlt nochmal besser

Klassische, luftgekühlte Rechenzentren benötigen für die Kühlung zusätzlich circa 50 % ihres Energiebedarfs, weil die Kälte mechanisch erzeugt werden muss. Einen energetischen Vorteil bietet der Einsatz von warmwassergekühlten Server-Racks. Denn bei ihnen kommt für die Wärmeabfuhr keine mechanische Kälte zum Einsatz. Der Trend bei Hochleistungsrechnern geht daher zu vollständig warmwassergekühlten Servern. Das Leibniz-Rechenzentrum für die Münchener Universitäten, die bayrische Akademie der Wissenschaften oder das Karlsruher Institut für Technologie KIT gehören hier zu den Vorreitern.

Die Warmwasserkühlung erfolgt direkt am Serverblade. Die Vorlauftemperatur beträgt dabei 40 °C, die Rücklauftemperatur 45 °C.

Die Warmwasserkühlung erfolgt direkt am Serverblade. Die Vorlauftemperatur beträgt dabei 40 °C, die Rücklauftemperatur 45 °C.LRZ

Die Warmwasserkühlung erfolgt direkt am Serverblade. Die Vorlauftemperatur beträgt dabei 40 °C, die Rücklauftemperatur 45 °C. Dieses Temperaturniveau eignet sich für die indirekte freie Kühlung in klimatisch gemäßigten Regionen, in denen die Außentemperatur nicht über 39 °C steigt. Ein Vorteil der Warmwasserkühlung ist außerdem die Möglichkeit, die Abwärme sinnvoll zu nutzen, etwa für Heizprozesse. Die als Abfallprodukt zur Verfügung stehende Wärme wird dann nicht über Rückkühler an die Umgebung abgegeben, sondern genutzt, um andere Gebäudeteile zu heizen. Ähnlich der Kaltwasserkühlung wird bei der Konzeption größerer Rechenzentren auch dieses System häufig mit luftgekühlten Servern kombiniert, um die Kühlung flexibler zu gestalten.

Für die Rückkühlung der gesamten mechanischen Kälteerzeugung bei der Kaltwasserkühlung brauchen die Hybrid-V-Kühler jeweils 730 kW Leistung.

Für die Rückkühlung der gesamten mechanischen Kälteerzeugung bei der Kaltwasserkühlung brauchen die Hybrid-V-Kühler jeweils 730 kW Leistung.Carpus-Partner

Kalt- und Warmwasserkühlung im Vergleich

Wie viel Energie sich mit einer Warmwasserkühlung sparen lässt, zeigt ein Rechenbeispiel. Basis der Rechnung sind jeweils eine Kalt- und Warmwasserkühlung mit Rückkühlvariante bei einem Rechenzentrum mit einer installierten Rechenleistung von 1 MW. Außerdem müssen auch die peripheren technischen Einrichtungen, wie Batterieräume oder Nieder- und Mittelspannungs-Hauptverteilungsräume, gekühlt werden. Die dafür benötigte Energie beträgt circa 25 % der installierten Rechnerleistung.

Bei einer Kaltwasserkühlung liegt die Kälteleistung zur Rechnerkühlung bei 1.000 kW, weitere 250 kW werden für die Peripherie benötigt. Damit ergibt sich eine gesamte Kälteleistung von 1.250 kW. Um diese Kälteleistung abzudecken, wurden zwei Kältemaschinen (n+1 Redundanz) mit jeweils 1.250 kW gewählt. Die Dimensionierung der Rückkühler ergibt sich aus 1.250 kW Gesamtkälteleistung plus 208 kW elektrischer Leistungsaufnahme der Kältemaschine. Zusammen ergibt das 1.458 kW Rückkühlleistung. Dafür kommen drei Rückkühler mit 730 kW (n+1 Redundanz) zum Einsatz.

Der Rückkühler für die Warmwasserkühlung verbrauchen jeweils nur 500 kW.

Der Rückkühler für die Warmwasserkühlung verbrauchen jeweils nur 500 kW.Carpus-Partner

Die Warmwasserkühlung wird ausschließlich für die Kühlung der Server eingesetzt. Im Beispiel sind dies 1.000 kW. Diese werden über Rückkühler oder eine geeignete Abwärmenutzung rückgekühlt. Für diesen Kühlprozess ist keine mechanisch erzeugte Kälte erforderlich, es werden also keine zusätzlichen Kältemaschinen benötigt. Denn aufgrund der hohen Kühlwassertemperaturen von 40 beziehungsweise 45 °C ist eine Rückkühlung ausschließlich mithilfe der Außenlufttemperatur möglich. Lediglich bei Bedarf erfolgt eine unterstützende adiabatische Verdunstungskühlung durch Besprühen mit vollentsaltzem (VE-)Wasser. Es sind lediglich drei Rückkühler (n+1 Redundanz) vorgesehen. Mechanisch erzeugte Kälte wird dann nur für die Peripherie benötigt. Die dafür erforderliche Leistung beträgt 250 kW. Die Rückkühlleistung liegt insgesamt bei 295 kW.

Technik im Detail

VE-Wasser

Für die Verdunstungskühlung durch Besprühen kommt ausschließlich demineralisiertes, vollentsaltzes Wasser, sogenanntes VE-Wasser, in Betracht. Dieses Wasser enthält, anders als herkömmliches enthärtetes Wasser, keine gelösten Stoffe und verhindert so das Verkalken von Wärmetauschern. Die hohen Anforderungen und Qualitätskriterien, die es erfüllen muss, erfordern einen großen technischen und damit auch kostenintensiven Aufwand bei der Herstellung und Aufbereitung. Um die Energiekosten zu verringern, gilt es deshalb, möglichst wenig VE-Wasser zu verbrauchen. VE-Wasser kommt außerdem als Medium zum Transport der benötigten Kälte bei der Kaltwasser- und bei der Warmwasserkühlung zum Einsatz. VE-Wasser ist hier notwendig, um der Verkalkung von Wärmetauschern in den Server-Racks vorzubeugen.

Bei der Warmwasserkühlung wird ab Außentemperaturen von 33 °C und darüber VE-Wasser genutzt, um die Ansaugluft der Rückkühler durch Verdunstung (adiabatische Kühlung) vorzukühlen. Dies ist notwendig, um die geforderten Kühlwassertemperaturen von 38 beziehungsweise 43 °C auch bei höheren Außentemperaturen zu erreichen. Bereits bei Außentemperaturen ab 27 °C benötigen die Rückkühler zur Kaltwasserkühlung ebenfalls ein Besprühen mit VE-Wasser, um Kühlwassertemperaturen von 32 beziehungsweise 38 °C an der Kältemaschine einzuhalten.

Ausgehend von einer maximalen Außenlufttemperatur von 37 °C ist bei der Warmwasserkühlung eine Vorkühlung der Ansaugluft an rund 31 Stunden pro Jahr notwendig. Denn nur in diesem Zeitraum liegt die Außentemperatur über 33 °C. Im Gegensatz dazu erfordert die Kaltwasserkühlung eine Vorkühlung über eine Periode von 305 Stunden jährlich, da sie bereits bei Temperaturen ab 27 °C eine zusätzliche Kühlung mit VE-Wasser benötigt. Im Vergleich benötigt die Warmwasserkühlung bis zu zwei Drittel weniger VE-Wasser als die Kaltwasserkühlung.

Das Erzeugen der zusätzlichen mechanischen Kälte bei einer Warmwasserkühlung für die Peripherie braucht 250 kW Kühlleistung.

Das Erzeugen der zusätzlichen mechanischen Kälte bei einer Warmwasserkühlung für die Peripherie braucht 250 kW Kühlleistung.Carpus-Partner

Warmes Wasser senkt den jährlichen Strombedarf

Der Strombedarf bei Warm- und Kaltwasserkühlung ergibt sich hauptsächlich aus dem Bedarf der Kältemaschinen und der Rückkühler. Es zeigt sich: Bei der Kaltwasserkühlung ist der Strombedarf für die mechanische Kälteerzeugung sowie die Rückkühlung mit 1.250 kW größer als bei der Warmwasserkühlung, die nur 250 kW benötigt. Der jährliche Stromverbrauch für die Warmwasserkühlung liegt damit um circa 77 % unter dem der Kaltwasserkühlung.

Die Rückkühlung der zusätzlichen mechanischen Kälte bei Warmwasserkühlung liegt bei 295 kW.

Die Rückkühlung der zusätzlichen mechanischen Kälte bei Warmwasserkühlung liegt bei 295 kW.Carpus-Partner

Durch den im Beispiel ermittelten verringerten jährlichen Stromverbrauch bei der Warmwasserkühlung um 77 % und damit um circa 780 MWh ergibt sich bei einem Strompreis von durchschnittlich 0,2 Euro/kWh ein Kosteneinsparung von 155.000 Euro pro Jahr. Da zudem zukünftig immer mehr Hersteller Lösungen zur Warmwasserkühlung von Server-Racks anbieten werden, ist mit fallenden Preisen der Systeme und damit geringeren Investitionskosten zur rechnen. Der Amortisierungszeitraum wird sich damit in Zukunft weiter verkürzen. Mit den möglichen Kosteneinsparungen ist die Warmwasserkühlung damit eine Alternative zur klassischen Luftkühlung.