Moderne Wissenschaft ist entscheidend auf die Nutzung von Höchstleistungscomputern, so genannten Supercomputern, angewiesen. Ob für die Simulation von Experimenten, für die Auswertung von Messergebnissen oder für theoretische Berechnungen, in den meisten Fällen ist ein Höchstmaß an Computerleistung erforderlich. Die Ausgangslage in der Rhein-Main-Region hatte sich in den vergangenen Jahren in punkto Hochleistungsrechnen insofern verändert, als sich zunehmend hochrangige Institutionen der theoretischen Naturwissenschaften im Rhein-Main-Neckar-Raum angesiedelt hatten. Der Ausbau der Supercomputer-Kapazitäten wurde somit immer dringender.
Da kam es gelegen, dass Hessen 2008 die Landes-Offensive zur Entwicklung Wissenschaftlich-ökonomischer Exzellenz (LOEWE) startete. Bis 2013 will das Bundesland hierzu 410 Millionen Euro bereitstellen. Zusätzlich mit der Förderung von Seiten der Deutschen Forschungsgemeinschaft wurde das Center for Scientific Computing (CSC) der Goethe-Universität Frankfurt durch einen neuen Supercomputer erheblich ausgebaut: durch LOEWE-CSC. Mit bemerkenswertem Erfolg: Die Rechenleistung des CSC wurde auf einen Schlag verachtfacht. Sie steht nun mehreren Forschungszentren im Rhein-Main-Gebiet zur Verfügung, etwa dem im Aufbau befindlichen internationalen Beschleunigerzentrum FAIR (Facility for Antiproton and Ion Research), über das Hessische Hochleistungsrechenzentrum an der Goethe-Universität (HHLR-GU) auch allen anderen Hochschulen des Landes.
Was es ist, was es kostet
Der Loewe-CSC ist ein...
CPU/GPU-Cluster, das eine Rechenleistung von 299,3 Teraflop/Sekunde erreicht. Bei seiner Inbetriebnahme im November 2010 (und bei Bewerbungsschluss des GreenIT-Award) war er im Vergleich der zweitschnellste Computer Deutschlands (weltweit auf Platz 22), und der energieeffizienteste Großcomputer Europas. Heute liegt LOEWE-CSC in der globalen Rangliste der schnellsten Computer von November 2011 weltweit auf Platz 33 (in Deutschland auf Platz drei). In Europa ist er immer noch einer der "grünsten" Großrechner mit 718,14 Megaflop /Sekunde/Watt. Die Hardware des Systems besteht aus 832 Rechnern in 34 wassergekühlten Racks, in denen 20.928 Rechenkerne mit 778 GPGPU-Hardwarebeschleunigern (= General-purpose Computing on Graphics Processing Units) arbeiten. Der Speicher umfasst 56 TB Arbeitsspeicher plus zwei PB Festplattenkapazität. Die Vernetzung erfolgt über QDR-Infiniband-Verbindungen, das parallele Scratch-Filesystem umfasst 764 TB mit einer aggregierten Bandbreite von 10 GB/Sekunde. Die Leistungsaufnahme beträgt im Spitzenfall 500 kW.
...der so viel kostet
Die Kosten teilen sich auf in Installations- und Betriebskosten, die Installationskosten wiederum in die Kosten für das Rechenzentrum und die reinen Betriebskosten der Rechner. Die Rechner werden aus Ökonomiegründen typischerweise nach drei Jahren getauscht. Weitere wirtschaftliche Differenzierungen gilt es bei Netzwerken vorzunehmen, da deren Erneuerungszyklen in der Regel langsamer sind und oft Prozessoren und GPGPU-Hardware-Beschleuniger getrennt getauscht werden. So können Rechenleistung und Leistungseffizienz deutlich gesteigert werden - und das bei lediglich einem Teil der Investitionskosten.
Foto: Green-IT-BB
Der Rechnerpreis betrug insgesamt 5,2 Millionen Euro - inklusive Ausschreibungs- und anderer Kosten. Das Rechenzentrum mit Kühlsystem schlug mit 750.000 Euro zu Buche. Hinzu kommen etwa 300.000 Euro für die Installation der Racks, die Wasserverrohrung im Rechnerraum und die Installation der Niederspannungsverteiler in den Racks mit deren thermischen Überwachungssystemen. Die Stromkosten machen - abhängig vom Betrieb - mit etwa 580.000 Euro pro Jahr den Löwenanteil aus.
Für die Entwicklungen von LOEWE-CSC war nun ein Trend von Bedeutung, der sich in der Szene der Höchstleistungsrechner erst seit kürzerem eingestellt hat. Bis vor ungefähr zweieinhalb Jahren richtete sich der Blick in der Szene vor allem auf die Rechengeschwindigkeit von Supercomputern. Zugleich wurde wie selbstverständlich in Kauf genommen, dass höhere Rechengeschwindigkeit mit einem höheren Energieverbrauch verbunden war. Energieeffizienz und Umweltschonung galten lange Zeit eher als zweitrangig, zumal die energiesparenden Techniken im Ruf standen, zu langsam zu sein. Erst seit zweieinhalb Jahren ist in der Top500-Liste - die zweimal pro Jahr die leistungsstärksten Superrechner der Welt aufführt - überhaupt auch die Leistungsaufnahme der Supercomputer verzeichnet. Inzwischen hat hier ein radikales Umdenken eingesetzt.
Ökologisches Umdenken
Vor diesem Hintergrund fiel die Entscheidung, den Ausbau des Frankfurter Superrechners auch in ökologischer Hinsicht zu forcieren. Hinzu kam, dass der Computerwissenschaftler Volker Lindenstruth nach Frankfurt berufen wurde. Er arbeitete bereits seit Jahren an Architekturen für wissenschaftliche Computeranwendungen mit Grafikprozessoren als Beschleunigern.
CO2-neutraler Superrechner
Innerhalb von nur neun Monaten nach der Finanzierungszusage gelang es, mit LOEWE-CSC den heute drittschnellsten Supercomputer Deutschlands in Betrieb zu nehmen. Dieser verschlang nur etwa ein Drittel der Investitionskosten vergleichbarer schneller Rechner. Er verbraucht ferner lediglich etwa ein Viertel des Stroms. Die Betriebskosten belaufen sich ebenfalls nur auf 25 Prozent vergleichbarer Systeme. Schließlich kann er breit in unterschiedlichsten wissenschaftlichen Disziplinen eingesetzt werden. Durch Aufstellung im Industriepark Höchst kann der Strombedarf vollständig aus erneuerbaren Quellen gedeckt werden, er ist somit einer der ersten CO2-neutralen Supercomputer der Welt.
Power und Ökologie
Mit einer Geschwindigkeit von 299,3 Billionen Rechenoperationen pro Sekunde ist LOEWE-CSC nach der im November 2011 veröffentlichten Top500-Supercomputerliste der drittschnellste Supercomputer Deutschlands. Er ist zudem noch immer einer der energieeffizientesten Großcomputer Europas. Je Watt Leistungsaufnahme schafft er 718 Millionen Rechenoperationen pro Sekunde. Er erreicht dies vor allem durch den Einsatz von Standard-Grafikchips als Rechenbeschleuniger und durch ein innovatives Kühlsystem. Durch Versorgung mit Strom aus regenerativen Energiequellen (Biogas, Klärschlamm- und Industriemüllverbrennung) ist er einer der ersten CO2-neutralen Supercomputer der Welt.
Das Projekt, einen Höchstleistungsrechner mit optimaler Energieeffizienz auf der Basis von Grafikprozessoren zu günstigsten Kosten für die Wissenschaft in Hessen zu erstellen, umfasste zwei Entwicklungsschritte: zum einen musste das Rechenzentrum selbst gebaut werden. Hier stand im Vordergrund, dass die erforderliche Energie aus umweltfreundlichen Stromquellen zur Verfügung gestellt werden konnte. Zum anderen ging es um die Entwicklung von höchst effizienten Algorithmen, mit denen die Aufgaben der wissenschaftlichen Nutzer optimal für die parallele Architektur von Grafikchips programmiert werden konnten.
Beim Aufbau des Rechenzentrums leistete der Standortbetreiber des Industrieparks Höchst, Infraserv Höchst, wesentliche Dienste. Innerhalb von nur drei Monaten wurde von ihm das Rechenzentrum für den LOEWE-CSC mit einer Nennleistung von 500 kW - mit einer Ausbaufähigkeit auf 1 MW - geplant und zu Gesamtkosten von 750.000 Euro fertiggestellt. Eingeschlossen hierin sind das Kühlsystem sowie die Stromversorgung des Rechners. Die Racks, deren Verrohrung und die Stromverteiler wurden nachträglich von Mitarbeitern der Goethe-Universität eingebaut. Der Aufwand hierfür lag etwa bei 300.000 Euro.
Innovatives Kühlsystem
Der Rechner arbeitet mit einer internen Wasserkühlung. Die erwärmte Luft in den 34 Racks wird über Wärmetauscher in den Türen der Schränke abgeführt. Von Vorteil ist eine strikte Trennung von erwärmter Luft und Wärmeabführung, so dass die erforderliche Kühlleistung auch bei einer erhöhten Arbeitstemperatur von 30 Grad deutlich verringert wird. Durch den Verzicht auf aktive Komponenten wird Energie eingespart. Die so mögliche höhere Umgebungstemperatur erlaubt den Einsatz von energiesparenden Verdunstungskühlern. Das Kühlwasser kann zudem für die Heizung umgebender Gebäude genutzt werden.
Gab es Probleme?
Das System LOEWE-CSC wurde - wie der Fachmann zu sagen pflegt - von Scratch auf neu gebaut. Dabei ergaben sich die üblichen Probleme mittelgroßer Projekte wie etwa unerwartet hohe Lieferzeiten. Das Rechenzentrum wurde trotzdem im Zeitplan (drei Monate) und im projizierten Budget fertiggestellt. Die Rechnerinstallation erfolgte innerhalb weniger Wochen. Allerdings verspätete sich die Lieferung der Komponenten. Kleinere Probleme traten auf durch den Einsatz von Ethernet Switches, die für die in den Racks herrschenden hohen Luftströme nicht geeignet waren. Das Problem konnte aber durch geeignete Korrekturen an der Luftführung in den Racks leicht behoben werden.
Für die Kühlwassererzeugung wurden in unmittelbarer Nähe zur Rechner-Anlage zwei gekoppelte Kühltürme mit zwei voneinander unabhängigen Kühlkreisläufen errichtet. Die Kühlung des Rechners erfordert mit diesem Konzept einen Energieaufwand von etwa sieben Prozent der Nutzleistung, üblich sind bei Höchstleistungsrechnern 40 bis 100 Prozent - entsprechend niedriger sind die Betriebskosten.
Die Stromversorgung erfolgt über das Netz des Industrieparks Höchst. Der Industriepark erzeugt seinen Strom in eigenen Kraftwerken, die mit Biogas betrieben werden, das aus organischen Abfällen erzeugt wird, sowie in einer neuen Anlage, die heizwertreiche Abfälle der hier angesiedelten Unternehmen zur Stromerzeugung nutzt. Dadurch wird LOEWE-CSC vollständig mit Strom aus regenerativen Energiequellen betrieben und ist einer der ersten CO2-neutralen Supercomputer.
Lesen Sie mehr zu innovativen Kühlkonzepten in "Wie Pioniere das RZ kühlen".
Wesentlicher Erfolgsfaktor
Die Projektverantwortlichen sagen, wesentlich für den Erfolg von LOEWE-CSC sei "die Gesamtsicht auf das Projekt, so dass die Anforderungen der Nutzer, die an der Finanzierung beteiligt wurden, ebenso berücksichtigt werden konnten wie die Notwendigkeit zur Reduktion von Investitions- und Betriebskosten." Wichtig in diesem Zusammenhang ist zudem der Einsatz preiswerter Serientechnik, das intelligente Kühlkonzept und die regenerative Stromversorgung aus Biogasverbrennung im Industriepark. So wurde das Ziel, einen der ersten CO2-neutralen Höchstleistungsrechner zu bauen, verwirklicht."