HZDR: CASUS am weltweit größten Supercomputer Frontier beteiligt
Seit einem Jahr unterstützen Wissenschaftler*innen von CASUS, dem Center for Advanced Systems Understanding am Helmholtz-Zentrum Dresden-Rossendorf (HZDR), den Aufbau des weltweit größten geplanten Exascale-Computers Frontier. Die Zusammenarbeit mit der University of Delaware trägt nun erste Früchte: Die Forscher*innen testeten ihre Simulationssoftware PIConGPU erfolgreich auf einer der weltschnellsten Grafikkarten für Hochleistungsrechner – der erst kürzlich erschienen MI100 des US-amerikanischen Unternehmens AMD.
Seit einem Jahr unterstützen Wissenschaftler*innen von CASUS, dem Center for Advanced Systems Understanding am Helmholtz-Zentrum Dresden-Rossendorf (HZDR), den Aufbau des weltweit größten geplanten Exascale-Computers Frontier. Die Zusammenarbeit mit der University of Delaware trägt nun erste Früchte: Die Forscher*innen testeten ihre Simulationssoftware PIConGPU erfolgreich auf einer der weltschnellsten Grafikkarten für Hochleistungsrechner – der erst kürzlich erschienen MI100 des US-amerikanischen Unternehmens AMD.
Der Aufbau neuer Supercomputer oder die Einführung neuer Hardware wie zum Beispiel modernster Grafikkarten bedeutet üblicherweise, dass auf das jeweilige Modell zugeschnittene Software geschrieben werden muss. In enger Zusammenarbeit mit den Physikern und Informatikern des HZDR um Dr. Alexander Debus, Dr. Thomas Kluge und Dr. Guido Juckeland hat das CASUS-Team von Dr. Michael Bussmann mit einheitlichen Computercodes Lösungen entwickelt, die auf nahezu allen Hochleistungsrechnern effizient funktionieren, unabhängig von der verwendeten Hardware. Mithilfe einer einheitlichen Bibliothek müssen die Codes, die oft mehrere hunderttausend Programmzeilen lang sind, nicht jedes Mal neu geschrieben werden.
Das reduziert den Aufwand an Programmierarbeit und minimiert die Fehlermöglichkeiten erheblich. "Mit unseren Anwendungen haben wir bei den US-Entwicklungslaboren Aufmerksamkeit erregt – so viel, dass wir Zugang zu Prototypen von Exascale-Computern erhalten haben. Diese Vorzugsbehandlung blieb den meisten unserer Mitbewerber verwehrt. Wir sind hoch erfreut, gemeinsam mit der University of Delaware als eines von nur acht Teams eingeladen worden zu sein, unsere Software auf der neuen Supercomputer-Generation zu testen und anzupassen", beschreibt CASUS-Teamleiter Bussmann den Werdegang der Zusammenarbeit.
Mit alpaka auf dem Weg zu einheitlichen Codes Vor allem für den Bereich der Plasma- und Laserphysik haben die Teams von HZDR und CASUS mit PIConGPU eine extrem vielseitige Simulationssoftware konzipiert. PIConGPU ist die Abkürzung von Particle-In-Cell on Graphics Processing Unit und lässt sich mit Teilchen-Gitter-Verfahren auf Grafikprozessoren übersetzen. Der Code soll etwa bei der Entwicklung zukunftsorientierter Teilchenbeschleuniger für die Strahlentherapie von Krebs, in der Hochenergiephysik oder in der Forschung mit Photonen zum Einsatz kommen. Damit der Simulationscode auf unterschiedlichen Hardware-Typen läuft, ohne ständig angepasst werden zu müssen, verwenden die Forscher*innen alpaka.
Diese Programmbibliothek, die bei CASUS derzeit für Exascale-Anwendungen weiterentwickelt wird, ermöglicht es, Software nur einmal zu schreiben und anschließend auf unterschiedlichsten Hardware-Systemen effizient auszuführen. alpaka wurde bereits auf anderen Supercomputern erfolgreich angewandt, beispielsweise dem Summit von IBM, dem derzeit leistungsfähigsten Hochleistungsrechner in den USA, aber auch dem Taurus des Zentrums für Informationsdienste und Hochleistungsrechnen der TU Dresden sowie dem HZDR-System Hemera.
Einer der zentralen nächsten Schritte ist es nun, PIConGPU an das zukünftige US-amerikanische Exascale-System Frontier anzupassen. Der CASUS-Wissenschaftler Jan Stephan arbeitet daher an einer Konfiguration von alpaka auf Hardware der nächsten Generation: "Konkret wollen wir damit künftig insbesondere Grafikprozessoren und programmierbare Logik-Schaltkreise von Firmen wie zum Beispiel AMD, Intel und oder Xilinx nutzen können", fasst der Informatiker das nächste unmittelbare Ziel ins Auge.
"Wir haben große Fortschritte bei diesem Projekt gemacht. Wir bekamen Zugang zu den erst kürzlich erschienenen AMD Radeon Instinct MI100-Grafikkarten und konnten die vollständige PIConGPU-Anwendung darauf zum Laufen bringen. Dabei haben wir, verglichen mit der Vorgängerkarte, der MI60, eine 1,4-fache Beschleunigung beobachtet. Dies ist vielversprechend und wir freuen uns darauf, die wissenschaftlichen Fähigkeiten von PIConGPU mit den AMD-GPUs der nächsten Generation und dem kommenden Frontier-Exascale-System am Oak Ridge National Laboratory zu erweitern", sagt Projektleiterin Prof. Sunita Chandrasekaran von der University of Delaware. Der Physiker Dr. Alexander Debus vom Institut für Strahlenphysik am HZDR ergänzt: "Mit Frontier können wir die komplexe Plasmadynamik mit einer noch nie dagewesenen zeitlichen und räumlichen Auflösung untersuchen. Dies wird die Entwicklung von Plasmabeschleunigern maßgeblich voranbringen." Datenstandard für eine gezieltere Auswertung In einem weiteren Projekt am Frontier entwickelt Franz Pöschel von CASUS mit openPMD einen offenen Datenstandard. Dieser zielt darauf ab, die enorme Menge wissenschaftlicher Daten, die die Plasmasimulationen liefern werden, möglichst effektiv und schnell erfassbar zu machen. PMD steht für Particle Mesh Data: Daten, wie sie häufig in physikalischen Simulationen anfallen. Mit openPMD können die umfangreichen Simulationsdaten aus der Plasmaphysik effizient und schnell gespeichert werden. Darüber hinaus unterstützt openPMD die Weiterverwendung der Daten nach dem sogenannten FAIR-Prinzip offener Wissenschaftsdaten (findable, accessible, interoperable, reusable – auffindbar, zugänglich, übertragbar, wiederverwendbar). Auf Frontier wollen die Wissenschaftler*innen nun erforschen, wie sie mit openPMD in möglichst kurzer Zeit riesige Datenmengen visualisieren und analysieren können. Frontier – Supercomputer der nächsten Generation Im Jahre 2019 gab das US-Energieministerium den Bau des Frontier-Supercomputers am Oak Ridge National Laboratory bekannt. Frontier soll im Jahr 2022 betriebsbereit sein und dann eineinhalb Trillionen Gleitkomma-Rechenoperationen pro Sekunde bewältigen können (eine Trillion besteht aus einer Eins, gefolgt von 18 Nullen). Mit diesen 1,5 ExaFLOPS würde er dann der leistungsfähigste Computer der Welt sein. Das eigens zur Umsetzung dieser Aufgabe gegründete Frontier Center for Accelerated Application Readiness (CAAR) hat acht Forschungsprojekte ausgewählt, die den Aufbau des Hochleistungsrechners und dessen Anwendungen begleiten – darunter auch das PIConGPU-Team der University of Delaware in Zusammenarbeit mit dem HZDR und CASUS.
Das Exascale-Computing stellt einen bedeutenden Meilenstein in der Computertechnik dar. Groß angelegte und schnelle Simulationen, die noch vor wenigen Jahren unvorstellbar waren, werden mit den enormen Rechenressourcen von Frontier nun möglich. Auch in Europa entstehen erste Prototypen für zukünftige Exascale-Systeme, wie zum Beispiel der Juwels-Booster am Forschungszentrum Jülich. Diverse Forschungszweige erhoffen sich davon verbesserte Anwendungen, zum Beispiel in der Medizin, etwa in der Strahlenbehandlung von Krebs, der Virusforschung oder der Bekämpfung von Alzheimer. Auch für die Untersuchung des Klimawandels oder die Vorhersage ökologischer Einflüsse auf die Artenvielfalt sind solche Rechenkapazitäten von größter Bedeutung.
Kontakt:
Dr. Michael Bussmann Center for Advanced Systems Understanding (CASUS) Tel.: +49 3581 375 2311, +49 351 260 2616| E-Mail: m.bussmann@hzdr.de
Dr. Alexander Debus Institut für Strahlenphysik am HZDR Tel.: +49 351 260 2619 | E-Mail: a.debus@hzdr.de
Über das Center for Advanced Systems Understanding (CASUS) Das CASUS wurde 2019 in Görlitz gegründet und betreibt digitale interdisziplinäre Systemforschung in unterschiedlichen Bereichen wie Erdsystemforschung, Systembiologie und Materialforschung. Innovative Forschungsmethoden aus Mathematik, theoretischer Systemforschung, Simulation, Daten- und Computerwissenschaft werden eingesetzt mit dem Ziel, komplexe Systeme von bisher nie dagewesener Realitätstreue abzubilden und so zur Lösung drängender gesellschaftlicher Fragen beizutragen.
Kooperationspartner sind das Helmholtz-Zentrum Dresden-Rossendorf (HZDR), das Helmholtz-Zentrum für Umweltforschung in Leipzig (UFZ), das Max-Planck-Institut für molekulare Zellbiologie und Genetik in Dresden (MPI-CBG), die Technische Universität Dresden (TUD) und die Universität Wrocław.
Das Zentrum wird aus Mitteln des Bundesministeriums für Bildung und Forschung und des Sächsischen Staatsministeriums für Wissenschaft, Kultur und Tourismus gefördert. Weiterführende Links
www.hzdr.de www.casus.science Foto: HZDR/ Dr. Richard Pausch