Innovation „Energy-aware Batch Analytics / HPC Applications in Clouds“
Die Innovation wurde gemeinsam mit der Universitat Politècnica de València und Politecnico di Milano im Rahmen des EU-finanzierten Innovationsprojekts AI-SPRINT entwickelt. Laut Bewertung der EU leistet die Innovation einen bedeutenden Beitrag zu zwei der Ziele für nachhaltige Entwicklung der Vereinten Nationen: Ziel 7, das sich auf bezahlbare und saubere Energie konzentriert, sowie Ziel 9, das Industrie, Innovation und Infrastruktur fördert. Im Rahmen der Innovation kommen innovative Tools aus dem Projekt AI-SPRINT zum Einsatz, darunter die von Cloud&Heat entwickelte Open-Source-Software Krake, die dazu dient, den Energieverbrauch beim Training von KI-Modellen zu optimieren.
Die Details der Innovation wurden in einer Publikation zum Thema „Greening AI: A Framework for Energy-Aware Resource Allocation of ML Training Jobs with Performance Guarantees“ beschrieben, die im Juni 2024 veröffentlicht und vom Projekt AI-SPRINT gefördert wurde. Ein zentrales Anliegen der Publikation ist die Analyse der Herausforderungen, die mit dem Training von Machine Learning (ML) und Künstlicher Intelligenz (AI) verbunden sind, vor allem in Bezug auf den Energieverbrauch und die CO2-Emissionen in Cloud-Rechenzentren. Angesichts des wachsenden ökologischen Fußabdrucks dieser Technologien wird ein innovativer Ansatz zur Verbesserung der Energieeffizienz vorgestellt. Im Rahmen dieses Ansatzes wird ein umfassendes Framework entwickelt, das Komponenten aus dem Projekt AI-SPRINT integriert, einschließlich der Open-Source-Software Krake.
Ein anschauliches Beispiel ist das Training eines Random Forest Modells zur Klassifizierung von Elektrokardiogrammen. Hierbei werden die Ressourcen profiliert, um ein präzises Leistungsmodell zur Vorhersage der Trainingszeit zu erstellen. Darüber hinaus wird der Workflow dynamisch zu Standorten mit umweltfreundlicheren Energiequellen verlagert. Die Ergebnisse zeigen, dass das entwickelte Framework in der Lage ist, die Ausführungszeit und Ressourcenschätzungen zuverlässig vorherzusagen, wodurch es einen entscheidenden Beitrag zur Schaffung eines nachhaltigeren AI-Ökosystems leistet.
Technische Demonstration der Innovation
In der folgenden Demonstration präsentiert Patrick Thiem, Projektleiter von Cloud&Heat im AI SPRINTS-Projekt, einen umfassenden technischen Einblick. Diese Demo dient als Grundlage für die Innovation.
Zur Präsentation: https://www.youtube.com/watch?v=CbxL2kiDH_M&t=1s
Optimierung von KI-Modellen durch den Einsatz von Open-Source-Software Krake
Krake ist ein Werkzeug zur Verwaltung von containerisierten und virtualisierten Anwendungen in verschiedenen Cloud-Plattformen wie OpenStack und Kubernetes. Es bietet eine einheitliche Schnittstelle für Nutzer und plant die Workloads unter Berücksichtigung von Benutzeranforderungen (wie Hardware und Kosten) und den Eigenschaften der Plattform (wie Energieeffizienz). Krake ist vielseitig einsetzbar, zum Beispiel für das Management verteilter Rechenkapazitäten und Anwendungen in Edge-Clouds. In der Publikation wird gezeigt, wie Krake eine Trainingsanwendung über verschiedene Kubernetes-Cluster migriert, die an unterschiedlichen Standorten mit verschiedenen Energieprofilen betrieben werden. Außerdem ermittelt Krake die besten Ressourcen basierend auf Nutzerparametern und passt die Bereitstellung regelmäßig an.
Krake wurde von Cloud&Heat initiiert und ist nun im Verein ALASCA integriert. Im April 2024 wurde es mit dem Sächsischen Digitalpreis 2024 in der Kategorie Open Source ausgezeichnet. Mehr erfahren: https://alasca.cloud/projects/krake/
Über das Projekt AI-SPRINT
Das AI-SPRINT-Projekt (Lauftzeit: Januar 2021 bis Dezember 2023) hat sich zum Ziel gesetzt, innovative Fortschritte im Bereich der Künstlichen Intelligenz (KI) für Cloud- und Edge-Umgebungen zu fördern. Während seiner Laufzeit wurden zahlreiche Meilensteine erreicht. In Zusammenarbeit mit verschiedenen Konsortialpartnern wurde ein flexibles Framework entwickelt, das nicht nur eine sichere und effiziente Nutzung von Rechenressourcen ermöglicht, sondern auch strenge Datenschutzbestimmungen berücksichtigt. Ein zentrales Anliegen von AI-SPRINT war die Entwicklung innovativer Werkzeuge, die Anwendungen in Bereichen wie Landwirtschaft 4.0 und personalisierte Gesundheitsversorgung unterstützen. Zudem wurden gemeinsame Verwertungsstrategien geschafft, um Synergien zu schaffen und den Austausch von Wissen sowie Technologien zu fördern.
Im Oktober 2023 präsentierten die Projektpartner bei der Abschlussbewertung in den Räumen der Europäischen Kommission ihre Erfolge. Hervorzuheben sind die Einführung von Massive Open Online Courses (MOOCs) zu Themen wie Edge Computing, Docker-Containern und Datensicherheit, die Zugang zu fortschrittlichen KI-Technologien bieten. AI-SPRINT ist auch auf der AI-on-Demand-Plattform vertreten, die europäische KI-Forschung vorantreibt und Tools sowie Fallstudien für personalisierte Gesundheitsversorgung, Landwirtschaft und Windkraftanlagen bereitstellt. Das AI-SPRINT Studio ermöglicht Entwicklern, KI-Anwendungen effizienter zu gestalten. Zudem wurde das Spin-off OneCareAI gegründet, das Lösungen zur Schlaganfallprävention in der personalisierten Gesundheitsversorgung bietet. AI-SPRINT hat somit bedeutende Fortschritte in der KI erzielt, die das Potenzial haben, verschiedene Bereiche nachhaltig zu transformieren.
– – – – –
Weiterführende Links
👉 www.cloudandheat.com
👉 www.ai-sprint-project.eu
Foto: pixabay
