Der Aufstieg von SpiNNaker2 als ereignisbasierte Plattform für hybride KI
Spulen Sie vor ins Jahr 2024, wo wir von SpiNNcloud Systems in Dresden, Deutschland, heute die nächste Iteration dieser Technologie öffentlich vorstellen. Das SpiNNaker2-System, das hauptsächlich am Lehrstuhl von Prof. Dr. Christian Mayr an der Technischen Universität Dresden entwickelt wurde, hat sich von seinem Vorgänger zu einer ereignisbasierten Plattform für KI weiterentwickelt und gleichzeitig alle ursprünglichen Funktionen erheblich verbessert.
Die Technologie, die wir heute vorstellen, bietet einen Weg, die inhärenten Beschränkungen herkömmlicher KI-Modelle zu überwinden. Aktuelle Modelle sind zwar leistungsfähig und in unserem Leben allgegenwärtig, leiden aber unter Transparenzproblemen, mangelnder Erklärbarkeit, erfordern riesige Mengen an Trainingsdaten und verbrauchen, wie Steve Furber im Video erwähnt, eine lächerliche Menge an Energie. Diese Probleme ergeben sich aus den Einschränkungen der drei Haupttypen von KI:
1) Tiefe neuronale Netze (auch bekannt als konnektionistische oder statistische Ansätze): Sie haben erstaunliche praktische Anwendungen gezeigt, indem sie sehr große Datensätze und komplexe Berechnungen richtig verarbeiten. Allerdings sind sie oft nicht erklärbar und bieten auch keine verallgemeinerbare Alternative, um Wissen aus verschiedenen Kontexten zu extrapolieren, und ihre Größe macht sie auch extrem ineffizient.
2) Symbolische KI/Expertensysteme: Sie bieten eine hervorragende Erklärbarkeit und arbeiten nach strengen Regeln, so dass sie sehr zuverlässig, nachvollziehbar und erklärbar sind. Sie sind jedoch auf Experten angewiesen, um ihr Wissen zu kodieren, und passen sich nur schlecht an neue Situationen an, da sie oft nicht mit den riesigen Datensätzen der statistischen Ansätze konfrontiert werden.
3) Neuromorphe Modelle: Diese vom Gehirn inspirierten neuronalen Netze nutzen einige der faszinierendsten Prinzipien des menschlichen Gehirns, z. B. die Energieeffizienz, den ereignisbasierten Betrieb und den hochgradig parallelen Ansatz. Allerdings gehen sie den Prozess der Gehirnmodellierung mit einem detaillierten Bottom-up-Ansatz an, der häufig zu einer starken Vereinfachung kognitiver Prozesse führt.
Um diesen Herausforderungen zu begegnen, kombinieren hybride KI-Modelle die Stärken dieser Systeme, um ihre Robustheit, Skalierbarkeit, Praktikabilität und Energieeffizienz zu verbessern. Diese fortschrittliche Kombination verschiedener KI-Prinzipien wird oft als „Dritte Welle der KI“ bezeichnet, ein von der DARPA geprägter Begriff, der Systeme beschreiben soll, die kontextabhängige Nuancen verstehen und sich dynamisch anpassen können. Die Heterogenität dieser Modelle hat eine extrem hohe Chance, die Kluft zwischen menschenähnlichem Denken und maschineller Effizienz zu überbrücken und den Weg zu einer universell einsetzbaren KI mit einer akzeptablen Fehlerquote zu ebnen.
Was hat das nun mit Hardware zu tun, genauer gesagt, mit SpiNNaker2? Nun, es stellt sich heraus, dass GPUs und die neue Welle industrieller Ansätze zur Beschleunigung von tiefen neuronalen Netzen sich stark auf die Entwicklung effizienter Maschinen zur Berechnung der in diesen Netzen benötigten Zahlen konzentriert haben, ohne Raum für eine regelbasierte Programmierbarkeit zu lassen, die mit diesen Beschleunigern verbunden ist. Darüber hinaus wird diese neue Welle von Beschleunigern immer noch mit den von GPUs übernommenen synchronen Primitiven entwickelt, was sie daran hindert, so effizient zu sein wie unsere Gehirne. Eine Hardwareplattform, die regelbasierte Maschinen zur Beschleunigung von tiefen neuronalen Netzen ermöglicht und dabei effizient wie unser Gehirn arbeitet, hat daher das Potenzial, die groß angelegte Implementierung dieser robusten Modelle zu revolutionieren. Ein spezieller Algorithmus, NARS-GPT, der GPT-4 bei schlussfolgernden Aufgaben übertroffen hat, verwendet eine neurosymbolische Engine, die in einem HPC-System, das auf GPUs oder anderer datenflussgesteuerter Hardware basiert, fast unmöglich zu parallelisieren ist. NARS, die Abkürzung für Non-Axiomatic Reasoning System, verwendet Deep Neural Networks, um Merkmale aus der Umgebung zu extrahieren, die dann an einen Wissensgraphen weitergeleitet werden, der mit einem regelbasierten (oder symbolischen) Ansatz erstellt wird. Nach unserem Kenntnisstand und dem der Autoren dieser neurosymbolischen Reasoner ist Hybridhardware die einzige Möglichkeit, diese Modelle zu skalieren und effizient einzusetzen. Diese Funktionen bieten das Potenzial, Lernen, logisches Denken und effiziente Verarbeitung nicht nur auf Chip-, sondern auch auf Systemebene zu integrieren.
Die Zukunft des HPC mit SpiNNaker2
Wie bereits angedeutet, ist der SpiNNaker2, der Hauptbaustein unserer Lösung, speziell auf diese anspruchsvollen Anforderungen ausgerichtet. Jeder Chip ist ein stromsparendes Netz aus 152 ARM-basierten Kernen, das die Parallelverarbeitungsfähigkeiten verbessert, die für die Verwaltung komplexer, dynamischer Daten, wie sie für hybride KI-Systeme typisch sind, entscheidend sind. Seine Architektur unterstützt energieproportionale Hochgeschwindigkeitsverbindungen, die für die Skalierung und Kommunikation über mehrere Chips hinweg unerlässlich sind und die Kapazität für den groß angelegten, verteilten Einsatz neuronaler Netzwerke erhöhen. Der Chip enthält außerdem native Beschleuniger, die speziell für neuromorphe Rechenaufgaben wie exponentielle und logarithmische Funktionen sowie die Erzeugung echter Zufallszahlen entwickelt wurden, sowie kundenspezifische Beschleuniger für effiziente maschinelle Lernberechnungen.
Diese Skalierbarkeit wird durch die leichtgewichtige und ereignisbasierte Network-on-Chip-Architektur des Chips ermöglicht, die einen schnellen und effizienten Datentransfer im gesamten System unterstützt. Dies ist entscheidend für Aufgaben, die eine Echtzeitverarbeitung über viele Knoten hinweg erfordern, wie z. B. komplexe KI-Berechnungen und groß angelegte neuronale Simulationen. Darüber hinaus ermöglicht die global asynchrone und lokal synchrone (GALS) Architektur, dass jeder Teil des Chips in einem interruptgesteuerten Ansatz arbeitet, was Engpässe erheblich reduziert und die Gesamtsystemleistung bei der Skalierung verbessert. Darüber hinaus trägt die systemeigene Unterstützung der dynamischen Spannungsfrequenzskalierung auf Kernebene zu einem skalierbaren Energiemanagementansatz bei, der die Leistung nach Bedarf anpasst. Diese Funktion trägt dazu bei, die Effizienz des Systems auf allen Abstraktionsebenen zu erhalten.
Als neuromorpher Supercomputer bleibt die SpiNNcloud-Plattform eine äußerst wettbewerbsfähige Plattform, die eine Skalierbarkeit (d. h. die Anzahl der Neuronen) erreicht, die heute für kein anderes System auf der Welt möglich ist. Die in Dresden zur Verfügung gestellte SpiNNcloud-Plattform hat die Kapazität, mindestens 5 Milliarden Neuronen zu emulieren. Darüber hinaus zeichnet sich die SpiNNaker2-Architektur durch ihre Flexibilität aus, die nicht nur die native Implementierung von tiefen neuronalen Netzen, symbolischen Modellen oder Spiking Neural Networks ermöglicht, sondern so ziemlich jede andere Berechnung, die in einem Berechnungsgraphen dargestellt werden kann. Mit dieser umfassenden Skalierbarkeit ist die SpiNNcloud-Plattform so konzipiert, dass sie Supercomputer-Leistungsniveaus erreicht und gleichzeitig eine hohe Spitzeneffizienz und Zuverlässigkeit beibehält. Dies macht sie geeignet für die Bewältigung anspruchsvoller KI-Herausforderungen, wie sie in der dritten Welle der KI vor uns liegen.
Steve Furber sagte mir einmal in einem Interview, dass die Arm-Technologie zwar einen bedeutenden Einfluss hatte, er aber die SpiNNaker-Erfindung als einen disruptiveren und grundlegenderen Beitrag ansieht, weil sie darauf abzielt, praktische Inspirationen aus den Geheimnissen des menschlichen Gehirns zu erschließen.
– – – – –
Weiterführende Links
👉 https://spinncloud.com
Foto: pixabay
