Wenn man sich die weltweiten Entwicklungen rund um Künstliche Intelligenz ansieht, scheint sich auf den ersten Blick so gut wie alles in den USA oder Asien abzuspielen. Doch komplett außen vor bei dieser derzeit dominierenden Technologie ist auch Europa nicht. Jüngstes Beispiel dafür ist Neural Magic, ein KI-Startup mit Wurzeln im Massachusetts Institute of Technology (MIT) und dem österreichischen Forschungsinstitut Institute of Science and Technology Austria (ISTA). Das Unternehmen wurde nun von Red Hat übernommen.
Als Gründungsmitarbeiter und Leiter der Machine Learning-Forschung spielte ISTA-Forscher Dan Alistarh neben den MIT-Wissenschaftlern und Mitgründern Alex Matveev und Nir Shavit eine Schlüsselrolle bei der Weiterentwicklung der Technologie von Neural Magic. Diese Übernahme ist ein bedeutender Meilenstein für das ISTA, da Neural Magic das erste Start-up ist, das mit dem Institut zusammenarbeitet und erfolgreich einen großen Exit erzielt.
"Demokratisierung" der KI
Neural Magic spielt im Bereich der KI-Implementierung weltweit vorn mit und hat es sich zur Aufgabe gesetzt, die steigenden Energie- und Infrastrukturkosten großer Sprachmodelle (LLMs), zu denen u. a. auch ChatGPT (OpenAI) und Gemini (Google) zählen, zu senken. Die Software des Unternehmens steigere die Leistung generativer KI und reduziere gleichzeitig den ökologischen und finanziellen Fußabdruck, heißt es in einer Mitteilung.
Dan Alistarh betont die Auswirkungen seiner Forschung am ISTA auf die "Demokratisierung" der KI: "Die Hauptmotivation hinter dieser Arbeit ist es, Unternehmen, Forschenden und Enthusiast:innen die Leistung des effizienten maschinellen Lernens zugänglich zu machen und ihnen zu ermöglichen, Modelle kostengünstig auf ihrer eigenen Hardware oder in der Cloud zu betreiben."
LLMs schlanker und zugänglicher für kleine Unternehmen machen
Während die generative KI an der Spitze des technologischen Fortschritts steht, werden die LLMs, die diesen Systemen zugrunde liegen, immer größer. Der Aufbau, die Bereitstellung und die Skalierung dieser Modelle erfordern eine immense Rechenleistung – in den USA planen Konzerne wie Microsoft oder Meta deshalb sogar eigene Atomkraftwerke zu betreiben – spezielle Hardware und betriebliches Fachwissen – Hürden, die kleinere Unternehmen oft davon abhalten, das Potenzial der KI zu nutzen.
Neural Magic möchte diesen Hindernissen entgegentreten, indem sie die Funktionsweise von LLMs neu definiert und Software entwickelt, die generative KI-Inferenz-Workloads beschleunigt. In Zusammenarbeit mit dem ISTA hat das Start-up laut eigenen Angaben innovative LLM-Kompressionsforschung betrieben und seine Ergebnisse, einschließlich moderner GPTQ- und SparseGPT-Techniken, und Strategien für deren Eingliederung, mit der Open-Source-Gemeinschaft geteilt. Hier schließt sich auch der Kreis, denn Red Hat ist der größte Anbieter von Open-Source-Lösungen.
"Neural Magics Technologie ermöglicht den Einsatz hochmoderner KI-Modelle mit unglaublicher Effizienz, wodurch die Hardwarekosten und der Energieverbrauch drastisch gesenkt werden und der Einsatz von KI kostengünstiger und umweltfreundlicher wird", zeigt man sich beim Unternehmen überzeugt. Dadurch hat Neural Magic auch die Aufmerksamkeit mehrerer großer Unternehmen auf sich gezogen und Risikokapital von Investor:innen wie Andreessen Horowitz, Comcast Ventures und Ridgeline Ventures erhalten.
Beschleunigung einer hybriden, Cloud-fähigen Gen-KI
Mit der Übernahme plant Red Hat die Expertise von Neural Magic im Bereich LLM zu nutzen, um einen sogenannten Inferenz-Stack für Unternehmen zu entwickeln, der es Kund:innen ermöglichen soll, LLM-Workloads in hybriden Cloud-Umgebungen zu optimieren, bereitzustellen, zu skalieren und dabei die volle Kontrolle über die Wahl der Infrastruktur, die Sicherheitsrichtlinien und den Lebenszyklus der Modelle zu behalten.
Zusammen mit Neural Magics Optimierungsforschung, dem LLM Compressor und der Repository-Pflege von voroptimierten Modellen dürfte diese Software voraussichtlich zu einem Eckpfeiler der Strategie von Red Hat werden, um Kund:innen, Kostensenkung und das Überwinden von Qualifikationsbarrieren zu ermöglichen, sowie LLMs in hybriden Cloud-Umgebungen mit einem vorgefertigten, hoch optimierten und offenen Inferenz-Stack zu implementieren.
In einer Verlautbarung zum Aufkauf sagt Matt Hicks, Präsident und CEO von Red Hat: "KI-Workloads müssen überall dort ausgeführt werden, wo Kund:innendaten in der Hybrid-Cloud gespeichert sind. Dies macht flexible, standardisierte und offene Plattformen und Tools zu einer Notwendigkeit, da sie es Unternehmen ermöglichen, die Umgebungen, Ressourcen und Architekturen auszuwählen, die am besten zu ihren individuellen Betriebs- und Datenanforderungen passen."
Die Rolle des ISTA
Die Entwicklung von akademischer Forschung zum kommerziellen Erfolg sei ein Beispiel für die wachsende Rolle des ISTA als Drehscheibe für wissenschaftliche Innovationen, so das heimische Technologieinstitut. Durch die Unterstützung von Neugier getriebener Grundlagenforschung sowie von unternehmerisch denkenden Forschenden wie Dan Alistarh stärke das ISTA seine Aufgabe, eine Brücke zwischen Spitzenwissenschaft und gesellschaftlicher Wirkung zu schlagen.
www.neuralmagic.com
www.ista.ac.at
www.redhat.com
Kommentar veröffentlichen