Amazon Web Services (AWS) will den Einsatz seiner selbst entwickelten KI-Prozessoren vereinfachen und damit seine Wettbewerbsposition gegenüber NVIDIA stärken. Mit der neuen Software TorchNeuron können Entwickler bestehende Anwendungen auf Basis des KI-Frameworks PyTorch auf Amazons Trainium-Chips ausführen, ohne den Programmcode grundlegend überarbeiten zu müssen. Für den Wechsel der Hardware soll eine Anpassung der Konfiguration genügen. Die Veröffentlichung als kostenlose Open-Source-Software ist laut Amazon für den 20. Oktober 2026 vorgesehen.
TorchNeuron verbindet PyTorch direkt mit Trainium
PyTorch gehört zu den wichtigsten Entwicklungsumgebungen für künstliche Intelligenz. Nach Angaben von Amazon verwenden rund 85 Prozent der KI-Forschenden und Entwickler das Framework für ihre Arbeit.
Bislang war die Nutzung alternativer KI-Prozessoren häufig mit zusätzlichem Entwicklungsaufwand verbunden. Anwendungen mussten angepasst und anschließend erneut getestet werden, bevor sie auf anderer Hardware zuverlässig funktionierten.
TorchNeuron soll diesen Wechsel vereinfachen, indem es die vorhandene Schnittstellenarchitektur von PyTorch nutzt. Entwickler können ihre bisherigen Werkzeuge zur Modellprüfung, Fehlersuche und Skalierung weiterverwenden, während die Berechnungen auf Trainium-Prozessoren ausgeführt werden.
Amazon unterstützt mit der neuen Software die Chipgenerationen Trainium2 und Trainium3. Die Veröffentlichung ist im Rahmen der PyTorch Conference North America unter der Apache-2.0-Lizenz geplant.
Amazon unaufhaltsam
Amazon will NVIDIAs Softwarevorteil verringern
Mit TorchNeuron adressiert Amazon eine wesentliche Hürde beim Wettbewerb um KI-Rechenleistung. NVIDIA profitiert nicht nur von der Leistungsfähigkeit seiner Grafikprozessoren, sondern auch von einem umfangreichen Softwareökosystem, das zahlreiche Entwicklungsprozesse auf die eigene Hardware ausrichtet.
Für Unternehmen kann ein Wechsel des Chipanbieters deshalb zusätzliche Kosten verursachen. Neben der Anschaffung oder Anmietung von Rechenleistung müssen sie Zeit für Softwareanpassungen, Leistungstests und die Integration bestehender Anwendungen einplanen.
Amazon versucht, diesen Aufwand durch eine stärkere Kompatibilität mit etablierten Entwicklungswerkzeugen zu reduzieren. Gelingt dies im praktischen Einsatz, könnten Trainium-Prozessoren für zusätzliche KI-Projekte infrage kommen.
Die neue Software bedeutet allerdings nicht, dass sämtliche Anwendungen auf unterschiedlichen Chips automatisch dieselbe Leistung erreichen. Rechenkosten, Geschwindigkeit und Kompatibilität müssen weiterhin für die jeweiligen Arbeitslasten bewertet werden.
KI-Training und Inferenz auf derselben Hardware
Amazon sieht einen weiteren Vorteil in der flexibleren Nutzung vorhandener Rechenkapazitäten. Unternehmen könnten Trainium-Systeme sowohl für das Training von KI-Modellen als auch für deren spätere Ausführung, die sogenannte Inferenz, einsetzen.
Dadurch ließen sich freie Kapazitäten zeitweise für andere Aufgaben verwenden. Beispielsweise könnten Server, die außerhalb von Spitzenzeiten weniger Anfragen bearbeiten, für zusätzliche Trainingsprozesse genutzt werden.
In einer von Amazon beschriebenen Demonstration wurde derselbe Trainingscode auf unterschiedlichen Prozessoren ausgeführt. Nach Unternehmensangaben verlief der Lernprozess bei beiden Varianten vergleichbar, obwohl lediglich die Hardwarekonfiguration verändert wurde.
Für größere KI-Infrastrukturen könnte diese Flexibilität die Auslastung verbessern. Ob sich daraus tatsächlich Kostenvorteile ergeben, hängt jedoch von den eingesetzten Modellen und den jeweiligen Betriebsbedingungen ab.
Erste Anwendungen in Sprach-KI und medizinischer Forschung
TorchNeuron wird nach Angaben von AWS bereits in unterschiedlichen Entwicklungsprojekten erprobt. Die Einsatzfelder reichen von Sprachmodellen über Robotik und Videotechnologien bis zur medizinischen Forschung.
Das KI-Unternehmen Cartesia nutzt die native PyTorch-Unterstützung, um seine bestehende Inferenzsoftware mit geringfügigen Anpassungen auf Trainium auszuführen. Cartesia entwickelt unter anderem Technologien für sprachbasierte Interaktionen.
Auch das Lieber Institute for Brain Development untersucht Einsatzmöglichkeiten der Plattform. Die Forschungseinrichtung arbeitet mit KI-Modellen für biologische und chemische Fragestellungen sowie für die Suche nach möglichen Wirkstoffansätzen.
TorchNeuron soll dort helfen, rechenintensive Verfahren auf Trainium zu untersuchen und deren Leistungsfähigkeit zu optimieren. Die genannten Beispiele zeigen erste praktische Anwendungen, stellen jedoch noch keinen allgemeinen Leistungsnachweis für sämtliche KI-Modelle dar.
Integration mit Hugging Face und TorchTitan
Amazon beschränkt TorchNeuron nicht auf eine eigene Entwicklungsumgebung. Das Unternehmen arbeitet zugleich daran, die Unterstützung unterschiedlicher Prozessorarchitekturen direkt innerhalb des PyTorch-Ökosystems zu verbessern.
Die KI-Plattform Hugging Face hat native Unterstützung für Trainium in ihre Entwicklungswerkzeuge integriert. Dadurch können Entwickler entsprechende Hardware verwenden, ohne zusätzliche Amazon-spezifische Programmanpassungen vornehmen zu müssen.
Darüber hinaus unterstützt TorchNeuron das verteilte Trainingsframework TorchTitan. Damit lassen sich KI-Modelle über mehrere Trainium-Instanzen hinweg trainieren und bestehende Verfahren wie Fully Sharded Data Parallelism einsetzen.
Weitere Beiträge betreffen die Inferenzsoftware vLLM und frei verfügbare Leistungskernel. Amazon stellt damit zusätzliche technische Komponenten bereit, die Entwicklern eine gezielte Optimierung ihrer Anwendungen ermöglichen sollen.
Open Source soll Entwicklerakzeptanz erhöhen
Die Veröffentlichung unter einer offenen Softwarelizenz ist ein zentraler Bestandteil der Strategie. Entwickler und Unternehmen können TorchNeuron damit frei verwenden, untersuchen und an ihre Anforderungen anpassen.
Amazon will zudem Änderungen direkt in das PyTorch-Projekt einbringen, um die Abhängigkeit des Frameworks von bestimmten Prozessorarchitekturen zu verringern. Das könnte langfristig auch die Unterstützung weiterer Hardwareanbieter erleichtern.
Zur Qualitätssicherung testet Amazon die Software nach eigenen Angaben bei jedem Entwicklungsstand anhand Hunderttausender KI-Modelle. Damit sollen mögliche Kompatibilitätsprobleme erkannt werden, bevor sie sich auf produktive Anwendungen auswirken.
Trainium wird wichtiger für Amazons Cloud-Strategie
Die Einführung von TorchNeuron ist Teil der langfristigen Entwicklung eigener Prozessoren bei AWS. Seit der Übernahme des Chipentwicklers Annapurna Labs im Jahr 2015 hat Amazon mehrere Chipfamilien für unterschiedliche Cloud-Anwendungen aufgebaut.
Mit Trainium will der Konzern eine Alternative zu externen KI-Beschleunigern anbieten und seine Kontrolle über die technische Infrastruktur der eigenen Cloud ausbauen. Die Unterstützung verbreiteter Softwarestandards soll die Nutzung dieser Hardware für bestehende KI-Projekte erleichtern.
Der wirtschaftliche Erfolg wird davon abhängen, wie zuverlässig TorchNeuron mit unterschiedlichen Modellen funktioniert und welche Leistungs- und Kostenvorteile Trainium im Vergleich zu konkurrierenden Systemen bietet. Mit der Öffnung für PyTorch beseitigt Amazon zumindest eine wichtige technische Einstiegshürde für potenzielle Kunden.
