Aleph Alpha hat mit Kolibri ein neues deutsch-englisches Open-Weight-Modell vorgestellt, das speziell auf regulierte und industrielle Einsatzfelder ausgerichtet ist. Das Mixture-of-Experts-Modell verfügt nach Unternehmensangaben über 78 Milliarden Gesamtparameter, von denen rund 3 Milliarden pro Token aktiv sind, und unterstützt Kontextlängen von bis zu einer Million Tokens. Die Modellgewichte werden unter der Apache-2.0-Lizenz bereitgestellt.
Kolibri soll für souveräne KI-Anwendungen geeignet sein
Aleph Alpha, das jüngst mit dem kanadischen Kohere fusioniert ist, positioniert Kolibri vor allem für öffentliche Verwaltung, Industrie und Luftfahrt. Das Unternehmen betont dabei eine vollständige Kontrolle über die Entwicklungskette von Datenaufbereitung und Training bis zu Evaluation und Optimierung.
Das Modell wurde in Deutschland entwickelt und auf Infrastruktur in Deutschland und Finnland trainiert. Kunden sollen es auf eigener Infrastruktur betreiben können, ohne interne Daten an externe Inferenzdienste übertragen zu müssen.
Gewinnen in der Plattform-Ökonomie
Deutsch ist fester Bestandteil des Trainings
Kolibri wurde von Beginn an zweisprachig für Deutsch und Englisch konzipiert. 21,3 Prozent der Pre-Training-Tokens entfielen auf deutsche Inhalte, insgesamt rund 4,3 Billionen Tokens innerhalb des 20-Billionen-Token-Pre-Trainings.
Für das Modell entwickelte Aleph Alpha außerdem einen eigenen deutsch-englischen Tokenizer. Dieser soll insbesondere deutsche Wortstrukturen und zusammengesetzte Begriffe effizienter verarbeiten und damit die Zahl benötigter Tokens reduzieren.
Training wurde innerhalb von drei Monaten stark skaliert
Vor Kolibri entwickelte Aleph Alpha zunächst das kleinere Modell Kolibri Origin mit 30,6 Milliarden Parametern und maximal 65.536 Tokens Kontext. Dessen Pre-Training endete im Juni 2026, Kolibri folgte bereits im September.
Innerhalb dieser drei Monate stieg die Modellgröße auf 78,1 Milliarden Parameter, das Pre-Training wuchs von 7,51 auf 20 Billionen Tokens und die maximale trainierte Kontextlänge auf 262.144 Tokens. Für das Training kamen 768 Nvidia-B200-GPUs zum Einsatz.
Modell soll weniger halluzinieren
Ein Schwerpunkt liegt auf sogenanntem Grounding. Kolibri wurde gezielt darauf trainiert, keine Antwort zu geben, wenn die bereitgestellten Dokumente keine ausreichende Grundlage liefern.
Dafür nutzt Aleph Alpha unter anderem ein eigenes Merlin-Arthur-Verfahren mit synthetisch erzeugten positiven und negativen Trainingsbeispielen. In internen und öffentlichen Tests soll Kolibri dadurch häufiger auf unbelegte Antworten verzichten als das Vorgängermodell Kolibri Origin.
Fokus auf Kosten, Agenten und industrielle Anwendungen
Aleph Alpha setzt mit der Mixture-of-Experts-Architektur darauf, hohe Modellqualität mit vergleichsweise niedrigen Betriebskosten zu verbinden. Trotz 78 Milliarden Gesamtparametern sind jeweils nur rund 3,46 Milliarden Parameter aktiv, wodurch sich das Modell effizienter betreiben lassen soll.
Nach Angaben des Unternehmens erzielt Kolibri konkurrenzfähige Ergebnisse bei Mathematik, Programmierung, langen Kontexten und agentischen Aufgaben. Zusätzlich entwickelte Aleph Alpha eigene Evaluierungen für Bereiche wie öffentliche Verwaltung, Halbleiter, Automotive, Antriebstechnik und Aerospace, um die Leistungsfähigkeit in spezialisierten Unternehmensanwendungen zu messen.
