Wer KI-Modelle betreibt, merkt schnell: Das Training ist oft nur der halbe Preis. Der Dauerbetrieb frisst Rechenleistung und Budget. Genau hier setzt IBM mit einem Open-Source-Projekt an, das heute eine wichtige Marke erreicht hat.
llm-d 1.0 ist da
Die Projektbeteiligten haben heute die Version 1.0 von llm-d veröffentlicht. Die Software soll große Sprachmodelle effizienter auf moderner Infrastruktur bereitstellen. Gegründet wurde das Projekt 2025 von Red Hat, IBM, Google Cloud, CoreWeave und NVIDIA. Mittlerweile liegt es unter dem Dach der Cloud Native Computing Foundation.
Der Fokus liegt auf dem Alltagsbetrieb im Produktiveinsatz. Neu sind unter anderem eine Priorisierung für mehrere Mandanten, Updates ohne Ausfallzeit und ein stabiles Konfigurations-API. Hinzu kommt ein Routing, das Gespräche mit KI-Agenten nahe an ihrem zwischengespeicherten Kontext hält. Gerade autonome Agenten erzeugen laut den Projektbeteiligten unvorhersehbare Lastspitzen und verbrauchen viel Ressourcen für die Kontextverwaltung.
Was die Zahlen versprechen
IBM Research nutzte llm-d für Forschung an Chips zur Quantenfehlerkorrektur. Die Inferenzkosten lagen dabei 11,5-mal niedriger als bei einer rein proprietären Konfiguration. Die Trefferquote des Prefix-Cache betrug rund 98 Prozent.
Eine zweite Demonstration setzte auf ein offenes Modell mit etwa 753 Milliarden Parametern auf gängigen NVIDIA-Grafikprozessoren. Bis zu 3.000 Coding-Agenten liefen parallel ohne Unterbrechung. Die Kosten pro Token lagen demnach fünf- bis zehnmal unter vergleichbaren kommerziellen API-Preisen. Es handelt sich um Benchmark-Demonstrationen, nicht um garantierte Praxiswerte.
Breite Unterstützung
Mehr als 500 Entwickler aus über 25 Organisationen arbeiten am Projekt mit. Google Cloud integriert llm-d 1.0 in seine Kubernetes-Plattform, NVIDIA bringt es auf die kommende Vera-Rubin-Architektur, und auch AMD unterstützt es auf seinen Instinct-Beschleunigern. Als Anwender nennen sich unter anderem DigitalOcean, JetBrains und Roblox. Mistral und Cohere beteiligen sich ebenfalls.
Für IBM hat das strategischen Wert. Der Konzern positioniert sich mit Red Hat und Hybrid-Cloud-Angebot als Anbieter offener KI-Infrastruktur, die Kunden nicht an einen einzelnen Hersteller bindet. Direkte Umsatzzahlen zu llm-d nennt das Unternehmen nicht. Den nächsten Anhaltspunkt, wie stark das KI-Geschäft trägt, liefert die Quartalsbilanz, die am Mittwoch ansteht.
IBM-Aktie: Kaufen oder verkaufen?! Neue IBM-Analyse vom 20. Oktober liefert die Antwort:
Die neusten IBM-Zahlen sprechen eine klare Sprache: Dringender Handlungsbedarf für IBM-Aktionäre. Lohnt sich ein Einstieg oder sollten Sie lieber verkaufen? In der aktuellen Gratis-Analyse vom 20. Oktober erfahren Sie was jetzt zu tun ist.