Eine Zahl aus der Bitkom-Studie zur Künstlichen Intelligenz lässt mich seit Wochen nicht los: 33 Prozent der deutschen Unternehmen berichten, KI sei teurer als erwartet, 19 Prozent haben deswegen bereits Stellen abgebaut. (Quelle) Wenn ich in unseren Discovery-Calls nachhake, ist die Ursache fast immer trivial. Es läuft ein Frontier-Modell - die absolute Speerspitze der aktuellen technologischen Entwicklung - für Aufgaben, die auch ein Zehntel so teures Modell erledigen würde. Da wird eine Rechnung klassifiziert, ein Formular ausgelesen, eine Standard-Mail geschrieben und im Hintergrund tickt das teuerste Modell am Markt mit.
Gleichzeitig sind die Inferenzkosten für ein Sprachmodell (LLM) auf GPT-3.5-Niveau zwischen November 2022 und Oktober 2024 um das 280-Fache gefallen, von 20 auf 0,07 US-Dollar pro Million Token. (Quelle) Der Markt dreht sich so schnell, dass eine Modellentscheidung von vor sechs Monaten heute schon falsch sein kann.
KI-Modell-Kosten im Mittelstand: die Preisspanne ist enorm
Wer Sprachmodelle heute ehrlich vergleicht, sieht eine Spanne, die man beim ersten Hinschauen für einen Tippfehler hält. Ein günstiges Modell wie Grok 4.1 Fast kostet 0,20 US-Dollar Input und 0,50 US-Dollar Output pro Million Token, während die Opus-Klasse von Anthropic bei rund 5 US-Dollar Input und 25 US-Dollar Output liegt. Das ist Faktor 50 auf der Output-Seite, also genau dort, wo Agenten den Großteil ihrer Kosten produzieren. (Quelle) In unseren Projekten sind die meisten Anfragen in einem typischen Mittelstands-Workflow einfache Klassifikations- oder Extraktions-Aufgaben. Wer die konsequent auf günstige Modelle routet und nur die wirklich schwierigen Fälle ans Frontier-Modell gibt, spart erheblich, ohne an Qualität zu verlieren.
Dass Multi-Model längst Produktionsstandard ist und nicht Kür, zeigt auch der Blick auf die Marktdaten. Laut dem Enterprise-Report von Menlo Ventures setzen inzwischen 37 Prozent der Unternehmen fünf oder mehr Modelle parallel produktiv ein, ein Jahr zuvor waren es noch 29 Prozent. (Quelle)
Und dann ist da die Open-Source-Frage. Der Abstand zwischen offenen und geschlossenen Modellen schrumpft rasant. Laut dem Stanford AI Index 2025 ist der Leistungsunterschied auf der Chatbot-Arena-Rangliste innerhalb eines Jahres von 8,0 auf 1,7 Prozent gefallen. (Quelle) Modelle wie Llama, DeepSeek oder Qwen decken heute einen großen Teil realer Unternehmens-Anwendungsfälle ab, oft zu einem Bruchteil der Kosten proprietärer Alternativen.
Nur: Open Source heißt nicht kostenlos. Self-Hosting lohnt sich erst bei hohem, dauerhaftem Volumen und bindet dann MLOps-Know-how und GPU-Infrastruktur, Kosten, die in keiner Token-Tabelle stehen. Für die meisten Mittelständler ist der dritte Weg sinnvoller: eine gehostete Open-Source-API (Programmierschnittstelle) von deutschen Anbietern wie IONOS, der Telekom oder STACKIT, die Open-Weight-Modelle in deutschen Rechenzentren betreiben.
Welches Modell für welche Aufgabe? Eine Faustregel
Als grobe Orientierung, wie wir in Projekten routen:
- Einfache Klassifikation und Extraktion (eine Rechnung zuordnen, ein Formular auslesen): ein günstiges Budget-Modell reicht.
- Standardkommunikation (Bestätigungen, einfache Mails): Budget- bis Mittelklasse.
- Komplexe Prüfung und Reasoning (Vertragsprüfung, Nachtragsbewertung): hier lohnt ein Frontier-Modell.
- Datenschutzkritische oder sehr volumenstarke Prozesse: eine gehostete Open-Source-API als dritter Weg.
Warum die Modellfrage im Zwilling entschieden wird, nicht im Pitch
An diesem Punkt lande ich bei unserem Ansatz bei ankerkern. Eine viel beachtete Studie von MIT Project NANDA hat 2025 gezeigt, dass 95 Prozent der KI-Projekte in Unternehmen keinen messbaren Geschäftswert liefern. (Quelle) Und der Kern des Problems ist nicht die Technik, sondern das Lernen. Die meisten KI-Systeme behalten kein Feedback, passen sich nicht an den konkreten Prozess an und verbessern sich nicht über die Zeit. Genau davon handelt auch unser Beitrag Warum 95 Prozent der KI-Piloten scheitern. Wenn das so ist, dann ist die Modellauswahl im PowerPoint wenig wert. Sie muss am echten Vorgang entschieden werden. Bitkom nennt für den deutschen Mittelstand die passenden Hürden: 53 Prozent fehlendes Know-how, 51 Prozent fehlende personelle Ressourcen. (Quelle) Genau diese Lücke muss ein Anbieter füllen, statt sie mit dem nächsten Frontier-Modell zu übertünchen.
Genau dafür bauen wir den Organisations-Zwilling: einen “KI-Baukasten”, eine sog. Sandbox, in der wir das Unternehmen mit seinen Rollen, Prozessen und der Vorgangshistorie abbilden und Agenten parallel zum Realbetrieb an echten Vorgängen trainieren. Wie diese Agenten im Mittelstand konkret arbeiten, haben wir im Beitrag KI-Agenten im Mittelstand beschrieben. In diesem Parallelbetrieb wird die Modellfrage plötzlich messbar. Wir sehen, ob ein günstiges Modell ausreicht, um eine Lieferantenreklamation korrekt zu klassifizieren, oder ob wir für einen bestimmten Vertragsprüfungs-Schritt tatsächlich ein stärkeres Modell brauchen. Wir sehen Fehlerquote, Edge Cases und Latenz. Und ein Agent geht erst live, wenn er stabil unter 10 Prozent Fehlerquote bleibt, bei sicherheitskritischen Vorgängen deutlich darunter.
Das klingt weniger spektakulär als "wir bauen mit dem stärksten Modell am Markt". Aber es beantwortet die Frage, die mir Mittelständler in Discovery-Calls stellen, ehrlich: Was kostet das Ding wirklich, wenn es läuft und nicht in der Demo? Die Antwort lautet fast nie "ein Modell", sondern: ein durchdachter Mix, der pro Vorgangstyp im Parallelbetrieb validiert wurde.
Was ich Mittelständlern aktuell rate
Drei Dinge sehe ich in unseren Gesprächen immer wieder. Erstens: vor jedem Piloten drei Messgrößen definieren, sonst gibt es später keinen ROI-Beweis, nur Bauchgefühl. Zweitens: nicht mit dem teuersten Modell starten, sondern mit dem günstigsten, das die Aufgabe im Zwilling schafft. Drittens: Output-Tokens ernst nehmen. Bei Agenten mit vielen Tool-Calls sind sie der eigentliche Kostentreiber, nicht der Input.
Wir dürfen bei ankerkern gerade unfassbar viel lernen, was funktioniert, was nicht, wo wir uns selbst korrigieren müssen. Und das Wichtigste bleibt: lieber drei Wochen im Modell rechnen als drei Monate falsch produktiv. Das ist am Ende kein Modell-Thema. Das ist ein Handwerks-Thema.