Bei einem Chatbot mögen zwei Sekunden Wartezeit noch akzeptabel sein. Am Telefon fühlen sie sich wie eine Ewigkeit an. Unser Produktionsbenchmark zeigt: Nicht immer antworten die größten US-Modelle am schnellsten. Mistral Medium war schneller als jedes von uns getestete GPT-Modell und Claude Haiku 4.5.
Kennen Sie diese Telefonate, bei denen nach jedem Satz erst einmal Stille herrscht? Man sagt etwas, wartet und fragt schließlich unsicher: „Hallo, sind Sie noch da?“
Bei einem menschlichen Gesprächspartner wirkt das irritierend. Bei einem Voice-Agenten ist es tödlich für die Akzeptanz.
Denn Voice AI funktioniert anders als ein Chatfenster. Wer eine schriftliche Anfrage abschickt, akzeptiert eine gewisse Wartezeit. Am Telefon erwarten wir eine direkte Reaktion. Untersuchungen natürlicher Gespräche zeigen, dass der typische Sprecherwechsel häufig innerhalb von nur 0 bis 200 Millisekunden erfolgt. Eine Pause von zwei oder drei Sekunden reicht deshalb bereits, damit sich ein eigentlich intelligentes System dumm, langsam und künstlich anfühlt.
Genau deshalb haben wir bei ankerkern nicht nur auf die üblichen Modell-Benchmarks geschaut, sondern die Engines direkt in unserer produktiven Voice-Infrastruktur getestet.
Das Ergebnis hat uns selbst überrascht.
Wenn das kleinere europäische Modell zuerst antwortet
Unser ankerkern Voice Engine Benchmark ist direkt in unserer ankerkern Plattform für unsere Kunden integriert, so ist für unseren Kunden immer bereits im Vorfeld messbar, mit welchen Modellen er welche Antwortzeiten erwarten kann. Keine isolierte Labormessung, sondern genau die Engines, Verbindungen und Prompts, mit denen unser DigitalTwin im echten Kundenbetrieb dann arbeitet. Getestet werden immer echte Eingaben mit statistischer Analyse. Dabei besonders auffällig:
Mistral Medium lieferte den ersten Token durchschnittlich nach nur 251 Millisekunden. Aus der Cloud. Was sehr nahe an unseren bestmöglichen 180ms auf einer unserer Nvidia H200 Instanzen ist.
Hingegen benötigte GPT-5.4 Mini 611 Millisekunden, GPT-5.6 Luna 639 Millisekunden und Claude Haiku 4.5 ganze 841 Millisekunden. Ältere Modelle sind inzwischen sogar langsamer als früher geworden. So ist ein GPT-5.3 Chat früher bei rund 800ms inzwischen wegen Ressourcenshifts bei OpenAI bei rund 1.370 Millisekunden.
Anders ausgedrückt: Ein Mistral AI schlägt in unserem Test die großen US-Anbieter deutlich.
Noch deutlicher ist ein anderes Ergebnis: Selbst der langsamste Mistral-Medium-Durchlauf war schneller als der jeweils schnellste Lauf dieser drei Wettbewerber.
Das ist kein theoretischer Benchmarkvorteil. Das hört der Kunde am Telefon.
Durchschnitt sagt nichts über die Varianz
Fast noch wichtiger als der Durchschnitt ist die massive Varianz der Cloud-Latenzen.
Alle Modelle schwanken in ihren Antwortzeiten bis zum ersten Token deutlich. Selbst mit Kniffen schaut man hier bei den großen US-Anbietern auf Werte +- 100%. Also von 500ms auf 1s.
Bei der Spracherkennung und Synthese sieht das ganz ähnlich aus. Deepgram Nova 3 schwankte zwischen 255 Millisekunden und 1,4 Sekunden. Mistrals Voxtral Mini lag zwischen 355 Millisekunden und 1,2 Sekunden. Bei ElevenLabs Turbo dauerte es zwischen 176 Millisekunden und 1,8 Sekunden.
Diese Schwankungen sind für Voice-Systeme ein fundamentales Problem. Der Durchschnitt ist eine schöne Zahl für eine Präsentation. Die Varianz ist das, was der Kunde erlebt.
Ein Voice-Agent, der neunmal schnell und beim zehnten Mal erst nach mehreren Sekunden antwortet, fühlt sich nicht zu 90 Prozent gut an. Er fühlt sich unzuverlässig an.
Dieses Phänomen ist in großen Cloud-Systemen seit Jahren bekannt. Die Google-Forscher Jeffrey Dean und Luiz André Barroso beschrieben bereits in ihrer Arbeit „The Tail at Scale“, warum einzelne Latenzausreißer bei großen verteilten Diensten die wahrgenommene Gesamtleistung bestimmen können. Je mehr Cloud-Komponenten an einer Antwort beteiligt sind, desto schwieriger wird es, die langen Enden der Latenzverteilung zu kontrollieren.
Genau deshalb reichen die großen öffentlichen Leaderboards für die Auswahl eines Voice-Modells nicht aus. Sie messen Intelligenz, Mathematik, Coding oder allgemeine Nutzerpräferenzen. Sie messen aber nicht zwingend den konkreten Netzwerkweg aus einer deutschen Produktionsumgebung, die verfügbare Cloud-Kapazität, das Account-Tier oder die Frage, wann der erste hörbare Ton tatsächlich beim Anrufer ankommt. Daher hosten wir viele Teile der Kette einfach selbst oder bieten Maßnahmen an, um das Problem mind. massiv einzugrenzen. Objektiv, messbar und direkt auf unserer Plattform erleb- und benchmark-bar. Am eigenen Prompt auf der eigenen Telefonnummer.
Mistral ist nicht nur die souveräne Notlösung
Nun könnte man sagen: Mistral ist eben schneller, dafür aber qualitativ schwächer.
Ganz so einfach ist es nicht.
Im unabhängigen Artificial-Analysis-Benchmark für Mistral Medium 3.5 erreicht das Modell einen Intelligence Index von rund 30 Punkten. Damit liegt es ungefähr auf dem Niveau von Claude Haiku 4.5 mit aktiviertem Reasoning und deutlich oberhalb der Haiku-Variante ohne Reasoning.
Gegenüber Claude Sonnet 4.5 ohne Reasoning erreicht Mistral in den aggregierten Tests ein vergleichbares Niveau. Artificial Analysis misst für Mistral gleichzeitig eine deutlich höhere Ausgaberate und ungefähr halbierte Kosten.
Das unterstreicht, warum Benchmarks sauber gelesen werden müssen: Time to First Token, Ausgaberate, Preis und Qualität sind unterschiedliche Dimensionen. Welches Modell „besser“ ist, entscheidet der konkrete Prozess.
Mistral selbst bietet Medium 3.5 mit einem Kontextfenster von 256.000 Token und veröffentlichten Gewichten unter einer modifizierten MIT-Lizenz an. Dadurch kann das Modell nicht nur per API verwendet, sondern grundsätzlich auch direkt bei uns auf der Plattform in kompletter Kontrolle betrieben werden. Offizielle Mistral Model Card
Mit der aktuellen Spitze von GPT und Claude kann Mistral bei hochkomplexen Reasoning-, Coding- und Agentenaufgaben noch nicht durchgehend mithalten. Aber braucht ein Voice-Agent im Mittelstand für jede Terminvereinbarung, Leadqualifizierung oder Statusabfrage wirklich das teuerste Frontier-Modell der Welt?
Ein Voice-Agent muss keine wissenschaftliche Abhandlung schreiben. Er muss zuhören, den Kontext verstehen, gezielt nachfragen und anschließend einen klar definierten Prozess ausführen. Dafür braucht es kein maximales allgemeines Weltwissen. Es braucht Geschwindigkeit, Zuverlässigkeit und Leitplanken.
Und genau hier wird Mistral ausgesprochen interessant.
Auch bei der Spracherkennung ist Europa konkurrenzfähig
Bei Speech-to-Text war Mistrals Voxtral Mini in unserem Test mit durchschnittlich 499 Millisekunden praktisch gleichauf mit Deepgram Nova 3 bei 501 Millisekunden.
Die Ergebnisse passen zur grundsätzlichen Positionierung der aktuellen Voxtral-Transcribe-Modelle. Mistral veröffentlicht für Voxtral Transcribe 2 eigene Vergleiche mit GPT-4o Mini Transcribe, Gemini 2.5 Flash, Deepgram und ElevenLabs. Dabei handelt es sich um Herstellerbenchmarks, die eine unabhängige Prüfung nicht ersetzen, aber zeigen, mit welchem Qualitäts- und Preisniveau Mistral konkurrieren will.
Unser derzeit schnellster Cloud-Stack kam auf ca. 1s von Anfrage-Ende zu Antwort-Start. Anders sieht es bei uns aus, wenn unsere eigen gehosteten Modelle gewählt werden. Wesentlich kürzere Antwortzeiten von typischerweise <0,5s und so gut wie keine Varianz.
In Deutschland fördern wir mit SOOFI gerade ein eigenes „souveränes“ Sprachmodell. Das Modell wurde tatsächlich mit neuen Gewichten und deutschen Daten trainiert. Der technische Bericht erklärt aber auch, dass SOOFI das öffentlich dokumentierte Nemotron-3-Nano-Referenzdesign übernimmt. Die Trainingssoftware stammt weitgehend aus Nvidias NeMo- und Megatron-Ökosystem, gerechnet wurde auf Nvidia-B200-GPUs. SOOFI Pretraining Report
Das ist technisch völlig legitim. Es zeigt nur, wie relativ der Begriff Souveränität in der Praxis ist.
Während wir also versuchen, ein nationales Modell auf einem amerikanischen Technologie-Stack aufzubauen, existiert mit Mistral längst ein etabliertes europäisches KI-Unternehmen in Frankreich. Selbst die Bundesregierung bezeichnet Mistral neben SAP als einen der europäischen KI-Champions und plant ein gemeinsames europäisches Angebot für öffentliche Verwaltungen. Bundeskanzleramt zur europäischen digitalen Souveränität
Vielleicht sollten wir europäische Unabhängigkeit deshalb weniger als nationales Prestigeprojekt und stärker als gemeinsamen europäischen Markt verstehen.
Mistral ist verfügbar. Mistral ist schnell. Die Qualität ist für einen großen Teil realer Unternehmensprozesse bereits mehr als ausreichend. Und mit mehr europäischer Nutzung, öffentlicher Beschaffung und Investition wächst auch die Chance, bei zukünftigen Modellgenerationen zur amerikanischen Spitze aufzuschließen.
Der ankerkern Ansatz: Wir nutzen was funktioniert
Wir bei ankerkern bauen deshalb keinen Voice-Agenten, der untrennbar an ein einzelnes Modell gekoppelt ist.
Die Spracherkennung, das LLM und die Sprachausgabe bleiben austauschbar. Für jeden Prozess nutzen wir die Kombination, die im realen Betrieb am besten für den Anwendungsfall funktioniert. Immer transparent nachvollziehbar für unsere Kunden direkt in der Plattform. Nicht die Kombination mit dem größten Marketingbudget entscheidet, sondern was wirklich funktioniert.
Dass diese Austauschbarkeit keineswegs selbstverständlich ist, zeigt eine aktuelle Untersuchung der Bundesregierung zu großen Sprachmodellen in der Bundesverwaltung. Von 33 untersuchten LLM-Projekten erlaubten nur elf einen Wechsel des eingesetzten Modells. Genau diese technische Bindung wird später schnell zur strategischen Abhängigkeit.
Der Agent selbst arbeitet innerhalb klarer Leitplanken. Er kennt seine Aufgabe, fragt die notwendigen Informationen ab und übergibt sie an einen deterministisch definierten Prozess. Das reduziert Halluzinationen und verhindert, dass ein allgemeines Sprachmodell plötzlich Entscheidungen trifft, die im Unternehmen niemand freigegeben hat.
Unser Fazit: Bei Voice AI gewinnt nicht automatisch das größte Modell.
Es gewinnt der Stack, der schnell, stabil und kontrollierbar genug ist, damit sich das Gespräch natürlich anfühlt. In unserem Produktionsbenchmark war Mistral Medium dafür die überzeugendste LLM-Alternative, vor GPT-5.6 Luna und vor Claude Haiku 4.5.
Ohne künstliche Denkpause. Ohne Bindung an einen einzigen US-Anbieter. Mit messbarem Mehrwert im echten Gespräch.
Sie möchten wissen, wie schnell ein digitaler Mitarbeiter in Ihrem Unternehmen tatsächlich reagieren würde? Dann testen wir nicht irgendeinen theoretischen Benchmark, sondern Ihren konkreten Prozess.
Erleben Sie unsere Voice-Bots in Aktion: 45 Minuten Erstgespräch, ehrlich und unverbindlich.