Whisper AI ist das Spracherkennungssystem von OpenAI, das gesprochene Sprache in geschriebenen Text umwandelt. OpenAI hat es 2022 unter der MIT-Lizenz als Open Source veröffentlicht. Trainiert wurde es mit 680.000 Stunden Audiomaterial aus dem Netz, und es deckt rund 99 Sprachen ab. Wer es lokal betreibt, zahlt nichts. Genau das macht es für viele Teams zur ersten Option, wenn Gesprächsnotizen automatisiert werden sollen. Dieser Artikel zeigt, wie das Modell arbeitet und welche Varianten es gibt. Danach geht es um die tatsächlichen Kosten und um die Stellen, an denen Whisper im Berufsalltag nicht ausreicht.
So verwandelt Whisper gesprochene Sprache in Text
Whisper zerlegt jede Aufnahme in Abschnitte von 30 Sekunden, rechnet sie in ein Spektrogramm um und gibt dieses an einen Encoder-Decoder-Transformer weiter. Der Decoder sagt daraus die passende Textfolge voraus.
Das Modell erledigt dabei mehrere Aufgaben in einem Durchgang. Es erkennt die gesprochene Sprache selbst, setzt Satzzeichen, transkribiert den Inhalt und kann fremdsprachige Aufnahmen ins Englische übersetzen. Eine Übersetzung in andere Zielsprachen beherrscht es nicht.
Rund ein Drittel der Trainingsdaten ist nicht englischsprachig, und das Material stammt aus sehr unterschiedlichen Aufnahmesituationen. Daraus ergibt sich die praktische Stärke des Systems. Es kommt mit Akzenten, Nebengeräuschen und Fachvokabular besser zurecht als viele ältere Spracherkenner. Ein Training auf Ihren eigenen Anwendungsfall ist dafür nicht nötig.
Diese Whisper-Modelle stehen zur Auswahl
Whisper existiert in sechs Größen. Je größer das Modell, desto genauer das Ergebnis und desto mehr Grafikspeicher und Rechenzeit brauchen Sie.
| Modell | Parameter | VRAM (ca.) | Relative Geschwindigkeit |
|---|---|---|---|
| tiny | 39 Mio. | 1 GB | ca. 32-fach |
| base | 74 Mio. | 1 GB | ca. 16-fach |
| small | 244 Mio. | 2 GB | ca. 6-fach |
| medium | 769 Mio. | 5 GB | ca. 2-fach |
| large-v3 | 1,55 Mrd. | 10 GB | 1-fach |
| large-v3-turbo | 809 Mio. | 6 GB | ca. 8-fach |
Zwei Punkte werden dabei oft falsch wiedergegeben. Erstens sind alle Größen mehrsprachig. Von tiny bis medium gibt es zusätzlich eine rein englische Variante mit der Endung .en, die auf englischem Material etwas besser abschneidet. Nur large und turbo erscheinen ausschließlich mehrsprachig. Zweitens ist large-v3-turbo nicht einfach eine kleinere Version. Es arbeitet mit vier statt 32 Decoder-Schichten. Bei vielen Sprachen erreicht es damit eine Qualität nahe an large, und zwar bei ungefähr achtfacher Geschwindigkeit.
Für die meisten Anwendungen ist small oder medium der sinnvolle Einstieg. Erst wenn die Fehlerquote im Test wirklich stört, lohnt der Sprung auf large-v3 oder turbo.
Wie gut Whisper Deutsch versteht
Auf klar aufgenommenem Hochdeutsch liefert Whisper ab der Größe medium brauchbare Transkripte, bleibt aber messbar hinter seiner englischen Leistung zurück. Der Grund liegt in der Verteilung der Trainingsdaten, die zu etwa zwei Dritteln englischsprachig sind.
Drei Faktoren verschlechtern das Ergebnis auf Deutsch deutlich:
- Ausgeprägte Dialekte und regionale Färbung, für die vergleichsweise wenig Trainingsmaterial vorliegt.
- Mischsprachige Gespräche, in denen deutsche und englische Fachbegriffe wechseln. Legen Sie in solchen Fällen die Sprache fest, statt die automatische Erkennung laufen zu lassen.
- Mehrere Personen, die gleichzeitig sprechen, sowie Aufnahmen mit Abstand zur Schallquelle.
Wenn deutsche Fachbegriffe, Eigennamen oder Produktbezeichnungen zuverlässig korrekt erscheinen müssen, planen Sie eine Nachkontrolle ein. Ein Glossar kennt das Basismodell nicht.
Einwilligung und DSGVO: Was vor der Aufnahme gilt
Bevor die Technik überhaupt eine Rolle spielt, steht die Rechtsfrage. In Deutschland schützt § 201 StGB die Vertraulichkeit des gesprochenen Wortes. Wer das nichtöffentlich gesprochene Wort einer anderen Person unbefugt aufzeichnet, macht sich strafbar, mit Geldstrafe oder Freiheitsstrafe bis zu drei Jahren. Der Versuch genügt bereits.
Bevor Sie aufnehmen, informieren Sie andere und holen Sie deren Einverständnis ein. Vielen Dank, dass Sie die Privatsphäre und lokale Gesetze respektieren.
Für die Verarbeitung der Aufnahme kommt die DSGVO hinzu, denn eine Sprachaufnahme enthält personenbezogene Daten. Drei Pflichten gelten unabhängig vom eingesetzten Werkzeug. Sie brauchen eine Rechtsgrundlage für die Verarbeitung, eine Information der betroffenen Personen und ein Löschkonzept für Audiodateien und Transkripte.
Ein lokal betriebenes Whisper hat hier einen echten Vorteil. Die Audiodatei verlässt Ihren Rechner nicht, es entsteht keine Auftragsverarbeitung und keine Übermittlung in ein Drittland. Sobald Sie die API von OpenAI nutzen, ändert sich das. Dann brauchen Sie einen Auftragsverarbeitungsvertrag und müssen den Ort der Verarbeitung prüfen.
Whisper einrichten: drei Wege und ihre Kosten
Es gibt drei praktikable Wege, und sie unterscheiden sich vor allem im Aufwand und in der Kostenstruktur.
Referenzimplementierung von OpenAI. Sie installieren das Python-Paket, laden das Modell beim ersten Aufruf herunter und transkribieren über die Kommandozeile. Die Software kostet nichts. Sie brauchen aber eine moderne Grafikkarte mit ausreichend VRAM, sonst wird die Verarbeitung sehr langsam. Auf einer reinen CPU dauert eine halbe Stunde Audio je nach Modellgröße ein Vielfaches der Aufnahmezeit.
Optimierte Ports. whisper.cpp führt das Modell in C und C++ aus und ist auf Apple Silicon und auf CPUs die schnellste Variante. faster-whisper setzt auf CTranslate2 und erreicht rund die vierfache Geschwindigkeit der Referenzimplementierung. Beide sind kostenlos und die richtige Wahl, wenn regelmäßig größere Mengen anfallen.
Die API von OpenAI. Hier entfällt jede eigene Hardware. Die Abrechnung erfolgt nach Audiominuten, die aktuellen Preise stehen auf der Preisseite von OpenAI. Beachten Sie das Limit von 25 MB pro Datei. Eine Stunde Meeting als MP3 mit 128 kbit/s liegt bereits deutlich darüber und muss vorher geteilt werden. Neben dem klassischen Modell whisper-1 stehen inzwischen gpt-4o-transcribe und gpt-4o-mini-transcribe bereit, die in Tests niedrigere Fehlerquoten erreichen.
Kostenlos heißt bei den ersten beiden Wegen also nicht aufwandsfrei. Sie bezahlen mit Hardware, Einrichtungszeit und laufender Wartung.
Wo Whisper an Grenzen stößt
Whisper ist ein Transkriptionsmodell und nichts darüber hinaus. Vier Grenzen sind im Berufsalltag relevant.
Keine Sprechertrennung. Das Basismodell weist Wortbeiträge keiner Person zu. Sie erhalten einen durchlaufenden Text ohne Kennzeichnung, wer was gesagt hat. Für ein Protokoll mit fünf Teilnehmenden ist das der größte Mangel. Diarisierung lässt sich über zusätzliche Bibliotheken nachbauen, was den Aufwand jedoch spürbar erhöht.
Halluzinationen. Bei Hintergrundgeräuschen, Musik oder längeren Sprechpausen erfindet das Modell gelegentlich Text oder wiederholt Wortgruppen. Das ist keine Fehlkonfiguration, sondern eine bekannte Eigenschaft. Sie senken das Risiko, wenn Sie in einer Sprache aufnehmen, Musik vermeiden und lange Stillephasen vorher entfernen.
Keine Auswertung. Aus dem Transkript entstehen keine Zusammenfassung, keine Aufgabenliste und keine Entscheidungsdokumentation. Diesen Schritt müssen Sie separat lösen.
Keine Aufnahme. Whisper verarbeitet vorhandene Dateien. Das Erfassen des Gesprächs im Raum bleibt Ihre Aufgabe, und genau hier scheitern viele Aufbauten. Ein Laptopmikrofon am Kopfende eines Besprechungstisches liefert Material, an dem auch large-v3 wenig retten kann.
Whisper selbst betreiben oder eine Fertiglösung nutzen
Die Entscheidung hängt weniger am Budget als an der Frage, wo Ihre Arbeit tatsächlich anfängt. Vier Kriterien helfen bei der Einordnung.
- Woher kommt das Audio? Liegen die Dateien schon vor, etwa als Podcast oder Videomitschnitt, reicht Whisper allein. Entstehen die Gespräche erst im Raum, brauchen Sie zuerst eine saubere Aufnahme.
- Brauchen Sie Sprecherkennzeichnung? Bei Protokollen, Interviews und Kundengesprächen lautet die Antwort fast immer ja.
- Was passiert nach dem Transkript? Wenn ohnehin eine Zusammenfassung folgen soll, verdoppeln Sie mit einem Eigenbau die Zahl der zu pflegenden Bausteine.
- Wer wartet die Einrichtung? Ein lokales Modell braucht Updates, Speicherplatz und eine zuständige Person.
Fällt die Antwort bei den letzten drei Punkten zugunsten einer fertigen Kette aus, ist ein Aufnahmegerät mit angeschlossener Verarbeitung der direktere Weg. Plaud Note Pro deckt dabei die drei Gesprächsarten ab, die im Berufsalltag zusammenkommen.
Präsenzgespräche im Raum. Vier MEMS-Mikrofone mit KI-gestützter Beamforming-Technologie erfassen Stimmen bis zu 5 Meter weit. Damit sind Besprechungstische und kleinere Runden abgedeckt, an denen ein Laptopmikrofon scheitert. Ein Tastendruck startet die Aufnahme, im Ausdauermodus bis zu 50 Stunden. 
Telefonate. Die intelligente Dual-Modus-Aufnahme erkennt selbstständig, ob Sie telefonieren oder im Raum sprechen, und wechselt den Modus. Für Kundengespräche am Telefon entfällt damit der Umbau, den ein Eigenbau an dieser Stelle verlangt.
Online-Meetings. Plaud Desktop nimmt Zoom, Google Meet und Microsoft Teams direkt auf dem Rechner auf, ohne einen Meeting-Bot in die Runde zu holen. Die App erkennt den Start eines Meetings und fragt vorher nach, oder Sie starten manuell. Alle drei Quellen laufen anschließend in derselben Ablage zusammen, statt sich auf drei Werkzeuge zu verteilen.
Nach der Aufnahme übernimmt Plaud Intelligence die Auswertung. Transkribiert wird in 112 Sprachen mit Sprecherkennzeichnung, also genau der Punkt, an dem das Whisper-Basismodell aussetzt. Für Deutsch ist dabei das Branchen-Glossar relevant: Fachbegriffe und Eigennamen lassen sich hinterlegen, was die weiter oben beschriebene Schwachstelle bei deutschem Fachvokabular adressiert. Aus dem Transkript entstehen Zusammenfassungen über mehr als 10.000 Vorlagen. Ask Plaud beantwortet Rückfragen zum Gespräch. Notizen und Screenshots lassen sich als zusätzlicher Kontext beilegen. Für die Zusammenfassungen greift die Plattform auf mehrere führende Sprachmodelle zu, darunter GPT-5.5, Claude Sonnet 4.6 und Gemini 3.1 Pro.
Für wiederkehrende Abläufe übernimmt AutoFlow den Rest. Sie richten die Kette aus Transkription, Zusammenfassung und Zustellung einmal ein, danach läuft sie automatisch. Ergebnisse lassen sich in mehr als 27 Formaten exportieren oder über Zapier an weitere Werkzeuge übergeben. Genau diese Schicht müssten Sie bei einem Eigenbau mit Whisper vollständig selbst schreiben und pflegen.
Whisper verschwindet dabei nicht aus dem Bild. Plaud setzt für die Transkription nach eigenen Angaben unter anderem Whisper v3-large ein. Sie nutzen dieselbe Modellfamilie also weiterhin, nur ohne Einrichtung, Hardwarefrage und Wartung selbst zu tragen.
Für die Compliance-Seite sind DSGVO, ISO 27001, ISO 27701 und SOC 2 Type II abgedeckt. Aufnahmen werden ohne ausdrückliche Zustimmung nicht für KI-Training verwendet. Details dazu stehen im Vertrauenszentrum.
Wer dagegen nur gelegentlich fertige Audiodateien umwandelt und Freude an der eigenen Einrichtung hat, fährt mit whisper.cpp und einem mittleren Modell hervorragend.
Den passenden Weg für Ihre Gespräche wählen
Whisper AI löst die Transkription zuverlässig und kostenfrei, sobald eine gute Audiodatei vorliegt. Offen bleiben die Aufnahme im Raum, die Zuordnung der Sprecher und die Auswertung. Prüfen Sie deshalb zuerst, wo Ihre Kette wirklich beginnt. Für reine Dateiverarbeitung ist ein lokales Modell die richtige Wahl. Für Meetings und Kundengespräche, aus denen am selben Tag ein Protokoll werden soll, sparen Sie sich mit einer durchgehenden Lösung den Eigenbau. Ein Blick in den Gerätevergleich zeigt, welches Modell zu Ihren Gesprächssituationen passt.
