Lokale KI statt ChatGPT: Was ein eigener KI-Server im Büro kann — und was nicht
7 Min. Lesezeit
Wie gut sind lokale KI-Modelle im Vergleich zu ChatGPT? Welche Aufgaben sie im Büro zuverlässig übernehmen, wo ihre Grenzen liegen und welche Hardware man dafür braucht.
Vor zwei Jahren war lokale KI vor allem etwas für Bastler: langsam, holprig im Deutschen, weit hinter ChatGPT. Das hat sich geändert. Offene Modelle mit 14 bis 70 Milliarden Parametern schreiben heute flüssiges Deutsch, fassen lange Dokumente zuverlässig zusammen und beantworten Fragen zu eigenen Unterlagen mit Quellenangabe. Für viele Büroaufgaben ist der Unterschied zur Cloud kaum noch spürbar.
Was lokale KI im Büroalltag gut kann
- Zusammenfassen: Bescheide, Gutachten, Protokolle und lange E-Mail-Verläufe auf das Wesentliche reduzieren.
- Formulieren: Aus Stichpunkten werden Briefe, E-Mails und Stellungnahmen im gewünschten Ton.
- Fragen an eigene Dokumente: Die KI durchsucht hochgeladene PDFs und Ihr Archiv und zitiert die passende Stelle (sogenanntes RAG).
- Prüfen und vergleichen: Abweichungen zwischen zwei Vertragsversionen oder zwischen Erklärung und Bescheid als Liste.
- Übersetzen: Schreiben in andere Sprachen übertragen, ohne Online-Übersetzer.
Wo die Grenzen liegen
Ehrlich gesagt: Bei sehr anspruchsvollem logischem Denken über viele Schritte, bei kreativen Aufgaben und bei aktuellem Weltwissen sind die größten Cloud-Modelle weiterhin vorn. Lokale Modelle haben außerdem keinen Internetzugang — was für den Datenschutz gewollt ist, aber bedeutet, dass sie aktuelle Gesetzesänderungen nur kennen, wenn Sie die Dokumente bereitstellen.
Und für alle KI-Systeme gilt: Sie können plausibel klingende, aber falsche Aussagen erzeugen. Deshalb ist die Arbeitsweise entscheidend — die KI bereitet vor, der Mensch prüft und entscheidet.
Welche Hardware man braucht
Entscheidend ist der Grafikspeicher (VRAM): Das Modell muss vollständig hineinpassen, damit es schnell antwortet. Als Faustregel gilt:
| Grafikspeicher | Modellgröße | Geeignet für |
|---|---|---|
| 16 GB | bis ca. 14 Mrd. Parameter | Kleine Büros, kurze Texte, einzelne Dokumente |
| 32 GB | bis ca. 32 Mrd. Parameter | Kanzleien und Praxen mit mehreren Nutzern, lange Dokumente |
| 96 GB und mehr | 70 Mrd. Parameter und größer | Größere Teams, anspruchsvolle Analysen, viele gleichzeitige Anfragen |
Dazu kommen ausreichend Arbeitsspeicher, eine schnelle NVMe-SSD (verschlüsselt), eine leise Kühlung für den Büroeinsatz und idealerweise eine USV gegen Stromausfälle.
Software: Was auf dem Server läuft
Bewährt hat sich ein schlankes Linux-System mit einer Laufzeitumgebung für die Modelle (etwa Ollama oder vLLM) und einer Weboberfläche wie Open WebUI. Mitarbeiter melden sich im Browser an, haben eigene Konten und Chatverläufe und können Dokumente hochladen. Für die Wartung genügt ein verschlüsselter VPN-Zugang, den das Büro jederzeit abschalten kann.
Für wen sich lokale KI lohnt
- Berufsgeheimnisträger: Anwälte, Steuerberater, Ärzte, Therapeuten — überall, wo Daten das Haus nicht verlassen dürfen.
- Unternehmen mit sensiblen Kunden- oder Entwicklungsdaten, die keine US-Cloud wollen.
- Teams ab etwa fünf Personen, für die Cloud-Abos pro Nutzer auf Dauer teurer werden.
Am besten probiert man es aus: In einer Live-Demo mit Beispieldokumenten aus Ihrem Arbeitsalltag sieht man in 30 Minuten, ob die Qualität reicht.