Zurück zur Startseite

Textilunternehmen · KI-Infrastruktur & RAG-System

Wizard – Self-hosted KI-Wissensbasis

Lokale RAG-Wissensbasis für interne Firmendokumente – DSGVO-konform, ohne Cloud-Abhängigkeit, mit vollständiger Hand am Code.

Ollama ChromaDB FastAPI Open WebUI Caddy Docker Python Ubuntu RAG Self-hosted

Für die Wizard GmbH habe ich eine komplette Wissensbasis aufgebaut, mit der Mitarbeiter ihre internen Firmendokumente per Chat durchsuchen und befragen können. Die zentrale Anforderung: kein Daten-Abfluss an US-Dienste, keine geteilte Cloud-Infrastruktur, vollständige Kontrolle über die eigenen Daten. Das gesamte System läuft DSGVO-konform auf einem dedizierten Server bei Hetzner in Deutschland.

Die Basis bildet ein dedizierter Hetzner-Server vom Typ GEX44 mit einer NVIDIA RTX 4000 SFF Ada Grafikkarte (20 GB VRAM), auf dem Ollama als LLM-Backend läuft. Für die eigentliche Retrieval-Augmented Generation (RAG) kommt ChromaDB als Vektordatenbank zum Einsatz, ergänzt um das multilinguale Embedding-Modell Qwen3-Embedding, das auch auf deutschen Texten starke Ergebnisse liefert. Als Sprachmodell nutze ich Gemma 4 in der 26B-Variante, einem Mixture-of-Experts-Modell – leistungsstark genug für komplexe Fragen, aber in der quantisierten Fassung mit 15 GB noch klein genug, um vollständig auf der lokalen GPU zu laufen.

Das System bedient zwei ganz unterschiedliche Zielgruppen über ein gemeinsames LLM-Backend: Ein Open WebUI Chat-Frontend für die Mitarbeiter – so bequem wie ChatGPT, aber komplett unter eigener Kontrolle. Und eine dokumentierte REST-API auf FastAPI-Basis, über die sich externe Tools und Websites anbinden lassen. Beide Systeme pflegen ihre eigene Dokumentenbasis und teilen sich das darunter liegende Modell.

System-Architektur auf einen Blick

System-Architektur: Self-hosted RAG-Wissensbasis Caddy als einziger öffentlich erreichbarer Dienst, mit automatisch erneuertem TLS-Zertifikat. Dahinter Open WebUI für Mitarbeiter und FastAPI für externe Tools, beide über ein gemeinsames Ollama-LLM-Backend mit Gemma 4 in der 26B-Variante verbunden. Als RAG-Datenschicht dient ChromaDB mit dem multilingualen Embedding-Modell Qwen3-Embedding. Gehostet auf einem dedizierten Hetzner-Server mit NVIDIA RTX 4000 Ada GPU. Mitarbeiter Chat-Zugriff im Browser Externe Tools & Websites REST-API-Zugriff Caddy Reverse Proxy · TLS · einziger Public-Port Open WebUI Chat-Frontend für Mitarbeiter eigene Dokumenten-Basis FastAPI REST-API für externe Integration eigene Dokumenten-Basis Ollama LLM-Backend · gemeinsam genutzt Modell: Gemma 4 · 26B Retrieval ChromaDB + Qwen3-Embedding Vektordatenbank · multilinguales Embedding Hardware: Hetzner GEX44 · NVIDIA RTX 4000 SFF Ada · 20 GB VRAM · Ubuntu · Docker
Vereinfachte Systemübersicht – zwei Frontends teilen sich ein gemeinsames LLM-Backend, mit Caddy als einzigem öffentlich erreichbaren Dienst.

Sicherheit war von Anfang an ein zentraler Aspekt. Ein Caddy Reverse-Proxy ist der einzige von außen erreichbare Dienst – alle anderen Komponenten hören ausschließlich auf localhost. Caddy holt und erneuert das TLS-Zertifikat selbst, ohne Cronjob, der irgendwann still ausfällt. Die API ist mit Keys und granularem Rate-Limiting pro Endpoint geschützt, sämtliche Docker-Container laufen mit gehärteten Einstellungen als Non-Root-User. Saubere Input-Validierung und ein reduziertes Angriffs-Profil inklusive.

Was dabei entstanden ist, ist keine Insellösung, sondern eine echte Blaupause: Eine private, DSGVO-konforme KI-Wissensbasis, die sich auf andere Mittelständler mit ähnlichen Anforderungen übertragen lässt. Für Wizard bedeutet das konkret: schneller Zugriff auf firmeninternes Wissen – ohne dass Dokumente in fremde Hände oder auf US-Server gelangen.

Interesse an einer eigenen privaten KI-Wissensbasis?

Ich berate und baue DSGVO-konforme KI-Lösungen für den Mittelstand – von der Server-Empfehlung über Setup und Integration bis zur Mitarbeiter-Schulung.

Lass uns reden

Passende Leistungen

Weitere Projekte