Self-Hosted KI für Unternehmen

Warum generative KI ohne Cloud?

Die meisten generativen KI-Dienste und Large Language Models (LLMs) laufen über externe Cloud-Anbieter – deine Daten verlassen das Unternehmen und landen auf Servern von OpenAI, Google oder Microsoft. Für viele Unternehmen ist das keine Option: sensible Kundendaten, interne Strategien, Personalakten oder Vertragsinhalte haben auf fremden Servern nichts verloren. KI-Datenschutz beginnt bei der Infrastruktur.

Mit einer Self-Hosted-Lösung läuft die komplette KI auf deiner eigenen Infrastruktur. Deine Unternehmensdaten verlassen nie den Server – und du behältst die volle Kontrolle darüber, was die KI sieht, wer Zugriff hat und wie sie genutzt wird.

Technologie: Ollama & Open-Source-Modelle

Ich setze auf Ollama als Plattform für die lokale Ausführung von KI-Modellen. Ollama macht es einfach, leistungsfähige Open-Source-Modelle auf eigener Hardware zu betreiben – ohne Cloud-Anbindung, ohne laufende Lizenzgebühren.

Welches Modell zum Einsatz kommt, hängt von deiner Aufgabe ab. Die Open-Source-Landschaft entwickelt sich rasant, und ich wähle für jedes Projekt das Modell, das aktuell am besten zu den Anforderungen passt:

• Gemma 4 (Google) – seit April 2026 die aktuelle Open-Source-Generation. Versteht Text, Bilder und Video, deckt über 140 Sprachen ab und arbeitet mit bis zu 256.000 Zeichen Kontext, also auch mit langen Dokumenten. Verfügbar von E2B für kleine Hardware bis 31B. Mein Standard für deutschsprachige Wissensbasen – in der 26B-Variante läuft es auch auf dem KI-Server bei Wizard
• Qwen (Alibaba) – die breiteste Größenpalette überhaupt, von 0,8B bis 122B. Stark bei Coding, Recherche und mehrstufigen Aufgaben. Gute Wahl, wenn das Modell Werkzeuge und Schnittstellen selbst bedienen soll
• Mistral (Frankreich) – EU-Herkunft. Mistral 7B ist weiterhin die schlanke Option für begrenzte Hardware, Mistral Medium 3.5 mit 128B die große Variante für Server mit viel Grafikspeicher
• Phi 4 (Microsoft) – 14B, überraschend leistungsfähig auf kleiner Hardware. Gute Option für ressourcenschonende Einstiege
• Llama (Meta) – der Klassiker und weiterhin breit unterstützt. Meta hat seit Llama 3 aber kein neues Open-Source-Flaggschiff nachgelegt, deshalb fällt die Wahl bei neuen Projekten meist auf eines der Modelle darüber

Für RAG-Systeme setze ich zusätzlich spezialisierte Embedding-Modelle ein, die deine Dokumente durchsuchbar machen – auch hier Open Source und lokal auf deinem Server.

Alle paar Monate erscheinen Modelle, die für bestimmte Aufgaben besser funktionieren. Ich bleibe auf dem Laufenden und aktualisiere bestehende Installationen, wenn ein Update echten Mehrwert bringt – nicht bei jedem Hype.

RAG: KI mit deinem Unternehmenswissen

RAG steht für Retrieval-Augmented Generation und ist der Schlüssel dazu, dass eine KI nicht nur allgemein kluge Antworten gibt, sondern Antworten basierend auf deinen Dokumenten, Prozessen und Daten.

So funktioniert es: Deine Unternehmensdokumente (Handbücher, Verträge, Wikis, E-Mails, FAQ) werden in eine Vektordatenbank eingespeist. Wenn ein Mitarbeiter die KI etwas fragt, sucht das System zuerst die relevantesten Dokumente und gibt dem Sprachmodell diesen Kontext mit. Das Ergebnis: präzise Antworten, die auf eurem tatsächlichen Wissen basieren.

Die Qualität der Antworten steht und fällt mit der Qualität der Suche. Deshalb setze ich auf eine Hybrid-Suche, die zwei Ansätze kombiniert: semantische Ähnlichkeit (versteht die Bedeutung der Frage) und exakte Begriffssuche (findet Fachbegriffe und Produktnamen zuverlässig). Zusätzlich bewertet ein Reranking-Schritt die gefundenen Ergebnisse nach Relevanz, bevor sie an das Sprachmodell gehen. Das Ergebnis: deutlich bessere Antwortqualität und weniger Halluzinationen.

• Intern – Mitarbeitende fragen nach Richtlinien, Prozessen, Produktwissen. Antworten in Sekunden statt stundenlanger Suche
• Extern – Kundensupport-Bots, die tatsächlich eure Produkte kennen und korrekte Antworten geben
• Automatisiert – Dokumente klassifizieren, zusammenfassen, Daten extrahieren – ohne manuellen Aufwand

Mehr über Chatbot-Entwicklung & Einsatzbereiche →

Hardware & Kosten: Was brauche ich?

Eine der häufigsten Fragen. Die gute Nachricht: Für einen ersten produktiven Einsatz brauchst du kein Rechenzentrum.

• Dedizierter GPU-Server – Für produktive KI-Modelle braucht es einen Server mit leistungsfähiger GPU und ausreichend RAM. Das ist kein Raspberry-Pi-Projekt – aber die Kosten sind planbar und fallen pro Server an, nicht pro Mitarbeiter
• Skalierung nach Bedarf – Für einen Pilot mit kleinem Team reicht ein Server. Wächst die Nutzung, wächst die Infrastruktur mit – ohne dass sich das Kostenmodell grundlegend ändert
• On-Premise möglich – Die Lösung kann auf einem Hetzner-Server, in eurem eigenen Rechenzentrum oder direkt im Büro laufen – je nachdem, was eure Anforderungen an Datensouveränität und Latenz verlangen

Die konkreten Kosten hängen vom Anwendungsfall, der Modellgröße und der gewünschten Performance ab. In einem Erstgespräch kann ich eine realistische Einschätzung geben, welche Infrastruktur für dein Vorhaben sinnvoll ist.

Wie so ein Setup in der Praxis aussieht, zeigt der Wizard KI-Server – eine self-hosted RAG-Wissensbasis auf dediziertem Hetzner-Server mit NVIDIA RTX 4000 Ada, Ollama, ChromaDB und Open WebUI.

Meine ehrliche Einschätzung: Nicht jede Aufgabe braucht Self-Hosted. Für allgemeine Textgenerierung ohne sensible Daten kann Cloud-KI sinnvoll sein. Aber sobald Unternehmensdaten ins Spiel kommen – und das ist meistens der Fall – ist Self-Hosted der sicherere und langfristig günstigere Weg.