Ein Corporate LLM laeuft auf eigenen Servern statt in der Cloud. Keine Datenweitergabe, DSGVO-konform, 90% guenstiger als ChatGPT-Lizenzen. Anleitung: Von der Installation bis zum Hybrid-Ansatz mit Claude Code ueber AWS Bedrock EU Frankfurt.
Ein Corporate LLM ist eine lokal betriebene KI-Loesung die auf deinen eigenen Servern laeuft — nicht in der Cloud. Die KI funktioniert offline und unter deiner vollstaendigen Kontrolle.
Im Gegensatz zu ChatGPT (25 EUR/Mitarbeiter/Monat) sendest du deine Daten nicht ueber das Internet an externe Server. Du installierst das Modell einmal auf deiner Hardware und hast unbegrenzte Nutzer ohne monatliche Kosten.
Vergleich: ChatGPT fuer 100 Mitarbeiter = 30.000 EUR/Jahr. Corporate LLM auf eigenem Server = ab 16,40 EUR/Monat. Einsparung nach 3 Jahren: ca. 90.000 EUR.
1. DSGVO-Konformitaet
Daten verlassen niemals dein Netzwerk. Keine Uebermittlung in unsichere Drittstaaten. Besonders wichtig fuer Berufsgeheimnnistraeger: Aerzte, Anwaelte, Steuerberater.
2. Kostenersparnis
90% weniger Kosten als Cloud-KI-Lizenzen. Keine versteckten Kosten, keine Token-Limits, unbegrenzte Nutzer.
3. Kontrolle
Funktioniert auch ohne Internet. Du bestimmst welches Modell laeuft, welche Daten es sieht, wer Zugriff hat.
4. Wissensintegration (RAG)
Das Modell kann auf deine Vertraege, Handbucher, interne Dokumente zugreifen — ohne Daten nach aussen zu geben.
Option 1: On-Premise (eigene Server)
- Kosten: 10-15k EUR/Jahr (1 GPU) bis 100k+ (Enterprise)
- Kontrolle: Maximal
- Fuer: Grossunternehmen, Behoerden, Berufsgeheimnnistraeger
- Anbieter: Aleph Alpha (Heidelberg, BSI C5), eigene Hardware mit Ollama
Option 2: Private Cloud (EU-Rechenzentrum)
- Kosten: Pay-per-Token
- Kontrolle: Hoch (Daten bleiben in EU)
- Fuer: Mittelstand mit EU-Compliance-Anforderungen
- Anbieter: AWS Bedrock Frankfurt (Claude), Azure OpenAI Frankfurt (GPT), Mistral Cloud EU
Option 3: Managed Service
- Kosten: Abo-basiert
- Kontrolle: Mittel
- Fuer: KMU die schnell starten wollen
- Anbieter: Mistral AI (Paris), Open WebUI + Ollama
Was du brauchst:
- Einen Computer oder Server (MacBook mit 16 GB RAM reicht zum Starten)
- Ollama (kostenlos, ollama.com)
- Open WebUI (kostenlos, open-source)
Schritt 1: Ollama installieren
Von ollama.com herunterladen und installieren.
Schritt 2: Modell laden
Terminal oeffnen:
ollama pull gemma4
oder: ollama pull mistral
oder: ollama pull qwen2.5:7b
Schritt 3: Open WebUI installieren
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Schritt 4: Browser oeffnen
http://localhost:3000 — Fertig. Jeder Mitarbeiter kann sich anmelden und chatten.
Schritt 5: Dokumente hochladen (RAG)
In Open WebUI: Workspace → Documents → Upload. Die KI antwortet basierend auf deinen Dokumenten.
Nicht entweder-oder, sondern beides kombinieren:
- Sensible Daten (Vertraege, Mandantenakten, Patientendaten) → Lokales Corporate LLM
- Kreative Aufgaben (Marketing-Texte, Brainstorming, Recherche) → Cloud-KI (Claude, GPT)
- Code-Entwicklung → Claude Code mit Bedrock EU Frankfurt fuer DSGVO-Konformitaet
Ergebnis: 90% Kostenersparnis bei vollstaendiger Rechtssicherheit.
Fuer Claude Code ueber AWS Bedrock:
1. AWS Account mit Region eu-central-1 (Frankfurt)
2. Bedrock Model Access fuer Claude beantragen
3. Environment Variables setzen:
AWS_REGION=eu-central-1
ANTHROPIC_MODEL=us.anthropic.claude-sonnet-4-6-20250514
4. Claude Code starten — laeuft ueber EU-Infrastruktur
Europaeische Anbieter:
- Aleph Alpha (Heidelberg) — BSI C5 zertifiziert, On-Premise, oeffentlicher Sektor, digitale Souveraenitaet
- Mistral AI (Paris) — Effizient, souveraen, Cloud/VPC/On-Premise, starke Instruct-Modelle
US-Anbieter mit EU-Hosting:
- AWS Bedrock Frankfurt — Claude Modelle, eu-central-1, DPA verfuegbar
- Azure OpenAI Frankfurt — GPT-Modelle, EU-Rechenzentrum, dedizierte Kapazitaet
- Google Cloud Deutschland — Gemini Modelle
Open Source (kostenlos):
- Ollama + Open WebUI — Laeuft auf jedem Mac/PC, Gemma 4, Llama, Mistral, Qwen
- vLLM — High-Performance Inference Engine
- LocalAI — Drop-in Replacement fuer OpenAI API
Enterprise-LLM-Markt: Wachstum auf 50 Mrd. Dollar bis 2034.
Everlast AI / kiberatung.de: https://www.kiberatung.de/blog/corporate-llms-so-nutzt-du-sie-richtig
Digital Magazin: https://digital-magazin.de/corporate-llm-unternehmen/
AWS Bedrock Claude Code: https://aws.amazon.com/solutions/guidance/claude-code-with-amazon-bedrock/
AWS DSGVO Whitepaper: https://d1.awsstatic.com/whitepapers/compliance/De_Whitepapers/GDPR_Compliance_on_AWS.pdf
Claude Code Bedrock Docs: https://code.claude.com/docs/en/amazon-bedrock
Privacy Proxy EU LLM Vergleich: https://privacyproxy.dev/en/eu-llm-anbieter
Ollama: https://ollama.com
Open WebUI: https://github.com/open-webui/open-webui