Was ist ein Corporate LLM?
„Corporate LLM“ ist ein Gattungsbegriff, kein Produktname. Gemeint ist ein Sprachmodell, das für ein bestimmtes Unternehmen betrieben wird, statt als offener Dienst für jedermann. Verwandte Begriffe sind „Private LLM“ und „private KI“.
Drei Merkmale machen ein Sprachmodell zum Corporate LLM:
- Kontrolle über die Daten: Sie legen fest, wo Eingaben und Ergebnisse verarbeitet und gespeichert werden.
- Anbindung an Firmenwissen: Das Modell beantwortet Fragen aus Ihren Dokumenten und Systemen, meist über RAG.
- Eigene Regeln: Wer darf was fragen, was wird protokolliert, welche Inhalte sind tabu.
Das Modell selbst muss dafür nicht neu erfunden werden. In der Regel ist es ein leistungsfähiges bestehendes Modell, das in einer kontrollierten Umgebung läuft.
Corporate LLM vs. ChatGPT Enterprise: der Unterschied
ChatGPT Enterprise ist eine der Versionen von ChatGPT für Unternehmen. OpenAI sagt dort zu, Geschäftsdaten nicht zum Training zu verwenden, und bietet Verwaltungsfunktionen für Teams. Für viele Unternehmen ist das ein vernünftiger Schritt.
Der Unterschied liegt in der Kontrolle:
| Merkmal | ChatGPT Enterprise | Corporate LLM |
|---|---|---|
| Betreiber | OpenAI | Sie oder ein Anbieter Ihrer Wahl |
| Modell | OpenAI-Modelle | frei wählbar und austauschbar, auch offene Modelle |
| Anbindung an Firmensysteme | über angebotene Schnittstellen und Konnektoren | nach Ihren Anforderungen gebaut |
| Abhängigkeit | an einen Anbieter gebunden | Modellwechsel ohne Neustart des Projekts |
Wer vor allem ein gutes Schreibwerkzeug für viele Mitarbeitende sucht, ist mit ChatGPT Enterprise oft gut bedient. Wer vertrauliche Daten verarbeitet, Modelle selbst wählen oder Wissen tief in eigene Abläufe einbinden will, braucht ein Corporate LLM.
DSGVO & EU AI Act: volle Datenhoheit für Ihr Unternehmen
Mit einem Corporate LLM entscheiden Sie selbst, welche Daten das Modell sieht, wo sie verarbeitet werden und wie lange Protokolle aufbewahrt werden. Das ist die Grundlage, um KI-Nutzung gegenüber Datenschutzbeauftragten, Betriebsrat und Kunden zu begründen.
Der EU AI Act regelt KI-Systeme nach ihrem Risiko und gilt stufenweise. Art. 4 KI-Verordnung gilt seit dem 2. Februar 2025 für Anbieter und Betreiber von KI-Systemen, also auch für Unternehmen, die KI einsetzen. Seit dem Digital Omnibus vom Juli 2026 verlangt er Maßnahmen, die die KI-Kompetenz der Mitarbeitenden fördern; ein bestimmtes Kompetenzniveau schreibt er nicht mehr vor. Ein Corporate LLM erleichtert solche Maßnahmen: Sie wissen, welches Modell im Einsatz ist, wofür es genutzt wird und wer Zugriff hat.
- Training: Ihre Daten werden nicht zum Training fremder Modelle genutzt.
- Vertrag: Wir schließen mit Ihnen einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO.
- Nutzungsregeln: Richtlinien für den KI-Einsatz, die zur Technik passen. Auf Wunsch erarbeiten wir sie mit Ihnen und schulen Ihre Mitarbeitenden.
RAG als Basis: Firmenwissen ins eigene LLM einbinden
Ein Sprachmodell ohne Zugang zu Ihrem Wissen schreibt gute Texte, kennt aber weder Ihre Produkte noch Ihre Verträge. Deshalb ist RAG (Retrieval-Augmented Generation) bei fast jedem Corporate LLM der erste Baustein: Vor jeder Antwort sucht das System die passenden Stellen in Ihren Dokumenten und das Modell antwortet daraus, mit Quellenangabe.
Neue Dokumente sind sofort abfragbar, Zugriffsrechte bleiben pro Dokument steuerbar, und das Modell selbst lässt sich austauschen, ohne das Wissen neu aufzubauen. Wie das im Detail funktioniert, lesen Sie unter RAG für Unternehmen.
Fine-Tuning, KI-Richtlinien und Schulungen
Zum Corporate LLM bieten wir drei Zusatzleistungen an:
- Fine-Tuning: Soll das Modell einen bestimmten Stil oder Ihre Fachsprache beherrschen, trainieren wir es mit eigenen Beispielen nach. Für Faktenwissen bleibt RAG die Grundlage.
- KI-Richtlinien: Wir legen mit Ihnen fest, welche Daten in welches Werkzeug dürfen und wer die KI wofür nutzt. Einen ersten Entwurf erstellen Sie mit unserer kostenlosen Vorlage für eine KI-Richtlinie.
- Mitarbeiterschulungen: Ihre Teams lernen, das Corporate LLM sicher und sinnvoll einzusetzen. Das ist zugleich eine Maßnahme zur Förderung der KI-Kompetenz nach Art. 4 KI-Verordnung.
Anwendungsfälle: Rechtsabteilungen, Finanzdienstleister & Unternehmen mit Verschwiegenheitspflichten
Ein Corporate LLM lohnt sich besonders dort, wo Daten das Haus nicht verlassen dürfen:
- Rechts- und Vertragsabteilungen: Verträge zusammenfassen, Klauseln vergleichen, Entwürfe auf Basis eigener Muster erstellen
- Versicherungen, Banken und Finanzdienstleister: Vorgänge vorbereiten, Bedingungswerke und interne Richtlinien abfragbar machen
- Industrie mit Konstruktions- und Projektdaten: technische Dokumentation durchsuchen, Angebote und Berichte entwerfen, ohne Know-how an externe Dienste zu geben
- Unternehmen mit Geheimhaltungspflichten gegenüber Kunden: Wer vertraglich zugesichert hat, Kundendaten nicht an Dritte weiterzugeben, braucht die Kontrolle über die KI-Verarbeitung
Im Alltag nutzen Mitarbeitende das Corporate LLM wie einen Chat: zum Formulieren, Zusammenfassen, Übersetzen und für Fragen an das Firmenwissen. Über Schnittstellen lässt es sich außerdem in automatisierte Abläufe einbinden, siehe Prozessautomatisierung.
Ablauf: vom Piloten zum produktiven Corporate LLM
- Erstgespräch (30 Minuten per Video, kostenlos): Welche Daten, welche Nutzer, welche Vorgaben?
- Architektur festlegen: Betriebsumgebung, Modellauswahl, Anbindung an Ihre Anmeldung und Rechteverwaltung. Die Entscheidung dokumentieren wir so, dass Datenschutz und IT-Sicherheit sie prüfen können.
- Pilot: Eine Abteilung arbeitet mit dem Corporate LLM und einem angebundenen Wissensbereich.
- Auswerten: Nutzung, Antwortqualität, Rückmeldungen der Mitarbeitenden. Was fehlt, was stört?
- Rollout und Betreuung: Weitere Abteilungen und Datenquellen kommen dazu. Wir betreuen das System, halten Modelle aktuell und passen Regeln an.