Lokale KI & EU-Modelle

Für Teams, deren Prompts das Unternehmen nicht verlassen dürfen — oder die EU nicht. Ein Senior-Ingenieur, Scope im Statement of Work.

Für wen

Ein Unternehmen, das einen internen Assistenten oder Chat über eigene Dokumente will, oder ein SaaS-Team, das eine Sprachmodell-Funktion einbaut — und eine US-API dafür nicht in Frage kommt.

Auslöser: ein Kundenfragebogen fragt, wohin Prompts gehen, der Betriebsrat widerspricht, Mitarbeitende fügen Dokumente in ChatGPT ein, oder die Token-Rechnung wächst.

Ich mappe, welche Daten welches Modell erreichen, wähle je Anwendungsfall ein Setup und setze das um, das im Statement of Work steht.

Drei Wege, ein Modell zu betreiben

Lokal oder on-prem: das Modell läuft auf Hardware, die das Unternehmen selbst administriert. Prompts und Dokumente bleiben auf dieser Maschine.

Self-Hosting auf EU-GPUs: dasselbe Open-Weight-Modell, auf einem Server in der EU, den das Unternehmen kontrolliert — Hetzner-GPU, AWS in Frankfurt oder die AWS European Sovereign Cloud.

Eine EU-gehostete Modell-API: ein Anbieter betreibt das Modell und hält die Verarbeitung in der EU. Weniger Betrieb, und die Daten verlassen das Unternehmen.

Ein Frontier-Modell bleibt nur hinter einem Gateway erreichbar, und nur für Daten, die die EU verlassen dürfen. Am Gateway liegen Authentifizierung, Routing und die Entscheidung, Prompts nicht zu loggen.

Das bekommen Sie

  • ✓Review, welche Daten welches Modell, welche Region und welchen Auftragsverarbeiter erreichen
  • ✓Eine schriftliche Entscheidung je Anwendungsfall
  • ✓Eine Modell-Shortlist, getestet an Ihren echten Aufgaben
  • ✓Ein OpenAI-kompatibler Endpunkt (vLLM oder Ollama) auf Ihrer Hardware, einem Hetzner-GPU-Server, AWS Frankfurt oder der AWS European Sovereign Cloud
  • ✓Ein Gateway mit Authentifizierung, Routing, Rate-Limits und ohne Prompt-Logging
  • ✓Ein interner Chat oder Chat über Ihre Dokumente, mit Single Sign-on
  • ✓Ein Kostenvergleich: pro Token zahlen oder eine GPU mieten
  • ✓Schriftliches Statement of Work mit Festpreis

Lokale KI: selbst hosten, EU-API oder beides?

Fragen zu lokaler KI und EU-Modellen

Was ist lokale KI?

Ein Sprachmodell, das auf Hardware läuft, die das Unternehmen selbst administriert: ein Arbeitsplatzrechner, ein Server im Haus oder eine Maschine unter eigener Kontrolle. Prompts und Dokumente bleiben auf dieser Maschine.

Lokales Modell oder EU-API?

Lokal oder on-prem, wenn die Daten das Unternehmen nicht verlassen dürfen. Eine EU-gehostete API, wenn die Daten das Unternehmen verlassen dürfen, aber in der EU bleiben müssen, und niemand GPUs betreiben will. Self-Hosting auf einem EU-GPU-Server liegt dazwischen.

Macht ein EU-Rechenzentrum die Lösung DSGVO-konform?

Nein. Eine EU-Region ist Datenresidenz, kein Rechtsurteil. Vertrag, Liste der Unterauftragnehmer, Speicherdauer und wer zugreifen kann, bleiben offen. Dieses Engagement ist die technische Seite. Es ist keine Rechtsberatung.

Welche Hardware braucht ein lokales Modell?

Das hängt vom Modell und von der Last ab. Ein kleines Open-Weight-Modell läuft auf einer modernen GPU. Ein größeres braucht einen GPU-Server mit genug Speicher für die Gewichte und den Kontext. Ich dimensioniere nach den Aufgaben, nicht nach einem Katalog.

Reichen Open-Weight-Modelle?

Für viele interne Aufgaben — zusammenfassen, extrahieren, klassifizieren, aus eigenen Dokumenten antworten — reichen aktuelle Open-Weight-Modelle. Das prüfen wir an Ihren echten Aufgaben, bevor das Statement of Work ein Modell festlegt. Die schwerste Reasoning-Arbeit kann auf einem Frontier-Modell bleiben, hinter dem Gateway, für Daten, die die EU verlassen dürfen.

Was kostet das?

Review und Aufbau stehen im Statement of Work, Preis auf Anfrage. Die Laufkosten sind entweder Token bei einer EU-API oder eine gemietete GPU. Der Vergleich der beiden ist ein Liefergegenstand.

Erster Schritt

Im Gespräch werden Daten und Anwendungsfälle benannt. Danach ein abgegrenztes Statement of Work.

Scope
Ein Produkt oder ein interner Assistent: die Daten, die ein Modell erreichen dürfen, und die Anwendungsfälle im Scope.
Liefergegenstände
Eine schriftliche Entscheidung je Anwendungsfall und das vereinbarte Hosting, Gateway oder der Chat.
Dauer
Vereinbart im Statement of Work.
Nicht enthalten
Ein Modell von Grund auf trainieren, Rechtsberatung, Hardware-Beschaffung und 24/7-Betrieb.
Preis
Auf Anfrage.

Wohin gehen Ihre Prompts?

📝 Oder Nachricht senden