Local & Custom LLMs

DSGVO-First für lokale LLMs

Wenn deine Daten regulierten Branchen unterliegen (Banking, Healthcare, Public Sector, oder einfach: “geht niemanden anders was an”), gehört das Modell ins eigene Netz. Wir bauen lokale LLM-Stacks, die ohne US-Cloud, ohne Schrems-II-Risiko, ohne Vendor-Lock-in laufen.

Hardware-Partner: PrimeLine Solutions

Für On-Prem-Inferenz arbeiten wir mit PrimeLine Solutions zusammen — GPU-Server und Multi-Node-Cluster, die genau auf euren Use-Case spezifiziert werden (Modellgröße, Concurrent-Users, Throughput). Wir schreiben die Spec, PrimeLine baut und liefert.

Wichtig für CFO-freundliche Setups: PrimeLine bietet neben dem klassischen Kauf auch Leasing-Modelle an. Das hilft besonders bei mittelständischen Projekten, wo OpEx statt CapEx gewünscht ist und die Hardware nicht in einem Schwung über die Bilanz soll. Wir vermitteln das Modell, das zu eurer Bilanz passt.

Wann eigenes Modell

• Compliance / Datenhoheit (DSGVO, DORA, AI Act)
• Hohe Volumina (>10M Tokens/Tag)
• Latenz-kritische Use-Cases
• Domain-Sprache, in der GPT-4 / Claude struggelt

Wann nicht

Wenn dein Use-Case mit einem kommerziellen Modell unter 5k€/Monat auskommt und kein Compliance-Driver da ist — bleib bei OpenAI/Anthropic. Wir sind ehrlich darin.

Häufige Fragen

Wann lohnt sich ein lokales LLM gegenüber einer Cloud-Lösung wie Azure OpenAI EU?

Wenn Compliance, Latenz oder Token-Kosten den Ausschlag geben. Regulierte Daten (Banking, Healthcare, Public Sector), die das Netz nicht verlassen dürfen, hohe Anfragevolumina, bei denen Cloud-Token teuer werden, oder Latenz-Anforderungen unter 200 ms sprechen für on-prem. Bei geringem Volumen und unkritischen Daten ist die EU-Cloud oft der günstigere Start — wir sagen ehrlich, was zu euch passt.

Welche Hardware brauchen wir für ein lokales LLM?

Das richtet sich nach Modellgröße und gleichzeitigen Anfragen. Für viele Mittelstands-Use-Cases reicht ein einzelner GPU-Server; größere Modelle oder hoher Durchsatz brauchen mehr. Wir dimensionieren gemeinsam und liefern das Deployment auf Wunsch mit Hardware von PrimeLine Solutions.

Wie nah kommt ein lokales Modell an GPT oder Claude heran?

Für breite, offene Aufgaben liegen die großen Cloud-Modelle vorn. Auf eine klar umrissene Domäne fine-getuned schließt ein lokales Modell die Lücke aber oft so weit, dass der Unterschied im Use-Case verschwindet — bei voller Datenhoheit und deutlich niedrigeren Kosten. Deshalb baut jeder unserer Stacks ein Eval-Harness pro Use-Case, das genau das misst, statt es zu behaupten.

Verlassen die Daten wirklich nie unser Netz?

Beim On-Prem-Deployment laufen Training, Fine-Tuning und Inferenz vollständig in eurer Infrastruktur — kein US-Cloud-Weg, kein Schrems-II-Risiko, kein Vendor-Lock-in. Genau das ist der Grund, warum diese Variante existiert.

Was kostet der Betrieb eines lokalen LLM?

Nach der Anfangsinvestition in Hardware fallen im Wesentlichen Strom und Wartung an — die Token-Kosten pro Anfrage sinken gegenüber der Cloud typischerweise um 70–95%. Ab welchem Anfragevolumen sich das rechnet, hängt am Use-Case; die Break-even-Rechnung machen wir vorab transparent.