Zum Inhalt
NeuWir haben unsere eigene Website geprüft wie einen Kundenauftrag

KI im Unternehmen, ohne dass die Daten das Haus verlassen

Warum wir KI-Modelle self-hosted betreiben statt über amerikanische Anbieter — und wann sich das rechnet. Ein Erfahrungsbericht aus Projekten mit Schülerdaten und regulierten Betrieben.

Raphael Lugmayr 3 min Lesezeit

Es gibt einen Moment in fast jedem Gespräch über KI, in dem es still wird. Er kommt, wenn jemand fragt: „Und wo landet das dann?”

Meistens folgt eine Antwort über Verschlüsselung und Zertifikate. Die richtige Antwort wäre die Adresse eines Rechenzentrums.

Warum die Frage nicht paranoid ist

Wir bauen Software für Gemeinden und Schulen. Wenn dort ein Assistent Anmeldungen zusammenfasst, sind das Daten von Kindern. Die Frage „welcher Anbieter sieht das” ist keine Vorsicht, sondern die erste Prüfung, die jede Vergabestelle macht.

Dasselbe gilt in kleinerem Maßstab für jeden Betrieb, der über KI nachdenkt: Angebotsdaten, Kundenkorrespondenz, Kalkulationen. Nichts davon ist geheim im dramatischen Sinn. Alles davon möchte man nicht in einem Trainingsdatensatz haben — und die Zusicherungen dazu ändern sich schneller als die Verträge.

Was „lokal” konkret heißt

Ein Sprachmodell auf eigener Infrastruktur laufen zu lassen ist 2026 keine Forschungsleistung mehr. Es ist ein Docker-Container.

Der Aufbau in der Praxis:

  • Ein Server in Europa — bei uns typischerweise Deutschland oder Österreich, je nach Auftraggeber
  • Ein offenes Modell, das lokal läuft
  • Eine Schnittstelle, die die Anwendung anspricht
  • Keine ausgehende Verbindung zu einem Modellanbieter

Der Unterschied zur Cloud-Variante ist nicht die Qualität der Antworten. Es ist, dass die Antwort auf „wo landet das” eine Adresse ist statt einer Vertragsklausel.

Wann es sich rechnet — und wann nicht

Hier wird meistens gelogen, in beide Richtungen. Deshalb konkret:

Lokal rechnet sich, wenn:

  • Die Daten es verlangen. Schülerdaten, Gesundheitsdaten, Personaldaten. Hier ist es keine Kostenfrage, sondern eine Zulässigkeitsfrage.
  • Die Aufgabe eng ist. Zusammenfassen, klassifizieren, extrahieren, umformulieren — dafür reichen kleine Modelle, die auf bescheidener Hardware laufen.
  • Das Volumen stabil ist. Ein Server kostet monatlich dasselbe, egal wie oft er gefragt wird. Ab einer gewissen Nutzung ist das schlicht billiger.
  • Es dauerhaft laufen soll. Ein Anbieter kann seine Preise ändern, sein Modell abkündigen oder seine Bedingungen anpassen. Ein Container, den Sie besitzen, tut das nicht.

Lokal rechnet sich nicht, wenn:

  • Sie das beste Modell brauchen. Die großen kommerziellen Modelle sind bei schwierigen Aufgaben besser. Wer das bestreitet, verkauft etwas.
  • Die Nutzung sporadisch ist. Ein Server, der zehnmal im Monat gefragt wird, ist teurer als zehn API-Aufrufe. Deutlich teurer.
  • Sie es ausprobieren. Für einen Versuch nimmt man die Cloud. Self-Hosting ist eine Entscheidung für den Betrieb, nicht für das Experiment.
  • Niemand den Server betreut. Das ist der ehrlichste Punkt. Ein selbst betriebenes Modell ist Infrastruktur — mit Updates, Überwachung und jemandem, der zuständig ist. Wer das nicht hat, hat kein Datenschutz-Argument, sondern ein Wartungsproblem.

Wie wir das selbst handhaben

Wir schreiben unsere Werkzeuge selbst. nerve ist ein KI-Coding-Assistent in Rust, forge-ai orchestriert mehrere Assistenten, nous läuft lokal ohne fremde Schlüssel. Alles offen einsehbar auf github.com/Artaeon.

Der Grund ist nicht Prinzipienreiterei. Es ist, dass wir dieselbe Frage beantworten müssen wie unsere Kunden: Wo landet das? Wer ein Werkzeug benutzt, dessen Innenleben er nicht kennt, kann diese Frage nicht beantworten — er kann sie nur weiterreichen.

Der zweite Grund ist praktischer: Wer seine Werkzeuge selbst schreibt, versteht ihre Grenzen. Das ist der Unterschied zwischen „KI hat das gemacht” und „ich weiß, warum das rausgekommen ist”.

Was das für ein KMU bedeutet

Die ehrliche Zusammenfassung:

Wenn Sie KI ausprobieren wollen — nehmen Sie einen Cloud-Anbieter. Es ist billiger, schneller und Sie lernen, ob die Aufgabe überhaupt taugt.

Wenn die Aufgabe taugt und Daten im Spiel sind, die Sie im Haus behalten müssen oder wollen — dann ist lokal keine Ideologie, sondern die einzige Variante, die Sie einer Prüfung standhalten lässt.

Und wenn Ihnen jemand sagt, lokal sei immer besser oder immer schlechter: Der hat entweder etwas zu verkaufen oder es noch nie betrieben.

Womit wir arbeiten, steht auf Technologien — inklusive dem, was wir bewusst nicht anfassen.

KILLMSelf-HostingDSGVODatenschutzOllamaKMU