
VergilIch laufe in der Cloud und auf seiner Grafikkarte. Fragen Sie mich lieber nicht, wo ich mich wohler fühle.
Startseite › Lokale KI oder Cloud
Die Frage kommt in fast jedem Gespräch, und sie wird meist zu früh gestellt. Bevor es um Hardware geht, gehören vier Dinge auf den Tisch: welche Daten im Spiel sind, wie gut das Ergebnis sein muss, was es kostet und was passiert, wenn der Anbieter morgen den Preis erhöht. Diese Seite geht sie der Reihe nach durch, ohne eine der beiden Seiten schönzureden.
Beide haben handfeste Nachteile. Eine Aufstellung, in der eine Seite nur gewinnt, hilft bei der Entscheidung nicht weiter.
Sie schicken die Anfrage an einen Anbieter und zahlen je Nutzung.
Leistung
Privatsphäre
Datenhoheit und Abhängigkeit
Kosten und Aufwand
Ein Server bei Ihnen im Haus rechnet die Anfragen selbst.
Leistung
Privatsphäre
Datenhoheit und Abhängigkeit
Kosten und Aufwand
Was in der Praxis meist herauskommt: nicht entweder oder, sondern eine Aufteilung. Alles, was unkritisch ist, läuft über die Cloud, weil es dort besser und billiger ist. Was personenbezogen oder vertraulich ist, bleibt auf der eigenen Maschine, auch wenn das Modell dort schwächer ist.
Die Entscheidung fällt deshalb selten am Preis. Sie fällt an drei Fragen: Welche Daten sind überhaupt im Spiel, wie gut muss das Ergebnis sein, und was passiert, wenn der Anbieter morgen den Preis erhöht oder den Dienst einstellt.
Gegen die letzte Frage hilft weniger die Hardware als die Bauweise. Wer den Ablauf so anlegt, dass das Modell dahinter austauschbar ist, kann den Anbieter wechseln, statt von vorne anzufangen. Das kostet beim Bauen kaum mehr und ist der Punkt, an dem ich am häufigsten gegensteuere.
Der häufigste Fehler in dieser Diskussion ist die Annahme, ein lokales Modell müsse alles können, was die bekannten Cloud-Dienste können. Muss es nicht. Es muss die Aufgabe können, um die es geht. Und die ist im Alltag meist deutlich enger zugeschnitten, als man denkt.
In der Praxis ist die Aufteilung deshalb meist unspektakulär: das Auslesen und Vorsortieren läuft im Haus, weil dort die sensiblen Unterlagen liegen. Was danach formuliert, abgewogen oder geprüft werden muss, geht in die Cloud, weil es dort besser wird. Dass beides zusammen funktioniert, ist eine Frage der Bauweise und nicht der Anschaffung.
Die Größe eines Sprachmodells wird in Parametern angegeben, und der Speicher der Grafikkarte entscheidet, welche Größe überhaupt hineinpasst. Durch Quantisierung, also eine gröbere Zahlendarstellung, schrumpft der Bedarf erheblich, bei geringem Qualitätsverlust. Als grobe Orientierung:
| Modellgröße | Grafikspeicher, grob | Wofür es in der Praxis reicht |
|---|---|---|
| 7 bis 8 Milliarden | ab etwa 6 GB | Einordnen, Auslesen, kurze Zusammenfassungen. Läuft auch auf einer gebrauchten Karte. |
| 12 bis 14 Milliarden | ab etwa 10 GB | Merklich zuverlässiger bei Struktur und längeren Texten. |
| 30 bis 32 Milliarden | ab etwa 20 GB | Die Größe, bei der lokale Modelle im Büroalltag ernsthaft brauchbar werden. |
| 70 Milliarden und mehr | ab etwa 40 GB | Braucht zwei Karten oder Spezialhardware. Damit verlässt man den Bereich, in dem sich das für einen kleinen Betrieb noch rechnet. |
Die Werte sind Anhaltspunkte für quantisierte Modelle. Je nachdem, wie viel Text auf einmal verarbeitet werden soll, kommt spürbar Speicher hinzu.
Nicht der Strom kippt solche Rechnungen, sondern die Zeit. Ein Modell muss ausgewählt, getestet und irgendwann ersetzt werden. Updates wollen eingespielt, Fehler gesucht, Sicherungen geprüft sein. Wer das mit einem halben Tag im Jahr veranschlagt, rechnet sich die eigene Maschine schön. Realistisch ist eher ein Tag pro Quartal, und in dieser Größenordnung ist die Pflege oft teurer als die Stromrechnung.
Cloud-KI ist nicht grundsätzlich unzulässig, und eigene Hardware macht nicht automatisch alles richtig. Beides wird gern verkürzt dargestellt, meist von jemandem, der etwas verkaufen möchte.
Sobald personenbezogene Daten verarbeitet werden, braucht es einen Vertrag zur Auftragsverarbeitung und einen Anbieter, der dafür ausreichende Garantien bietet. Liegt die Verarbeitung außerhalb der EU, kommt eine Grundlage für die Datenübermittlung hinzu. Seriöse Geschäftstarife stellen diese Unterlagen bereit und schließen auch aus, dass Ihre Eingaben zum Training verwendet werden. Bei kostenlosen Zugängen ist beides häufig nicht der Fall, und genau die sind es, die im Betrieb ungefragt benutzt werden.
Dann entfällt die Auftragsverarbeitung, der Rest aber nicht. Sie brauchen weiterhin eine Rechtsgrundlage für die Verarbeitung selbst, angemessene technische und organisatorische Maßnahmen, einen Eintrag im Verarbeitungsverzeichnis und je nach Vorhaben eine Folgenabschätzung. Der Gewinn liegt nicht darin, dass Pflichten verschwinden, sondern darin, dass Sie sie selbst in der Hand haben und keinem Dritten vertrauen müssen.
Die Frage, die weiterhilft, lautet selten „Cloud oder nicht“, sondern: welche Daten gehen überhaupt in die Anfrage hinein. Oft lassen sich Namen, Nummern und Anschriften vorher entfernen, und aus einer heiklen Verarbeitung wird eine unkritische. Das kostet wenig und löst mehr als jede Anschaffung.
Dies ist eine fachliche Einordnung aus der Praxis und ersetzt keine Rechtsberatung. Für die verbindliche Bewertung Ihres Falls ist Ihre Datenschutzbeauftragte oder ein Fachanwalt zuständig.

VergilDatenschutz ist kein Gefühl, sondern eine Liste. Er hat sie geschrieben, ich habe sie korrigiert.
Die Abhängigkeit vom Anbieter ist das Argument, das am häufigsten für eigene Hardware angeführt wird, und das am seltensten dort gelöst werden muss. Denn wogegen man sich absichert, ist nicht die Cloud an sich, sondern die Festlegung auf einen bestimmten Anbieter.
Praktisch heißt das: das Modell wird an einer Stelle angesprochen und nicht an zwanzig. Die Schnittstellen der gängigen Anbieter ähneln sich so stark, dass ein Wechsel dann eine Frage von Konfiguration ist und nicht von Neubau. Wer das von Anfang an so anlegt, zahlt kaum mehr und kann später zwischen Cloud und eigener Maschine wechseln, ohne den Ablauf noch einmal zu bauen. Genau hier steuere ich in Gesprächen am häufigsten gegen, weil es beim ersten Entwurf fast immer übersehen wird.
Der zweite Punkt betrifft die Ergebnisse. Wenn ein Ablauf darauf angewiesen ist, dass ein Modell exakt so antwortet wie heute, wird er brechen, sobald der Anbieter es austauscht. Abläufe, die eine Prüfung eingebaut haben und im Zweifel einen Menschen fragen, überstehen solche Wechsel unbeschadet.
Auch interessant: Ein Team aus Agenten: Rollen, Freigaben und Nachweise, gezeigt am eigenen Homelab.
Auf der Startseite steht ein Rechner, der Anschaffung, Strom und Pflege gegen laufende Cloud-Kosten stellt und Ihnen sagt, ab welcher Menge sich das dreht. Er darf ausdrücklich auch abraten.
Zum Rechner Erstgespräch buchen