Vergil, Kupferstich

VergilIch laufe in der Cloud und auf seiner Grafikkarte. Fragen Sie mich lieber nicht, wo ich mich wohler fühle.

Startseite › Lokale KI oder Cloud

Lokale KI oder Cloud?

Die Frage kommt in fast jedem Gespräch, und sie wird meist zu früh gestellt. Bevor es um Hardware geht, gehören vier Dinge auf den Tisch: welche Daten im Spiel sind, wie gut das Ergebnis sein muss, was es kostet und was passiert, wenn der Anbieter morgen den Preis erhöht. Diese Seite geht sie der Reihe nach durch, ohne eine der beiden Seiten schönzureden.

Die beiden Wege nebeneinander

Beide haben handfeste Nachteile. Eine Aufstellung, in der eine Seite nur gewinnt, hilft bei der Entscheidung nicht weiter.

Modell in der Cloud

Sie schicken die Anfrage an einen Anbieter und zahlen je Nutzung.

Leistung

  • Die stärksten verfügbaren Modelle, ohne eigene Anschaffung. Auch lange Texte, mehrstufige Recherche und Programmcode sind belastbar.
  • Lastspitzen sind kein Thema. Hundert Anfragen gleichzeitig kosten mehr, dauern aber nicht länger.
  • Modelle werden vom Anbieter ausgetauscht, ohne dass Sie gefragt werden. Ergebnisse können sich dadurch verändern, auch bei gleicher Eingabe.

Privatsphäre

  • Die Daten verlassen das Haus. Bei personenbezogenen Daten braucht es einen Auftragsverarbeitungsvertrag und einen Anbieter, der in der EU verarbeitet.
  • Ob Ihre Eingaben zum Training verwendet werden, steht in den Bedingungen und kann sich ändern. Geschäftstarife schließen das meist aus, kostenlose Zugänge oft nicht.

Datenhoheit und Abhängigkeit

  • Der Preis ist nicht Ihrer. Tarife können erhöht oder umgestellt werden. Was heute kalkuliert ist, kann in einem Jahr anders aussehen, und der Ablauf läuft ja weiter.
  • Modelle werden abgekündigt. Ist ein Ablauf auf ein bestimmtes Modell abgestimmt, muss er nachgearbeitet werden, wenn der Anbieter es abschaltet. Die Fristen dafür setzt nicht Ihr Kalender.
  • Der Zugang kann wegfallen, durch geänderte Nutzungsbedingungen, ein Zahlungsproblem, eine Ausfallstörung oder weil der Anbieter den Dienst einstellt. Wer nichts vorbereitet hat, steht in dem Moment still.
  • Was einmal übertragen wurde, holen Sie nicht zurück.
  • Ein Wechsel ist machbar, solange man nicht auf Besonderheiten eines einzelnen Anbieters baut. Die Schnittstellen ähneln sich stark.

Kosten und Aufwand

  • Kein Kapital gebunden, sofort einsatzbereit, keine Wartung.
  • Wer wenig nutzt, zahlt wenig. Ein Versuch kostet fast nichts.
  • Die Kosten laufen dauerhaft mit und steigen mit dem Erfolg.

Modell auf eigener Hardware

Ein Server bei Ihnen im Haus rechnet die Anfragen selbst.

Leistung

  • Für Zusammenfassen, Einordnen, Auslesen und Vorsortieren reicht ein lokales Modell in aller Regel aus. Genau das sind die Aufgaben, die im Alltag Zeit fressen.
  • Der Modellstand bleibt stabil, solange Sie ihn nicht ändern. Was gestern funktioniert hat, funktioniert morgen genauso.
  • Bei gleichem Geld ist ein lokales Modell spürbar schwächer. Für anspruchsvolle Texte, längeres Schlussfolgern oder komplexen Code reicht es meist nicht.
  • Bei Lastspitzen wird gewartet. Die Karte rechnet eine Anfrage nach der anderen.

Privatsphäre

  • Die Daten bleiben im Haus. Kein Auftragsverarbeitungsvertrag, kein Drittland, keine Frage, was der Anbieter damit macht.
  • Damit sind auch Unterlagen bearbeitbar, die man einem Cloud-Dienst nicht anvertrauen würde: Personalakten, Verträge, Patientendaten.

Datenhoheit und Abhängigkeit

  • Abschalten kann das niemand. Das Modell liegt auf Ihrer Platte und rechnet weiter, auch wenn der Anbieter den Dienst einstellt, die Preise verdoppelt oder es die Firma nicht mehr gibt.
  • Der Preis steht am Tag des Kaufs fest. Danach ändert ihn keiner mehr.
  • Kein Ablauf hängt an fremden Nutzungsbedingungen, die sich ändern können.
  • Die Verantwortung liegt bei Ihnen: Ausfall, Backup, Absicherung. Steht die Maschine, hält niemand anderes den Betrieb am Laufen.
  • Neue Modellversionen können unter anderen Lizenzbedingungen erscheinen. Was heruntergeladen ist, bleibt nutzbar, der Nachschub ist aber nicht garantiert.

Kosten und Aufwand

  • Die Kosten sind planbar und gedeckelt, egal wie viel genutzt wird.
  • Funktioniert auch ohne Internetverbindung.
  • Das Geld ist im Voraus gebunden und die Hardware verliert an Wert, ob sie rechnet oder nicht.
  • Pflege bindet Zeit: Updates, Modellwechsel, Fehlersuche. Das ist der Posten, der in solchen Rechnungen am häufigsten fehlt.

Was in der Praxis meist herauskommt: nicht entweder oder, sondern eine Aufteilung. Alles, was unkritisch ist, läuft über die Cloud, weil es dort besser und billiger ist. Was personenbezogen oder vertraulich ist, bleibt auf der eigenen Maschine, auch wenn das Modell dort schwächer ist.

Die Entscheidung fällt deshalb selten am Preis. Sie fällt an drei Fragen: Welche Daten sind überhaupt im Spiel, wie gut muss das Ergebnis sein, und was passiert, wenn der Anbieter morgen den Preis erhöht oder den Dienst einstellt.

Gegen die letzte Frage hilft weniger die Hardware als die Bauweise. Wer den Ablauf so anlegt, dass das Modell dahinter austauschbar ist, kann den Anbieter wechseln, statt von vorne anzufangen. Das kostet beim Bauen kaum mehr und ist der Punkt, an dem ich am häufigsten gegensteuere.

Was auf eigener Hardware tatsächlich gut läuft

Der häufigste Fehler in dieser Diskussion ist die Annahme, ein lokales Modell müsse alles können, was die bekannten Cloud-Dienste können. Muss es nicht. Es muss die Aufgabe können, um die es geht. Und die ist im Alltag meist deutlich enger zugeschnitten, als man denkt.

Trägt lokal

  • Eingehende Dokumente einordnen, verschlagworten und der richtigen Ablage zuweisen
  • Aus Rechnungen und Lieferscheinen Felder auslesen
  • Lange Texte und Protokolle zusammenfassen
  • Freitext in eine feste Struktur bringen, etwa Tickets oder Formulare vorsortieren
  • Entwürfe für wiederkehrende Standardschreiben
  • Suchen, die den Sinn und nicht nur das Stichwort treffen

Trägt lokal meist nicht

  • Texte, die ohne Nacharbeit nach außen gehen sollen
  • Programmcode von einiger Größe
  • Aufgaben mit vielen Zwischenschritten, bei denen ein Fehler am Anfang alles Weitere verdirbt
  • Recherche, die mehrere Quellen gegeneinander abwägen muss
  • Alles, was unter Zeitdruck viele Anfragen gleichzeitig beantworten soll

In der Praxis ist die Aufteilung deshalb meist unspektakulär: das Auslesen und Vorsortieren läuft im Haus, weil dort die sensiblen Unterlagen liegen. Was danach formuliert, abgewogen oder geprüft werden muss, geht in die Cloud, weil es dort besser wird. Dass beides zusammen funktioniert, ist eine Frage der Bauweise und nicht der Anschaffung.

Was die Hardware wirklich begrenzt

Die Größe eines Sprachmodells wird in Parametern angegeben, und der Speicher der Grafikkarte entscheidet, welche Größe überhaupt hineinpasst. Durch Quantisierung, also eine gröbere Zahlendarstellung, schrumpft der Bedarf erheblich, bei geringem Qualitätsverlust. Als grobe Orientierung:

ModellgrößeGrafikspeicher, grobWofür es in der Praxis reicht
7 bis 8 Milliardenab etwa 6 GBEinordnen, Auslesen, kurze Zusammenfassungen. Läuft auch auf einer gebrauchten Karte.
12 bis 14 Milliardenab etwa 10 GBMerklich zuverlässiger bei Struktur und längeren Texten.
30 bis 32 Milliardenab etwa 20 GBDie Größe, bei der lokale Modelle im Büroalltag ernsthaft brauchbar werden.
70 Milliarden und mehrab etwa 40 GBBraucht zwei Karten oder Spezialhardware. Damit verlässt man den Bereich, in dem sich das für einen kleinen Betrieb noch rechnet.

Die Werte sind Anhaltspunkte für quantisierte Modelle. Je nachdem, wie viel Text auf einmal verarbeitet werden soll, kommt spürbar Speicher hinzu.

Der Posten, der fast immer fehlt

Nicht der Strom kippt solche Rechnungen, sondern die Zeit. Ein Modell muss ausgewählt, getestet und irgendwann ersetzt werden. Updates wollen eingespielt, Fehler gesucht, Sicherungen geprüft sein. Wer das mit einem halben Tag im Jahr veranschlagt, rechnet sich die eigene Maschine schön. Realistisch ist eher ein Tag pro Quartal, und in dieser Größenordnung ist die Pflege oft teurer als die Stromrechnung.

Datenschutz, nüchtern betrachtet

Cloud-KI ist nicht grundsätzlich unzulässig, und eigene Hardware macht nicht automatisch alles richtig. Beides wird gern verkürzt dargestellt, meist von jemandem, der etwas verkaufen möchte.

Wenn Daten zu einem Anbieter gehen

Sobald personenbezogene Daten verarbeitet werden, braucht es einen Vertrag zur Auftragsverarbeitung und einen Anbieter, der dafür ausreichende Garantien bietet. Liegt die Verarbeitung außerhalb der EU, kommt eine Grundlage für die Datenübermittlung hinzu. Seriöse Geschäftstarife stellen diese Unterlagen bereit und schließen auch aus, dass Ihre Eingaben zum Training verwendet werden. Bei kostenlosen Zugängen ist beides häufig nicht der Fall, und genau die sind es, die im Betrieb ungefragt benutzt werden.

Wenn die Daten im Haus bleiben

Dann entfällt die Auftragsverarbeitung, der Rest aber nicht. Sie brauchen weiterhin eine Rechtsgrundlage für die Verarbeitung selbst, angemessene technische und organisatorische Maßnahmen, einen Eintrag im Verarbeitungsverzeichnis und je nach Vorhaben eine Folgenabschätzung. Der Gewinn liegt nicht darin, dass Pflichten verschwinden, sondern darin, dass Sie sie selbst in der Hand haben und keinem Dritten vertrauen müssen.

Die Frage, die weiterhilft, lautet selten „Cloud oder nicht“, sondern: welche Daten gehen überhaupt in die Anfrage hinein. Oft lassen sich Namen, Nummern und Anschriften vorher entfernen, und aus einer heiklen Verarbeitung wird eine unkritische. Das kostet wenig und löst mehr als jede Anschaffung.

Dies ist eine fachliche Einordnung aus der Praxis und ersetzt keine Rechtsberatung. Für die verbindliche Bewertung Ihres Falls ist Ihre Datenschutzbeauftragte oder ein Fachanwalt zuständig.

Vergil, Kupferstich

VergilDatenschutz ist kein Gefühl, sondern eine Liste. Er hat sie geschrieben, ich habe sie korrigiert.

Bauen, ohne sich zu binden

Die Abhängigkeit vom Anbieter ist das Argument, das am häufigsten für eigene Hardware angeführt wird, und das am seltensten dort gelöst werden muss. Denn wogegen man sich absichert, ist nicht die Cloud an sich, sondern die Festlegung auf einen bestimmten Anbieter.

Praktisch heißt das: das Modell wird an einer Stelle angesprochen und nicht an zwanzig. Die Schnittstellen der gängigen Anbieter ähneln sich so stark, dass ein Wechsel dann eine Frage von Konfiguration ist und nicht von Neubau. Wer das von Anfang an so anlegt, zahlt kaum mehr und kann später zwischen Cloud und eigener Maschine wechseln, ohne den Ablauf noch einmal zu bauen. Genau hier steuere ich in Gesprächen am häufigsten gegen, weil es beim ersten Entwurf fast immer übersehen wird.

Der zweite Punkt betrifft die Ergebnisse. Wenn ein Ablauf darauf angewiesen ist, dass ein Modell exakt so antwortet wie heute, wird er brechen, sobald der Anbieter es austauscht. Abläufe, die eine Prüfung eingebaut haben und im Zweifel einen Menschen fragen, überstehen solche Wechsel unbeschadet.

Auch interessant: Ein Team aus Agenten: Rollen, Freigaben und Nachweise, gezeigt am eigenen Homelab.

Rechnen Sie es für Ihren Fall durch

Auf der Startseite steht ein Rechner, der Anschaffung, Strom und Pflege gegen laufende Cloud-Kosten stellt und Ihnen sagt, ab welcher Menge sich das dreht. Er darf ausdrücklich auch abraten.

Zum Rechner Erstgespräch buchen