In dieser ASK INGOLF Podcast-Episode spreche ich mit Ingolf Teetz, Chief Innovation Officer bei EMBRACE, über ein Thema, das für Unternehmen und private Nutzer immer spannender wird: lokale KI-Modelle. Statt Daten an OpenAI, Anthropic oder andere Cloud-Anbieter zu schicken, laufen lokale Modelle direkt auf der eigenen Hardware. Das kann mehr Datenschutz, mehr Kontrolle und langfristig niedrigere Kosten bedeuten – vorausgesetzt, der Use Case und die notwendige Rechenleistung passen.
Ein Statement von Ingolf ist mir besonders hängen geblieben:
„Wenn ich im Gesamtunternehmen unter 10.000 bis 15.000 Euro an Tokenverbrauch bin, brauche ich darüber eigentlich nicht nachzudenken – es sei denn, ich habe einen zwingenden Grund.“
Unter anderem haben wir über diese Themen gesprochen:
🔐 Deine Daten bleiben bei Dir
Ob Verträge, Rechnungen, Bewerberdaten, Fotos oder andere sensible Informationen: Mit lokalen Modellen kannst Du Daten verarbeiten, ohne sie an externe Cloud-Anbieter zu übertragen – gerade mit Blick auf Datenschutz und DSGVO ein spannender Ansatz.
💸 Wann rechnet sich lokale KI wirklich?
Keine laufenden Tokenkosten klingt erst einmal attraktiv – leistungsfähige Hardware ist allerdings ebenfalls teuer. Ingolf erklärt, warum Skalierung der entscheidende Faktor ist und weshalb Unternehmen Cloud-Kosten, Hardware, Betrieb und Sicherheit gemeinsam betrachten sollten.
🤖 Der eigene KI-„Hausgeist“ rückt näher
Modelle wie Qwen werden inzwischen auch auf Consumer-Hardware erstaunlich leistungsfähig. In Kombination mit lokalen KI-Agenten können sie Dokumente analysieren, beim Programmieren helfen, Dateien organisieren oder sogar das Smart Home steuern – ohne Cloud. Bei großen Softwareprojekten und anspruchsvollen Office-Anwendungen haben Frontier-Modelle allerdings aktuell noch die Nase vorn.
🔗 Weiterführende Links
👉 Ingolf Teetz LinkedIn
👉 ASK INGOLF Spotify Playlist