{"id":1027,"date":"2025-06-03T18:43:00","date_gmt":"2025-06-03T18:43:00","guid":{"rendered":"https:\/\/anwi.gmbh\/?p=1027"},"modified":"2025-06-06T09:39:40","modified_gmt":"2025-06-06T09:39:40","slug":"aufbau-eines-ki-assistenten-mit-fokus-auf-datenschutz","status":"publish","type":"post","link":"https:\/\/anwi.gmbh\/?p=1027&lang=de","title":{"rendered":"Aufbau eines KI-Assistenten mit Fokus auf Datenschutz"},"content":{"rendered":"

Ich habe mit einem Problem gerungen, das mich nachts wach h\u00e4lt: Wie kann ich leistungsstarke KI-Tools nutzen, ohne meine sensibelsten Daten an Tech-Giganten auszuliefern?<\/b> Je mehr ich ChatGPT, Claude und andere Cloud-KI-Dienste nutzte, desto unbehaglicher wurde mir. Jedes Dokument, das ich hochlud, wurde auf den Servern von jemand anderem verarbeitet. <\/p>\n

\n

\"2025-06-03_18-52-39_private-ai_illustration.png\" <\/p>\n<\/p><\/div>\n

\n

Motivation: Warum ich die Kontrolle zur\u00fcckerobern musste<\/h2>\n
\n

Dieses ganze Projekt begann aus Frustration. Ich arbeitete an vertraulichen Gesch\u00e4ftsdokumenten und stellte fest, dass ich keines der KI-Tools verwenden konnte, auf die ich mich verlassen hatte. Die Abh\u00e4ngigkeit von einem bestimmten Anbieter wurde zu einem echten Problem – jeder Anbieter hatte seine eigene API, seine eigenen Preise und seine eigenen Einschr\u00e4nkungen. Ich f\u00fchlte mich gefangen, und meine monatlichen KI-Rechnungen stiegen immer weiter an. <\/p>\n

Ich begann zu \u00fcberlegen: Was w\u00e4re, wenn es eine M\u00f6glichkeit g\u00e4be, das Beste aus beiden Welten zu bekommen? Ich k\u00f6nnte die leistungsstarken KI-Funktionen behalten, aber alles \u00fcber meine eigene Infrastruktur laufen lassen. Da entdeckte ich LibreChat und beschloss, etwas zu entwickeln, das mir die volle Kontrolle geben w\u00fcrde – und eine Vorlage zu schaffen, der andere Unternehmen mit \u00e4hnlichen Herausforderungen folgen k\u00f6nnten. <\/p>\n<\/div>\n<\/div>\n

\n

Was ich gebaut habe: Eine Blaupause f\u00fcr private KI<\/h2>\n
\n

Das Private-AI Projekt wurde meine Antwort auf dieses Dilemma. Ich habe ein selbstgehostetes LibreChat-Setup auf AWS eingerichtet, das mir Zugriff auf mehrere KI-Modelle bietet und gleichzeitig die Daten unter meiner Kontrolle h\u00e4lt. LibreChat<\/a> ist ein ziemlich cooles Open-Source-Projekt, eine Chat-Plattform im Stil von ChatGPT mit einer ausgereiften, professionellen Basis, die vollen Datenschutz und umfassende Konfigurierbarkeit erm\u00f6glicht. <\/p>\n

Was als pers\u00f6nliche L\u00f6sung begann, wurde schnell zu etwas Gr\u00f6\u00dferem – ein reproduzierbarer Entwurf f\u00fcr jedes Unternehmen, das mit den gleichen Kompromissen zwischen Datenschutz und Leistungsf\u00e4higkeit zu k\u00e4mpfen hat. <\/p>\n

Das ist mein Ergebnis: LibreChat, ein innovatives Open-Source-Projekt, das eine Webschnittstelle bietet, die mit ChatGPT konkurriert, aber auf einem eigenen Server l\u00e4uft. Mit dieser konkurrenzf\u00e4higen Alternative kann man nahtlos zwischen lokalen Modellen, Cloud-Modellen von AWS Bedrock und \u00f6ffentlichen KI-Anbietern wie Antrophic oder OpenAi wechseln. Wenn man mit sensiblen Dokumenten arbeiten, bleibt alles lokal. Wenn man die Leistung von Claude oder GPT-4 ben\u00f6tigt, kann man auch diese nutzen. <\/p>\n

Die Einrichtung umfasst eine Dokumentenverarbeitung, bei der man PDFs hochladen und mit ihnen chatten k\u00f6nnen, ohne dass die Dateien jemals den eingenen Server verlassen. Alles l\u00e4uft in Docker-Containern mit entsprechender Benutzerverwaltung – perfekt f\u00fcr Teams, die zusammenarbeiten und gleichzeitig die Datenhoheit behalten m\u00fcssen. <\/p>\n<\/div>\n<\/div>\n

\n

Die Schnittstelle: Wie es tats\u00e4chlich aussieht<\/h2>\n
\n

LibreChat bietet mir eine saubere, vertraute Oberfl\u00e4che, die sich genauso anf\u00fchlt wie die von ChatGPT oder Claude. Ich kann verschiedene KI-Modelle aus einer Dropdown-Liste ausw\u00e4hlen, benutzerdefinierte Agenten mit spezifischen Pers\u00f6nlichkeiten erstellen und alle meine Unterhaltungen an einem Ort verwalten. <\/p>\n

\n

\"2025-06-03_18-34-27_LibreChatUI.png\" <\/p>\n<\/p><\/div>\n

Was ich am meisten liebe, ist die Flexibilit\u00e4t. Morgens verwende ich vielleicht ein lokales Ollama-Modell f\u00fcr das Brainstorming (wobei alles privat bleibt), dann wechsle ich zu Claude f\u00fcr komplexe Analysen und dann wieder zu einem lokalen Modell f\u00fcr die Dokumentenverarbeitung. Die Schnittstelle macht das nahtlos. <\/p>\n

Die Funktion zum Hochladen von Dokumenten war f\u00fcr mich ein gro\u00dfer Fortschritt. Ich kann PDFs per Drag & Drop hochladen, und das System erstellt die Einbettungen lokal auf meinem Server. Dann kann ich Fragen zum Inhalt stellen, ohne dass das Dokument jemals mit externen Servern in Ber\u00fchrung kommt. Das war genau das, was ich f\u00fcr die Arbeit mit vertraulichen Materialien brauchte. <\/p>\n<\/div>\n<\/div>\n

\n

Die technische Einrichtung: Einfacher, als man denkt<\/h2>\n
\n

Ich habe dieses Projekt auf AWS mit einer ziemlich einfachen Architektur aufgebaut. Alles l\u00e4uft in Docker-Containern auf einer einzigen EC2-Instanz, was die Verwaltung viel einfacher macht, als ich anfangs dachte. <\/p>\n

\n

\"2025-06-03_18-35-14_aws-architecture.png\" <\/p>\n<\/p><\/div>\n

Die AWS-Einrichtung ist sauber – eine EC2-Instanz mit den richtigen Sicherheitsgruppen, eine elastische IP, damit sich die Adresse nicht \u00e4ndert, und IAM-Rollen, die den Server mit AWS Bedrock-Modellen kommunizieren lassen. Anfangs habe ich viel zu viel Zeit damit verbracht, die Vernetzung zu kompliziert zu gestalten, aber der einfache Ansatz hat am besten funktioniert. <\/p>\n

\n

\"2025-06-03_18-36-15_docker-architecture.png\" <\/p>\n<\/p><\/div>\n

Auf dem Docker-Setup l\u00e4uft LibreChat als Hauptanwendung, MongoDB zum Speichern von Konversationen und nginx als Reverse-Proxy mit SSL. Wenn ich lokale KI-Modelle verwenden m\u00f6chte, f\u00fcge ich Ollama-Container hinzu, die die GPU nutzen k\u00f6nnen. Alles kommuniziert miteinander \u00fcber Docker-Netzwerke, was f\u00fcr Sicherheit und Ordnung sorgt. <\/p>\n<\/div>\n<\/div>\n

\n

Aufstocken: Aus meinen Fehlern lernen<\/h2>\n
\n

Eine meiner wichtigsten Lektionen war die Dimensionierung der Server. Ich begann mit einer winzigen `t3.medium`-Instanz und dachte, das w\u00fcrde reichen. Falsch gedacht. Sobald ich versuchte, lokale KI-Modelle auszuf\u00fchren, kam alles zum Stillstand. <\/p>\n\n\n\n\n\n\n\n<\/colgroup>\n\n\n\n\n\n\n
Instanztyp<\/th>\nvCPUs<\/th>\nSpeicher<\/th>\nGPU<\/th>\nWof\u00fcr ich es benutzte<\/th>\n<\/tr>\n<\/thead>\n
t3.medium<\/b><\/b><\/td>\n2<\/td>\n4 GB<\/td>\nKeine<\/td>\nEinfache Tests, nur Cloud-Modelle<\/td>\n<\/tr>\n
g4dn.xlarge<\/b><\/b><\/td>\n4<\/td>\n16 GB<\/td>\nNVIDIA T4 (16 GB)<\/td>\nLokale Modelle, Dokumentenverarbeitung<\/td>\n<\/tr>\n
g6.12xlarge<\/b><\/b><\/td>\n48<\/td>\n192 GB<\/td>\n4x NVIDIA L4 (96 GB insgesamt)<\/td>\nHohe Arbeitslast, mehrere Benutzer<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Die \u201et3.medium\u201c war f\u00fcr die Weboberfl\u00e4che und die Verwendung von Cloud-Modellen gut geeignet, aber vergessen Sie alles, was lokal ausgef\u00fchrt wird. Als ich auf `g4dn.xlarge` mit einer GPU aufr\u00fcstete, konnte ich pl\u00f6tzlich kleine Sprachmodelle ausf\u00fchren und Dokumente lokal verarbeiten. Das war ein Unterschied wie Tag und Nacht. <\/p>\n

F\u00fcr die letzte Testphase habe ich mir eine Instanz von \u201eg6.12xlarge\u201c zugelegt. Dieses Unget\u00fcm konnte mehrere gro\u00dfe Modelle gleichzeitig verarbeiten und f\u00fchlte sich an wie eine richtige KI-Workstation in der Cloud. Die Kosten haben mich zu Tr\u00e4nen ger\u00fchrt, aber f\u00fcr ernsthafte Arbeit ist es das wert. <\/p>\n

Mein Rat: Fangen Sie klein an, um alles zu testen, und erh\u00f6hen Sie dann die Gr\u00f6\u00dfe, je nachdem, was Sie tats\u00e4chlich brauchen. Das Sch\u00f6ne an diesem Ansatz ist, dass das Upgrade nur ein paar Terraform-Befehle erfordert. <\/p>\n

Der Umstieg auf die g6.12xlarge war wie der Wechsel von einem Fahrrad zu einem Ferrari. Vier NVIDIA L4-GPUs mit 96 GB Videospeicher bedeuteten, dass ich mehrere gro\u00dfe Modelle gleichzeitig ausf\u00fchren konnte, ohne ins Schwitzen zu kommen. Pl\u00f6tzlich konnte ich Modelle in der Gr\u00f6\u00dfe von Claude lokal laufen lassen und gleichzeitig mehrere Benutzer bedienen. <\/p>\n

Was die Leistung angeht, habe ich Folgendes gelernt: Die kleine t3.medium eignet sich hervorragend zum Testen der Weboberfl\u00e4che und zum Ausprobieren von Cloud-Modellen, aber denken Sie nicht einmal an lokale KI. Das g4dn.xlarge ist der ideale Ort f\u00fcr den Einstieg in lokale Modelle – ich konnte 7B-Parameter-Modelle ziemlich reibungslos ausf\u00fchren. Aber wenn Sie die wirklich gro\u00dfen Modelle (13B+) mit anst\u00e4ndiger Geschwindigkeit ausf\u00fchren wollen, brauchen Sie etwas wie das g6.12xlarge. <\/p>\n<\/div>\n<\/div>\n

\n

Live-Skripting: Eine Dokumentation, die wirklich funktioniert<\/h2>\n
\n

Hier ist etwas, das mich wirklich begeistert – die Art und Weise, wie ich dieses gesamte Projekt dokumentiert habe. Ich habe das so genannte Live-Scripting verwendet, einen dokumentationsorientierten Arbeitsstil, den ich vor Jahren erfunden und in vielen Kundenprojekten eingesetzt habe. Dabei wird ein Dokument erstellt, in dem jeder einzelne Befehl direkt ausgef\u00fchrt werden kann. Keine Tutorials mehr, nur um dann festzustellen, dass Schritt 3 nicht mehr funktioniert. <\/p>\n

Ich habe alles in Emacs-Org-Mode geschrieben, wodurch ich ausf\u00fchrbare Codebl\u00f6cke direkt in die Dokumentation einbetten kann. Wenn ich das Projekt durcharbeite, kann ich buchst\u00e4blich jeden Befehl durch Dr\u00fccken von F4 ausf\u00fchren. Aber auch wenn jemand nicht mit Emacs arbeitet, kann er jeden Befehl kopieren und einf\u00fcgen und er wird genau so funktionieren, wie er geschrieben wurde. <\/p>\n

Dieser Ansatz hat mir unz\u00e4hlige Stunden der Fehlersuche in veralteten Anweisungen erspart. Herk\u00f6mmliche Dokumentation ist schnell veraltet – APIs \u00e4ndern sich, Softwareversionen werden aktualisiert, und pl\u00f6tzlich funktioniert nichts mehr. Mit Live-Scripting bleibt meine Dokumentation auf dem neuesten Stand, denn ich teste sie jedes Mal, wenn ich sie verwende. <\/p>\n

Die gesamte Implementierung ist in sieben klare Phasen unterteilt, von der Einrichtung der grundlegenden Infrastruktur bis zum Hinzuf\u00fcgen fortgeschrittener KI-Funktionen. Zu jedem Schritt geh\u00f6ren sowohl die auszuf\u00fchrenden Befehle als auch Erkl\u00e4rungen, was passiert und warum. Es ist, als w\u00fcrde mich ein sachkundiger Kollege durch den Prozess f\u00fchren. <\/p>\n<\/div>\n<\/div>\n

\n

Fazit: Endlich KI nach meinen Vorstellungen<\/h2>\n
\n

Die Entwicklung dieses privaten KI-Assistenten l\u00f6ste nicht nur mein unmittelbares Problem, sondern wurde zu etwas Gr\u00f6\u00dferem – zu einer bew\u00e4hrten Blaupause, der jedes Unternehmen folgen kann. Was als pers\u00f6nliche Frustration begann, wurde zu einer reproduzierbaren Implementierungsstrategie f\u00fcr Unternehmen, die mit dem gleichen Dilemma zwischen Privatsph\u00e4re und Leistungsf\u00e4higkeit konfrontiert sind. <\/p>\n

Und das Beste daran? Die Unternehmen m\u00fcssen sich nicht mehr entscheiden. Sensible Arbeiten bleiben auf lokalen Modellen, komplexe Analysen k\u00f6nnen bei Bedarf weiterhin auf Cloud-KI zur\u00fcckgreifen – aber es ist Ihre Infrastruktur, Ihre Entscheidung, Ihre Kontrolle. <\/p>\n

Die Live-Skripting-Dokumentation macht es sehr einfache, diese Blaupause zu teilen. Jeder Befehl funktioniert genau so, wie er geschrieben wurde, was bedeutet, dass andere Teams diese L\u00f6sung ohne die \u00fcblichen Bereitstellungsprobleme einsetzen k\u00f6nnen. <\/p>\n

F\u00fcr Unternehmen, die leistungsstarke KI w\u00fcnschen, ohne die Datenhoheit aufzugeben, ist dieser Ansatz genau richtig. Die Technologie ist endlich an einem Punkt angelangt, an dem eine eigene KI nicht nur f\u00fcr Tech-Giganten m\u00f6glich ist, sondern f\u00fcr jedes Unternehmen, das bereit ist, in die Unabh\u00e4ngigkeit seiner Daten zu investieren. <\/p>\n<\/div>\n<\/div>\n

\n

Ressourcen und Links<\/h2>\n
\n<\/div>\n
\n

Projektdokumentation<\/h3>\n
\n