Dienstagabend, 21:30 Uhr. Herr Krüger leitet seit einem halben Jahr ein Team von zwölf Leuten. Morgen früh muss er ihnen eine neue Struktur vorstellen, und er weiß jetzt schon, dass das nicht allen gefallen wird. In seinem Coaching hat er dafür eine Methode gelernt. Nur: Wie ging die noch mal genau?
Er könnte seiner Coachin schreiben. Die Antwort käme aber frühestens morgen, und dann ist das Gespräch schon gelaufen. Also öffnet er auf dem Handy den Chat, den sie ihren Klientinnen und Klienten zur Verfügung stellt, und tippt: „Wie gehe ich mit Widerstand im Team um?“
Ein paar Sekunden später steht die Antwort da. Nicht irgendeine Antwort aus dem Internet, sondern die Methode seiner Coachin, in ihren Worten, mit dem Hinweis, aus welchem Kursmodul sie stammt. Und mit einer Rückfrage, die ihn ins Nachdenken bringt.
Genau das ist ein Chatbot mit eigenem Wissen. Die Fachleute nennen die Technik dahinter RAG. Was das bedeutet und wie man es sich vorstellen kann, zeigt dieser Artikel.
Was ein gewöhnlicher Chatbot nicht kann
Allgemeine KI-Chatbots wie ChatGPT haben aus einer riesigen Menge Text gelernt. Sie formulieren gut, kennen aber Ihr Unternehmen nicht: nicht Ihre Methoden, nicht Ihre Preise, nicht den Ablauf in Ihrer Praxis und nicht das, was Sie letzte Woche in einer Sprachnotiz festgehalten haben.
Fragt man sie trotzdem, antworten sie oft allgemein. Manchmal erfinden sie sogar etwas, das plausibel klingt, aber nicht stimmt. Für Ihre Kundschaft ist beides nicht gut.
RAG in einem Satz: erst nachschlagen, dann antworten
RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa „Antworten mit vorherigem Nachschlagen“. Der Begriff stammt aus einem Forschungsartikel von 2020 [1].
Stellen Sie sich eine neue Kollegin vor, die einen sehr gut sortierten Ordner mit all Ihrem Wissen bekommt. Bevor sie eine Frage beantwortet, schlägt sie darin nach. Dann antwortet sie in eigenen, freundlichen Worten und sagt dazu, wo es steht. Was nicht im Ordner steht, sagt sie offen, statt zu raten.
Genau so arbeitet ein RAG-Chatbot. Die KI liefert die Sprache, Ihr Wissen liefert den Inhalt.
Woher das Wissen kommen kann
Das Schöne ist: Das meiste Wissen gibt es bei Ihnen schon. Es liegt nur verstreut an vielen Orten. Zum Beispiel:
- Ihre Website: Leistungen, Ablauf, Preise, häufige Fragen
- Kursunterlagen: PDFs, Arbeitsblätter, Abschriften Ihrer Videos
- Sprachnotizen: Gedanken auf dem Heimweg, einfach ins Handy gesprochen und automatisch abgeschrieben
- Notizen nach Sitzungen oder Terminen: was besprochen und vereinbart wurde
- E-Mails: Antworten auf Fragen, die immer wieder kommen, markiert mit einem Label
- Tabellen und Anleitungen: Preisliste, Checklisten, interne Anleitungen („So verbinden Sie den Drucker“)
So sieht das im Hintergrund aus
Wir bauen solche Chatbots mit n8n, einem Werkzeug für Automatisierungen, das wir auf unserem eigenen Server in Deutschland betreiben. Ein Workflow besteht aus Bausteinen, die nacheinander arbeiten. Vereinfacht sieht das so aus:
Vereinfachte Darstellung. Ein Klick auf das Bild öffnet es in voller Größe.
Es sind zwei Abläufe:
1. Wissen einsammeln. Dieser Teil läuft automatisch im Hintergrund, zum Beispiel jede Nacht oder sobald eine neue Datei im Ordner liegt. Er holt den Text aus Ihren Quellen, teilt ihn in kurze, sinnvolle Abschnitte und übersetzt jeden Abschnitt in eine Reihe von Zahlen. Diese Zahlen (Fachbegriff: Embeddings) beschreiben, worum es in dem Abschnitt inhaltlich geht. Alles zusammen landet in einer Wissensdatenbank.
2. Frage beantworten. Kommt eine Frage im Chat an, wird auch sie in Zahlen übersetzt. Dann sucht die Datenbank die Abschnitte, die inhaltlich am besten passen, meist die fünf besten. Erst jetzt kommt die KI ins Spiel: Sie bekommt die Frage, die passenden Abschnitte und Ihre Regeln und formuliert daraus die Antwort.
Der Clou an der Suche nach Bedeutung: Sie funktioniert auch, wenn ganz andere Wörter benutzt werden. Wer fragt „Wie kriege ich den Drucker ans Laufen?“, findet trotzdem die Anleitung mit der Überschrift „WLAN-Drucker einrichten“.
Übrigens: Der Chat unten rechts auf dieser Website funktioniert genau so. Er kennt die Inhalte unserer Seiten und unserer Blogartikel.
Ändert sich das Wissen, ändern sich die Antworten
Ein großer Vorteil gegenüber allem, was man fest einprogrammiert: Sie müssen den Chatbot nicht neu „trainieren“. Ändern Sie Ihre Preise auf der Website oder sprechen Sie eine neue Notiz zu einem Thema ein, liest der Workflow das beim nächsten Durchlauf ein und ersetzt die alte Fassung. Ab dann antwortet der Chatbot mit dem neuen Stand. So bleibt er immer aktuell, ohne dass jemand daran denken muss.
Wie sich das anfühlt: vier Beispiele
Coaching. Ein Begleiter zwischen den Sitzungen, der die Methoden der Coachin kennt und auf Wunsch auch die Notizen der jeweiligen Person. Wie das aussehen kann, zeigen wir in unserer Werkstatt am Beispiel eines Führungscoachings.
Onlinekurse. Statt ein Video nach der richtigen Stelle zu durchsuchen, fragen Teilnehmende einfach nach und bekommen die Antwort mit Modul und Lektion. Mehr dazu in unserem Artikel über Onlinekurse und Coaching.
Ihre Website. Fragen, die beim Lesen auftauchen, werden sofort beantwortet, auch abends und am Wochenende. Wer mehr will, bekommt den Weg zum Erstgespräch gezeigt.
Einarbeitung im Team. Neue Mitarbeitende fragen den Chatbot, wo die Urlaubsliste liegt oder wie die Kaffeemaschine entkalkt wird, und nicht zum fünften Mal die Kollegin am Nebentisch.
Was Sie selbst festlegen
Ein Chatbot mit eigenem Wissen ist kein Produkt von der Stange. Vieles bestimmen Sie:
- Tonfall und Anrede: Du oder Sie, locker oder förmlich, kurz oder ausführlich
- Grad der Empathie: eher sachlich wie ein Nachschlagewerk oder eher zugewandt wie ein Begleiter
- Grenzen: zum Beispiel keine Diagnosen, keine Rechtsberatung, bei Persönlichem der Hinweis auf Sie
- Ergänzung durch KI: Darf der Chatbot allgemeines Wissen ergänzen, wenn Ihres nicht reicht? Wenn ja, sagt er das dazu.
- Datenschutz: welches Wissen hinein darf, wie lange Gespräche gespeichert werden und wer was sieht
Von der Idee zum richtig guten Chatbot
Wir starten immer mit Ihrer Idee: Was soll der Chatbot können, für wen ist er da, was soll er auf keinen Fall tun? Dann sammeln wir das Wissen und bauen die erste Fassung.
Wenn Sie den Chatbot zum ersten Mal ausprobieren, sind wir schon bei gut 80 Prozent. Er findet die richtigen Stellen und antwortet sinnvoll.
Richtig gut wird er aber erst durch viel Feedback. Denn nur Sie wissen, wie er reagieren und antworten soll. Sie stellen ihm die Fragen, die Ihnen Ihre Kundschaft wirklich stellt, und sagen uns, was Ihnen auffällt: „Zu lang.“ „So würde ich das nie sagen.“ „Hier fehlt der Hinweis auf das Erstgespräch.“ „Das ist richtig, aber zu technisch.“
Mit jeder Runde passen wir Wissen, Regeln und Tonfall an. Nach ein paar Runden antwortet der Chatbot so, wie Sie es sich vorstellen, und klingt nach Ihnen.
Die Technik ist schnell gebaut. Gut wird ein Chatbot durch das Wissen und das Gespür der Menschen, für die er spricht.
Und der Datenschutz?
Ein Chatbot mit eigenem Wissen lässt sich gut datenschutzfreundlich bauen, wenn man es von Anfang an mitdenkt:
- Er weiß nur, was Sie ihm hinterlegen und freigeben.
- Das Wissen liegt auf einem Server in Deutschland, das Sprachmodell läuft bei einem Anbieter in der EU.
- Persönliche Unterlagen einer Person sind strikt von denen anderer getrennt.
- Gesprächsverläufe werden nach einer festen Frist automatisch gelöscht.
- Wer mit dem Chatbot schreibt, erfährt gleich zu Beginn, dass es ein KI-Assistent ist. Das verlangt der EU AI Act seit dem 2. August 2026 [2].
- Für den Betrieb schließen wir mit Ihnen einen Vertrag zur Auftragsverarbeitung.
Worauf Sie bei KI und Datenschutz allgemein achten sollten, haben wir in fünf Fragen vor dem Start zusammengefasst.
Ein riesiges Potenzial
Coaching, Onlinekurse, Website und Einarbeitung sind nur der Anfang. Überall dort, wo immer wieder ähnliche Fragen gestellt werden und die Antworten schon irgendwo stehen, kann ein Chatbot mit eigenem Wissen entlasten: in der Praxis („Was muss ich zum ersten Termin mitbringen?“), in der Hausverwaltung („Wann wird der Sperrmüll abgeholt?“), im Handwerk („Wie pflege ich mein neues Parkett?“) oder im Verein.
Sie bringen die Idee und das Wissen mit, wir kümmern uns um die Technik. Erzählen Sie uns im kostenlosen Erstgespräch, welche Fragen bei Ihnen immer wieder auftauchen. Wir sagen ehrlich, ob sich ein Chatbot dafür lohnt.
Quellen
[1] Lewis, P. et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020. arxiv.org/abs/2005.11401
[2] Verordnung (EU) 2024/1689 (KI-Verordnung), Artikel 50: Transparenzpflichten. eur-lex.europa.eu