IbetMax Präsentationsreihe · Vertiefung
RAG & eigene
Wissenssysteme
Wie KI mit eigenem Wissen antwortet – Chunks, Embeddings, semantische Suche. Am Beispiel von Max.
Claus Günnewig
www.ibetmax.com
Wer steht hier vorne?
Claus Günnewig
Ich habe Max gebaut – und erkläre, was dabei unter der Haube passiert.
28 Jahre Marktforschung
Daten befragen, bis sie etwas sagen – jetzt mit KI.
KI-Manager (TÜV)
Manager für angewandte KI-Transformation.
Max
Der KI-Assistent auf ibetmax.com – ein echtes, produktives RAG-System.
Eigene Wissensbasis
Rund 470 Wissensabschnitte aus 24 öffentlichen Quellen.
Fahrplan
Erst suchen. Dann antworten. Immer mit Quellen.
Warum RAG
Was Sprachmodelle nicht wissen
Die Bausteine
Chunks, Embeddings, Ähnlichkeit
Die Suche
Keyword, semantisch, hybrid
Praxis: Max
ein echtes RAG-System Schritt für Schritt
Verlässlich & sicher
Grounding, Datenschutz, Pflege
Im eigenen Unternehmen
Einsatzfelder und erste Schritte
Kapitel 1
Warum RAG?
Ein Sprachmodell weiß viel – aber nichts über Ihr Unternehmen. Und es klingt auch dann sicher, wenn es rät.
Kapitel 1 · Ausgangslage
Was ein Sprachmodell nicht weiß
Nichts nach dem Trainingsstand
Das Wissen endet an einem Stichtag. Neues kennt das Modell nicht.
Nichts Internes
Ihre Handbücher, Preise, Verträge und Abläufe waren nie im Training.
Es rät überzeugend
Fehlt Wissen, entsteht trotzdem eine flüssige Antwort – oft falsch.
Keine Belege
Woher eine Aussage stammt, lässt sich ohne Quellen nicht prüfen.
Kapitel 1 · Optionen
Drei Wege, einer KI eigenes Wissen zu geben
Ins Gespräch kopieren
- Schnell für einzelne Dokumente
- Begrenzt durch die Länge des Kontexts
- Bei jeder Frage von vorn
Nachtrainieren
- Fine-Tuning verändert das Modell selbst
- Aufwendig, Wissen veraltet wieder
- Liefert keine Quellen – eher für Stil und Format
Nachschlagen: RAG
- Wissen bleibt in einer eigenen Basis
- Neue Inhalte sofort abrufbar
- Jede Antwort mit nachprüfbaren Quellen
RAG heißt Retrieval-Augmented Generation: durch Wissensabruf gestützte Antworterzeugung.
Kapitel 1 · Das Prinzip
RAG arbeitet wie ein guter Bibliothekar
Er kennt nicht jedes Buch auswendig – aber er weiß genau, in welchem Regal die Antwort steht, und schlägt dort nach.
Retrieval
erst die passenden Abschnitte suchen
Wissen
aus der eigenen, geprüften Basis
Kontext
nur die besten Treffer ans Modell
Generation
dann antworten – mit Quelle
Wichtig: Das Modell lernt die Wissensbasis nicht auswendig. Es ruft bei jeder einzelnen Frage die passenden Stellen frisch ab.
Kapitel 2
Die Bausteine
Chunks, Embeddings und Ähnlichkeit – drei Begriffe, mit denen sich jedes RAG-System erklären lässt.
Kapitel 2 · Überblick
Zwei Phasen: aufbereiten und abfragen
Einmalig – und bei jeder Änderung: Wissen aufbereiten
Bei jeder Frage: abrufen und antworten
Suche und Antwort sind getrennte Schritte. Die Suche lässt sich genau prüfen – welche Abschnitte, welche Werte –, erst die Formulierung ist generativ.
Kapitel 2 · Baustein 1 · Chunks
Ein Chunk ist ein Wissensstück
Große Seiten werden in Abschnitte zerlegt – damit die Suche die passende Stelle findet, nicht nur das passende Dokument.
Schritt für Schritt vom Prozess zum Pilot …
Verantwortlichkeiten, Richtlinien, Kontrolle …
Der Mensch prüft und entscheidet …
Kapitel 2 · Chunk-Größe
Nicht zu klein, nicht zu groß – ein Thema
- Einzelsätze ohne Zusammenhang
- Antworten werden bruchstückhaft
- Viele Mini-Treffer verdrängen den besten Abschnitt
- Mehrere Themen in einem Abschnitt
- Die Suche wird unscharf
- Das Modell bekommt viel Irrelevantes
- Ein klar begrenztes Thema
- Geschnitten an Überschriften und Absätzen
- Mit Überschrift, Quelle, URL und Keywords
Bei Max
Abschnitte von meist 200 bis 2.300 Zeichen, im Mittel rund 600 – jeweils mit Überschrift, Quelle, Kategorie, URL und Schlagwörtern.
Kapitel 2 · Baustein 2 · Embeddings
Ein Embedding ist ein Bedeutungs-Fingerabdruck
Aus Text wird eine Zahlenreihe
„Sprachmodelle können halluzinieren.“
Ausschnitt, Werte gekürzt. Bei Max sind es 1.536 Zahlen pro Text.
Ähnliche Bedeutung, ähnliche Zahlen
Auch wenn völlig andere Wörter benutzt werden.
Ein eigenes Modell
Ein Embedding-Modell übersetzt nur Text in Vektoren – es formuliert keine Antworten.
Dimensionen
Jede Zahl erfasst eine Facette der Bedeutung. Mehr Dimensionen: feinere Unterschiede, mehr Daten.
Kapitel 2 · Bedeutungsraum
Ähnliche Bedeutungen liegen nah beieinander
Jeder Abschnitt bekommt einen Platz im Bedeutungsraum. Themen bilden Nachbarschaften.
Die Frage enthält kein Wort wie „Halluzination“ – landet aber genau in dieser Nachbarschaft.
Echte Embeddings haben über tausend Dimensionen. Die Grafik ist eine vereinfachte Skizze in zwei.
Kapitel 2 · Baustein 3 · Ähnlichkeit
Ähnlichkeit ist ein Winkel
Die Kosinus-Ähnlichkeit vergleicht die Richtung zweier Vektoren: Je ähnlicher die Richtung, desto ähnlicher die Bedeutung.
≈ 1,0
gleiche Richtung – praktisch dasselbe gemeint
≈ 0,7
verwandt – gleiches Thema, andere Perspektive
≈ 0
quer zueinander – hat wenig miteinander zu tun
Keine Schulnoten
Die Werte sind Orientierung. Welche Schwellen gut funktionieren, hängt von Modell, Sprache und Inhalten ab – und muss mit echten Fragen getestet werden.
Kapitel 3
Die Suche
Gleiche Wörter, gleiche Bedeutung – oder beides. Und wann man lieber gar nichts findet.
Kapitel 3 · Vergleich
Keyword, semantisch oder hybrid?
Findet gleiche Wörter
Stark bei Fachbegriffen, Namen und Abkürzungen.
→ Begriff steht wörtlich im Abschnitt.
Findet gleiche Bedeutungen
Vergleicht Embeddings und erkennt Umschreibungen.
→ kein Fachbegriff – trotzdem gefunden.
Verbindet beides
Beide Werte werden gewichtet zu einem Gesamtwert. Die Schwächen des einen fängt das andere auf.
→ stabile Treffer für jede Formulierung.
Kapitel 3 · Bei Max
Das Ranking von Max in einer Zeile
Kosinus-Ähnlichkeit zwischen Frage und Abschnitt.
Gewichtete Wortsuche: Überschrift zählt mehr als Fließtext. Umlaute und Pluralformen werden vereinheitlicht.
Zusätzliche Suchbegriffe pro Abschnitt, z. B. „menschliche Aufsicht“ für Human in the Loop – nur sachlich korrekte Umschreibungen.
Kapitel 3 · Retrieval live
Ein Beispiel: Wer prüft die KI?
Frage an Max: „Wann sollte ein Mensch eine KI-Entscheidung prüfen?“
Hybrid-Ranking · vereinfachte Werte zur Veranschaulichung
Kein Fachbegriff
Die Semantik erkennt die Nähe zu menschlicher Kontrolle und Aufsicht.
Die besten Treffer
Höchstens fünf Abschnitte gehen als Kontext ans Sprachmodell.
Quellen
Die Antwort nennt genau diese Seiten.
Kapitel 3 · Schwellenwert
Lieber kein Treffer als eine erfundene Antwort
Über der Schwelle
- Die besten Abschnitte gehen ans Sprachmodell
- Antwort nur auf Basis dieser Auszüge
- Quellenkarten unter der Antwort
Unter der Schwelle
- Das Sprachmodell wird gar nicht erst gefragt
- Ein ehrliches „Dazu habe ich nichts in meiner Wissensbasis“
- Spart Kosten – und verhindert Raten
Bei Max liegt die Schwelle für den Gesamtwert bei 0,30. Gefunden wurde sie mit Testfragen: echte Umschreibungen und bewusst themenfremde Fragen.
Kapitel 3 · Infrastruktur
Braucht jedes RAG-System eine Vektordatenbank?
Max: nein
Rund 470 Abschnitte passen in den Speicher. Bei jeder Frage werden alle Vektoren direkt verglichen – in Millisekunden, ohne zusätzliche Infrastruktur.
Ab wann mehr?
Bei hunderttausenden oder Millionen Abschnitten wird der Vollvergleich zu langsam. Dann helfen spezielle Indexstrukturen.
Verbreitete Systeme
Etwa Qdrant, Pinecone, Weaviate, Chroma oder pgvector für PostgreSQL.
Werkzeuge sollten zum Problem passen – nicht umgekehrt.
Kapitel 4
Praxis: Max
Der KI-Assistent auf ibetmax.com – ein echtes, produktives RAG-System. Was bei jeder Frage passiert.

Kapitel 4 · Max
Das ist Max
IBM-002, die öffentliche Stimme von IbetMax. Er beantwortet Fragen zum KI-Hub – mit Quellen aus genau der Wissensbasis, die hier erklärt wird.
Chat auf der Website
Fragen in Alltagssprache, Antworten mit Quellenkarten.
Knowledge Graph
Die Wissensbasis als interaktive Karte.
Kapitel 4 · Steckbrief
Max in Zahlen
freigegebene Quellen
Wissensabschnitte
Zahlen pro Embedding
Treffer höchstens als Kontext
Mindestwert im Ranking
KI-Aufrufe pro Fachfrage
Embeddings mit text-embedding-3-small, Antworten mit gpt-4.1-nano (OpenAI), Temperatur 0,2 – also sachlich statt kreativ.
Eine themenfremde Frage kostet nur einen Aufruf: Ohne Treffer wird das Antwortmodell gar nicht gefragt.
Stand der Wissensbasis: 13.10.2026.
Kapitel 4 · Bei jeder Frage
Neun Schritte in weniger als drei Sekunden
Auf dem Server der Website
Schlüssel bleibt auf dem Server
Der Browser spricht nur mit einem eigenen Endpunkt, nie direkt mit OpenAI.
Links baut der Server
Das Modell darf keine Quellen erfinden – sie kommen aus den Metadaten.
Kapitel 4 · Zum Ausprobieren
Die Wissensbasis sichtbar gemacht
Knowledge Graph
Jeder Punkt ist ein Wissensabschnitt. Je ähnlicher die Embeddings, desto näher liegen die Punkte und desto stärker sind sie verbunden.
Embedding Engine
Eine Demo zeigt, wie aus Tabellen durchsuchbares Wissen wird – Strukturanalyse, Feldzuordnung, Aufbereitung, direkt im Browser.
Max selbst fragen
Fragen Sie nach Embeddings oder Chunks – die Antwort kommt mit dieser Wissenskarte als Quelle.
Kapitel 5
Verlässlich & sicher
RAG senkt das Risiko von Halluzinationen deutlich – wenn mehrere Schutzschichten zusammenspielen.
Kapitel 5 · Grounding
Antworten, die in Wissen verankert sind
Die Schutzschichten von Max
- Antworten nur aus den gelieferten Auszügen
- Zu schwache Treffer werden gar nicht verwendet
- Themenfremde Fragen erreichen das Modell nicht
- Ehrliches No-Match statt Vermutung
- Quellen vom Server geprüft und dedupliziert
- Feste Regeln für Rolle, Grenzen und Ton
Kein Allheilmittel
RAG verhindert Halluzinationen nicht vollständig – es senkt das Risiko.
Testen
Direkte Fragen, Umschreibungen und bewusst themenfremde Fragen sichern die Qualität.
Der Mensch prüft
Jede Erweiterung der Wissensbasis wird vor der Freigabe geprüft.
Kapitel 5 · Datenschutz
Ein öffentliches RAG-System braucht klare Regeln
Schlüssel nur auf dem Server
Der API-Schlüssel erreicht nie den Browser.
Rohdaten geschützt
Die Wissensdateien sind nicht direkt abrufbar – nur über den Endpunkt.
Keine Chat-Historie
Gespräche werden nicht gespeichert. Die IP wird nur gehasht und kurz verarbeitet.
Rate Limit
10 Fragen in 10 Minuten, 50 am Tag – gegen Missbrauch und Kosten.
Schutz vor Prompt Injection
Anweisungen in Fragen können die Regeln nicht aushebeln.
Nur Öffentliches
Alle Quellen sind öffentlich. Bitte keine vertraulichen Daten in den Chat.
Kapitel 5 · Pflege
Wie Max Neues lernt
Nicht durch Training, sondern durch einen kontrollierten Wissensbuild.
inhaltlich prüfen
in die Quellenliste
automatisch zerlegen
nur Neues und Geändertes
echte Fragen, Top-Treffer
Wissen und Vektoren zusammen
Inkrementell und günstig
Ein Prüfwert pro Abschnitt zeigt, was sich geändert hat – nur das wird neu eingebettet. Ein kompletter Erstlauf kostete weniger als 0,1 Cent.
Kapitel 6
Im eigenen Unternehmen
Wo RAG im Alltag hilft – und wie man klein und sicher anfängt.
Kapitel 6 · Einsatzfelder
Wo RAG im Unternehmen hilft
Handbücher & Richtlinien
„Wie beantrage ich …?“ – Antwort mit Fundstelle statt Suchen im Intranet.
Kundenservice
Antwortentwürfe aus Produktwissen und FAQ, geprüft vor dem Versand.
Einarbeitung
Neue Kolleginnen fragen, statt zehn Ordner durchzuarbeiten.
Verträge & Unterlagen
Passagen finden und vergleichen – mit Quelle, ohne Rechtsberatung.
Technik & Service
Fehlercodes, Anleitungen, Wartungsprotokolle schnell durchsuchbar.
Marktforschung
Offene Antworten, Studien und Berichte semantisch erschließen.
Kapitel 6 · Erste Schritte
Klein anfangen, sauber anfangen
ein Thema, wenige gute Dokumente
aktuell, eindeutig, ohne Dubletten
wer darf was sehen?
echte Fragen aus dem Alltag sammeln
Trefferquote, Zeitersparnis, Fehler
Oft schon eingebaut
Projekte mit Dateien in Chat-Assistenten oder Wissensbereiche in Office-Werkzeugen nutzen dasselbe Prinzip. Ein eigenes System lohnt sich, wenn Kontrolle, Quellen und Anbindung entscheidend sind.
Kapitel 6 · Stolpersteine
Woran RAG-Projekte scheitern
Schlechte Quellen bleiben schlechte Quellen – nur schneller gefunden.Veraltete und widersprüchliche Dokumente
Ein eingescanntes PDF ist für die Suche erst einmal ein Bild.Texterkennung und Struktur vorab prüfen
Ohne Testfragen weiß niemand, ob die Suche trifft.Umschreibungen und themenfremde Fragen testen
Was nicht jeder sehen darf, gehört nicht in eine gemeinsame Basis.Zugriffsrechte und Datenschutz zuerst
Zum Schluss
Erst suchen. Dann antworten. Immer mit Quellen.
Ein gutes RAG-System ist kein Zauberkasten, sondern ein ehrlicher Bibliothekar mit sehr gutem Gedächtnis für Bedeutungen.
Vielen Dank für Ihre Aufmerksamkeit
Und jetzt: Fragen Sie Max.
Claus Günnewig
www.ibetmax.com