IbetMax Präsentationsreihe · Vertiefung

RAG & eigene
Wissenssysteme

Wie KI mit eigenem Wissen antwortet – Chunks, Embeddings, semantische Suche. Am Beispiel von Max.

Claus Günnewig

www.ibetmax.com

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com
Claus Günnewig

Wer steht hier vorne?

Claus Günnewig

Ich habe Max gebaut – und erkläre, was dabei unter der Haube passiert.

28 Jahre Marktforschung

Daten befragen, bis sie etwas sagen – jetzt mit KI.

KI-Manager (TÜV)

Manager für angewandte KI-Transformation.

Max

Der KI-Assistent auf ibetmax.com – ein echtes, produktives RAG-System.

Eigene Wissensbasis

Rund 470 Wissensabschnitte aus 24 öffentlichen Quellen.

Qualifikation & Fachverband TÜV-Zertifikat Marktforscher BVM
AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Fahrplan

Erst suchen. Dann antworten. Immer mit Quellen.

01

Warum RAG

Was Sprachmodelle nicht wissen

02

Die Bausteine

Chunks, Embeddings, Ähnlichkeit

03

Die Suche

Keyword, semantisch, hybrid

04

Praxis: Max

ein echtes RAG-System Schritt für Schritt

05

Verlässlich & sicher

Grounding, Datenschutz, Pflege

06

Im eigenen Unternehmen

Einsatzfelder und erste Schritte

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com
01

Kapitel 1

Warum RAG?

Ein Sprachmodell weiß viel – aber nichts über Ihr Unternehmen. Und es klingt auch dann sicher, wenn es rät.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 1 · Ausgangslage

Was ein Sprachmodell nicht weiß

Nichts nach dem Trainingsstand

Das Wissen endet an einem Stichtag. Neues kennt das Modell nicht.

Nichts Internes

Ihre Handbücher, Preise, Verträge und Abläufe waren nie im Training.

Es rät überzeugend

Fehlt Wissen, entsteht trotzdem eine flüssige Antwort – oft falsch.

Keine Belege

Woher eine Aussage stammt, lässt sich ohne Quellen nicht prüfen.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 1 · Optionen

Drei Wege, einer KI eigenes Wissen zu geben

Ins Gespräch kopieren

  • Schnell für einzelne Dokumente
  • Begrenzt durch die Länge des Kontexts
  • Bei jeder Frage von vorn

Nachtrainieren

  • Fine-Tuning verändert das Modell selbst
  • Aufwendig, Wissen veraltet wieder
  • Liefert keine Quellen – eher für Stil und Format

Nachschlagen: RAG

  • Wissen bleibt in einer eigenen Basis
  • Neue Inhalte sofort abrufbar
  • Jede Antwort mit nachprüfbaren Quellen

RAG heißt Retrieval-Augmented Generation: durch Wissensabruf gestützte Antworterzeugung.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 1 · Das Prinzip

RAG arbeitet wie ein guter Bibliothekar

Er kennt nicht jedes Buch auswendig – aber er weiß genau, in welchem Regal die Antwort steht, und schlägt dort nach.

Retrieval

erst die passenden Abschnitte suchen

Wissen

aus der eigenen, geprüften Basis

Kontext

nur die besten Treffer ans Modell

Generation

dann antworten – mit Quelle

Wichtig: Das Modell lernt die Wissensbasis nicht auswendig. Es ruft bei jeder einzelnen Frage die passenden Stellen frisch ab.

Wissenskarte: RAG-Systeme →
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com
02

Kapitel 2

Die Bausteine

Chunks, Embeddings und Ähnlichkeit – drei Begriffe, mit denen sich jedes RAG-System erklären lässt.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 2 · Überblick

Zwei Phasen: aufbereiten und abfragen

Einmalig – und bei jeder Änderung: Wissen aufbereiten

Quellengeprüft & freigegeben
→
Chunksin Abschnitte zerlegen
→
EmbeddingsBedeutung als Zahlen
→
AblageDatei oder Datenbank

Bei jeder Frage: abrufen und antworten

Fragein Alltagssprache
→
Frage-Embeddinggleiches Modell
→
Vergleichmit allen Abschnitten
→
Beste Trefferdrei bis fünf
→
Antwortmit Quellen

Suche und Antwort sind getrennte Schritte. Die Suche lässt sich genau prüfen – welche Abschnitte, welche Werte –, erst die Formulierung ist generativ.

IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 2 · Baustein 1 · Chunks

Ein Chunk ist ein Wissensstück

Große Seiten werden in Abschnitte zerlegt – damit die Suche die passende Stelle findet, nicht nur das passende Dokument.

KI-Einführung im Unternehmen
Roadmap
Governance
Human in the Loop
→
Roadmap

Schritt für Schritt vom Prozess zum Pilot …

QuelleURLKeywords
Governance

Verantwortlichkeiten, Richtlinien, Kontrolle …

QuelleURLKeywords
Human in the Loop

Der Mensch prüft und entscheidet …

QuelleURLKeywords
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 2 · Chunk-Größe

Nicht zu klein, nicht zu groß – ein Thema

Zu klein
  • Einzelsätze ohne Zusammenhang
  • Antworten werden bruchstückhaft
  • Viele Mini-Treffer verdrängen den besten Abschnitt
Zu groß
  • Mehrere Themen in einem Abschnitt
  • Die Suche wird unscharf
  • Das Modell bekommt viel Irrelevantes
Richtig
  • Ein klar begrenztes Thema
  • Geschnitten an Überschriften und Absätzen
  • Mit Überschrift, Quelle, URL und Keywords

Bei Max

Abschnitte von meist 200 bis 2.300 Zeichen, im Mittel rund 600 – jeweils mit Überschrift, Quelle, Kategorie, URL und Schlagwörtern.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 2 · Baustein 2 · Embeddings

Ein Embedding ist ein Bedeutungs-Fingerabdruck

Aus Text wird eine Zahlenreihe

„Sprachmodelle können halluzinieren.“

[ 0,0213 · −0,1127 · 0,0871 · 0,0034 · −0,0456 · 0,1302 · … ]

Ausschnitt, Werte gekürzt. Bei Max sind es 1.536 Zahlen pro Text.

Ähnliche Bedeutung, ähnliche Zahlen

Auch wenn völlig andere Wörter benutzt werden.

Ein eigenes Modell

Ein Embedding-Modell übersetzt nur Text in Vektoren – es formuliert keine Antworten.

Dimensionen

Jede Zahl erfasst eine Facette der Bedeutung. Mehr Dimensionen: feinere Unterschiede, mehr Daten.

IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 2 · Bedeutungsraum

Ähnliche Bedeutungen liegen nah beieinander

HalluzinationenKI erfindet FaktenSprachmodelle halluzinierenAntworten prüfenDatenschutzDSGVOPersonenbezogene DatenAnonymisierenPromptingGute PromptsRolle und KontextBeispiele gebenFrage: „Wie verhindere ich, dass eine KI Dinge erfindet?“

Jeder Abschnitt bekommt einen Platz im Bedeutungsraum. Themen bilden Nachbarschaften.

Die Frage enthält kein Wort wie „Halluzination“ – landet aber genau in dieser Nachbarschaft.

Echte Embeddings haben über tausend Dimensionen. Die Grafik ist eine vereinfachte Skizze in zwei.

IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 2 · Baustein 3 · Ähnlichkeit

Ähnlichkeit ist ein Winkel

Die Kosinus-Ähnlichkeit vergleicht die Richtung zweier Vektoren: Je ähnlicher die Richtung, desto ähnlicher die Bedeutung.

≈ 1,0

gleiche Richtung – praktisch dasselbe gemeint

≈ 0,7

verwandt – gleiches Thema, andere Perspektive

≈ 0

quer zueinander – hat wenig miteinander zu tun

Keine Schulnoten

Die Werte sind Orientierung. Welche Schwellen gut funktionieren, hängt von Modell, Sprache und Inhalten ab – und muss mit echten Fragen getestet werden.

IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com
03

Kapitel 3

Die Suche

Gleiche Wörter, gleiche Bedeutung – oder beides. Und wann man lieber gar nichts findet.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 3 · Vergleich

Keyword, semantisch oder hybrid?

A · Keyword

Findet gleiche Wörter

Stark bei Fachbegriffen, Namen und Abkürzungen.

„Was ist Human in the Loop?“
→ Begriff steht wörtlich im Abschnitt.
B · Semantisch

Findet gleiche Bedeutungen

Vergleicht Embeddings und erkennt Umschreibungen.

„Wann sollte ein Mensch eine KI-Entscheidung prüfen?“
→ kein Fachbegriff – trotzdem gefunden.
C · Hybrid

Verbindet beides

Beide Werte werden gewichtet zu einem Gesamtwert. Die Schwächen des einen fängt das andere auf.

Alltagssprache und präzise Begriffe
→ stabile Treffer für jede Formulierung.
AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 3 · Bei Max

Das Ranking von Max in einer Zeile

0,75 × Semantik+0,25 × Keyword=Gesamtwert
Semantik

Kosinus-Ähnlichkeit zwischen Frage und Abschnitt.

Keyword

Gewichtete Wortsuche: Überschrift zählt mehr als Fließtext. Umlaute und Pluralformen werden vereinheitlicht.

Aliase

Zusätzliche Suchbegriffe pro Abschnitt, z. B. „menschliche Aufsicht“ für Human in the Loop – nur sachlich korrekte Umschreibungen.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 3 · Retrieval live

Ein Beispiel: Wer prüft die KI?

Frage an Max: „Wann sollte ein Mensch eine KI-Entscheidung prüfen?“

Hybrid-Ranking · vereinfachte Werte zur Veranschaulichung

1Human in the LoopKI-Wiki0,71
2Human OversightEU AI Act & DSGVO0,64
3KI-GovernanceKI-Einführung im Unternehmen0,58
4Menschliche Prüfung vor der WeitergabeLLM-Kompass0,49
Schwelle 0,30
–Freigabe am StegAutomation eines Instagram-Kanals0,24

Kein Fachbegriff

Die Semantik erkennt die Nähe zu menschlicher Kontrolle und Aufsicht.

Die besten Treffer

Höchstens fünf Abschnitte gehen als Kontext ans Sprachmodell.

Quellen

Die Antwort nennt genau diese Seiten.

IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 3 · Schwellenwert

Lieber kein Treffer als eine erfundene Antwort

Über der Schwelle

  • Die besten Abschnitte gehen ans Sprachmodell
  • Antwort nur auf Basis dieser Auszüge
  • Quellenkarten unter der Antwort

Unter der Schwelle

  • Das Sprachmodell wird gar nicht erst gefragt
  • Ein ehrliches „Dazu habe ich nichts in meiner Wissensbasis“
  • Spart Kosten – und verhindert Raten

Bei Max liegt die Schwelle für den Gesamtwert bei 0,30. Gefunden wurde sie mit Testfragen: echte Umschreibungen und bewusst themenfremde Fragen.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 3 · Infrastruktur

Braucht jedes RAG-System eine Vektordatenbank?

Max: nein

Rund 470 Abschnitte passen in den Speicher. Bei jeder Frage werden alle Vektoren direkt verglichen – in Millisekunden, ohne zusätzliche Infrastruktur.

Ab wann mehr?

Bei hunderttausenden oder Millionen Abschnitten wird der Vollvergleich zu langsam. Dann helfen spezielle Indexstrukturen.

Verbreitete Systeme

Etwa Qdrant, Pinecone, Weaviate, Chroma oder pgvector für PostgreSQL.

Werkzeuge sollten zum Problem passen – nicht umgekehrt.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com
04

Kapitel 4

Praxis: Max

Der KI-Assistent auf ibetmax.com – ein echtes, produktives RAG-System. Was bei jeder Frage passiert.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com
Claus und Max am Schreibtisch

Kapitel 4 · Max

Das ist Max

IBM-002, die öffentliche Stimme von IbetMax. Er beantwortet Fragen zum KI-Hub – mit Quellen aus genau der Wissensbasis, die hier erklärt wird.

Chat auf der Website

Fragen in Alltagssprache, Antworten mit Quellenkarten.

Knowledge Graph

Die Wissensbasis als interaktive Karte.

Mit Max sprechen →
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 4 · Steckbrief

Max in Zahlen

24

freigegebene Quellen

466

Wissensabschnitte

1.536

Zahlen pro Embedding

5

Treffer höchstens als Kontext

0,30

Mindestwert im Ranking

2

KI-Aufrufe pro Fachfrage

Modelle

Embeddings mit text-embedding-3-small, Antworten mit gpt-4.1-nano (OpenAI), Temperatur 0,2 – also sachlich statt kreativ.

Kosten

Eine themenfremde Frage kostet nur einen Aufruf: Ohne Treffer wird das Antwortmodell gar nicht gefragt.

Stand der Wissensbasis: 13.10.2026.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 4 · Bei jeder Frage

Neun Schritte in weniger als drei Sekunden

Auf dem Server der Website

Besucherfrageim Chat
→
PrüfungLänge, Rate Limit
→
Frage-EmbeddingAufruf 1
→
Vergleichmit allen 466
→
Hybrid-Ranking0,75 / 0,25
Schwelleunter 0,30: kein Treffer
→
Kontextmax. 5 Abschnitte
→
AntwortAufruf 2
→
Quellenkartenvom Server gebaut

Schlüssel bleibt auf dem Server

Der Browser spricht nur mit einem eigenen Endpunkt, nie direkt mit OpenAI.

Links baut der Server

Das Modell darf keine Quellen erfinden – sie kommen aus den Metadaten.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 4 · Zum Ausprobieren

Die Wissensbasis sichtbar gemacht

Knowledge Graph

Jeder Punkt ist ein Wissensabschnitt. Je ähnlicher die Embeddings, desto näher liegen die Punkte und desto stärker sind sie verbunden.

Embedding Engine

Eine Demo zeigt, wie aus Tabellen durchsuchbares Wissen wird – Strukturanalyse, Feldzuordnung, Aufbereitung, direkt im Browser.

Max selbst fragen

Fragen Sie nach Embeddings oder Chunks – die Antwort kommt mit dieser Wissenskarte als Quelle.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com
05

Kapitel 5

Verlässlich & sicher

RAG senkt das Risiko von Halluzinationen deutlich – wenn mehrere Schutzschichten zusammenspielen.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 5 · Grounding

Antworten, die in Wissen verankert sind

Die Schutzschichten von Max

  • Antworten nur aus den gelieferten Auszügen
  • Zu schwache Treffer werden gar nicht verwendet
  • Themenfremde Fragen erreichen das Modell nicht
  • Ehrliches No-Match statt Vermutung
  • Quellen vom Server geprüft und dedupliziert
  • Feste Regeln für Rolle, Grenzen und Ton

Kein Allheilmittel

RAG verhindert Halluzinationen nicht vollständig – es senkt das Risiko.

Testen

Direkte Fragen, Umschreibungen und bewusst themenfremde Fragen sichern die Qualität.

Der Mensch prüft

Jede Erweiterung der Wissensbasis wird vor der Freigabe geprüft.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 5 · Datenschutz

Ein öffentliches RAG-System braucht klare Regeln

Schlüssel nur auf dem Server

Der API-Schlüssel erreicht nie den Browser.

Rohdaten geschützt

Die Wissensdateien sind nicht direkt abrufbar – nur über den Endpunkt.

Keine Chat-Historie

Gespräche werden nicht gespeichert. Die IP wird nur gehasht und kurz verarbeitet.

Rate Limit

10 Fragen in 10 Minuten, 50 am Tag – gegen Missbrauch und Kosten.

Schutz vor Prompt Injection

Anweisungen in Fragen können die Regeln nicht aushebeln.

Nur Öffentliches

Alle Quellen sind öffentlich. Bitte keine vertraulichen Daten in den Chat.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 5 · Pflege

Wie Max Neues lernt

Nicht durch Training, sondern durch einen kontrollierten Wissensbuild.

01Seite erstellen

inhaltlich prüfen

02Quelle freigeben

in die Quellenliste

03Chunks bauen

automatisch zerlegen

04Embeddings

nur Neues und Geändertes

05Testen

echte Fragen, Top-Treffer

06Veröffentlichen

Wissen und Vektoren zusammen

Inkrementell und günstig

Ein Prüfwert pro Abschnitt zeigt, was sich geändert hat – nur das wird neu eingebettet. Ein kompletter Erstlauf kostete weniger als 0,1 Cent.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com
06

Kapitel 6

Im eigenen Unternehmen

Wo RAG im Alltag hilft – und wie man klein und sicher anfängt.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 6 · Einsatzfelder

Wo RAG im Unternehmen hilft

Handbücher & Richtlinien

„Wie beantrage ich …?“ – Antwort mit Fundstelle statt Suchen im Intranet.

Kundenservice

Antwortentwürfe aus Produktwissen und FAQ, geprüft vor dem Versand.

Einarbeitung

Neue Kolleginnen fragen, statt zehn Ordner durchzuarbeiten.

Verträge & Unterlagen

Passagen finden und vergleichen – mit Quelle, ohne Rechtsberatung.

Technik & Service

Fehlercodes, Anleitungen, Wartungsprotokolle schnell durchsuchbar.

Marktforschung

Offene Antworten, Studien und Berichte semantisch erschließen.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 6 · Erste Schritte

Klein anfangen, sauber anfangen

01Quellen wählen

ein Thema, wenige gute Dokumente

02Aufräumen

aktuell, eindeutig, ohne Dubletten

03Rechte klären

wer darf was sehen?

04Testfragen

echte Fragen aus dem Alltag sammeln

05Messen

Trefferquote, Zeitersparnis, Fehler

Oft schon eingebaut

Projekte mit Dateien in Chat-Assistenten oder Wissensbereiche in Office-Werkzeugen nutzen dasselbe Prinzip. Ein eigenes System lohnt sich, wenn Kontrolle, Quellen und Anbindung entscheidend sind.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Kapitel 6 · Stolpersteine

Woran RAG-Projekte scheitern

Schlechte Quellen bleiben schlechte Quellen – nur schneller gefunden.Veraltete und widersprüchliche Dokumente
Ein eingescanntes PDF ist für die Suche erst einmal ein Bild.Texterkennung und Struktur vorab prüfen
Ohne Testfragen weiß niemand, ob die Suche trifft.Umschreibungen und themenfremde Fragen testen
Was nicht jeder sehen darf, gehört nicht in eine gemeinsame Basis.Zugriffsrechte und Datenschutz zuerst
AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com

Zum Schluss

Erst suchen. Dann antworten. Immer mit Quellen.

Ein gutes RAG-System ist kein Zauberkasten, sondern ein ehrlicher Bibliothekar mit sehr gutem Gedächtnis für Bedeutungen.

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com
Claus Günnewig

Vielen Dank für Ihre Aufmerksamkeit

Und jetzt: Fragen Sie Max.

Claus Günnewig

www.ibetmax.com

AI
IbetMax-ApfelIbetMax · RAG & eigene Wissenssysteme
www.ibetmax.com
→Leertaste weiter · ← zurück · O Übersicht · F Vollbild · Pos1/Ende Anfang/Ende · Klick links = zurück, rechts = weiter