LLM-Neusortierung der Chat-Wissenstreffer (Rerank, Pro)
AdminDer Chat kann die Treffer aus der Wissensdatenbank vor der Antwort optional von einem LLM neu bewerten und sortieren lassen (Reranking). Die Vorsuche holt dann bewusst mehr Kandidaten als üblich, ein konfiguriertes Modell beurteilt in einem einzigen Aufruf deren Relevanz zur Frage, und nur die besten Abschnitte landen im Antwort-Kontext. Das verbessert die Antwortqualität vor allem dort, wo die reine Vektor- oder Stichwortsuche schwächelt.
Die Funktion ist optional und setzt eine Pro-/Site-Lizenz voraus. Ist sie nicht aktiv, verhält sich der Chat exakt wie bisher (RRF-Reihenfolge, kein zusätzlicher LLM-Aufruf). Sie funktioniert identisch in Web- und Desktop-Modus.
Voraussetzungen
Section titled “Voraussetzungen”Der Reranking-Step läuft nur, wenn alle drei Bedingungen zusammenkommen:
- Ein Standard-Modell der Kategorie „Rerank” ist angelegt (siehe unten).
- Der Schalter „LLM-Neusortierung der Chat-Wissenstreffer (Pro)” ist eingeschaltet (Standard: an).
- Eine Pro-/Site-Lizenz ist aktiv. Auf Free läuft der Step nicht.
Fehlt eine davon — oder tritt zur Laufzeit ein Fehler auf —, fällt der Chat sicher auf die normale RRF-Reihenfolge zurück, ohne zusätzlichen Aufruf.
Einrichtung
Section titled “Einrichtung”1. Rerank-Modell anlegen
Section titled “1. Rerank-Modell anlegen”Unter Administration → Modelle bei einem Provider ein Modell anlegen oder bearbeiten und die Modalität auf „Rerank (Wissensdatenbank)” setzen; anschließend als Standard markieren. → KI-Modelle / Provider
Ein Rerank-Modell läuft über die normale Chat-Client-Anbindung — es lässt sich also jedes chatfähige Modell verwenden. Sinnvoll ist ein günstiges, kleines Modell: ein preiswertes Cloud-Modell (z. B. Claude Haiku) oder lokal über Ollama.
2. Schalter und Limit
Section titled “2. Schalter und Limit”Unter Administration → Systemeinstellungen stehen zwei Einstellungen:
- „LLM-Neusortierung der Chat-Wissenstreffer (Pro)” — Ein/Aus. Wirkt sofort ohne Neustart. Standard: an.
- „Rerank-Kandidatenlimit” — wie viele Kandidaten die Vorsuche zum Bewerten heranzieht. Standard 12, Bereich 3–50. Höhere Werte geben dem Modell mehr Auswahl, kosten aber etwas mehr Zeit und Tokens.
→ Systemeinstellungen / Feature-Toggles
Systemeinstellungen → Chat-Wissenssuche: Schalter „LLM-Neusortierung … (Pro)” und das Kandidatenlimit (Standard 12, Bereich 3–50). Der Schalter wirkt sofort ohne Neustart.
Wirkung — und wann es sich lohnt
Section titled “Wirkung — und wann es sich lohnt”Der Step kostet pro Wissensabfrage einen zusätzlichen LLM-Aufruf (~0,5–2 s Latenz, bevor die Antwort zu streamen beginnt — je nach Modell und Last auch mehr). Er lohnt sich vor allem bei schwacher Recall-Situation:
- Desktop-BM25-Fallback ohne Qdrant — reine Stichwortsuche ohne Semantik. → RAG & Suche
- deutsche Synonym- und Semantik-Queries, bei denen die Vorsuche viele mittelgute Treffer liefert.
Bei bereits guter Vektorsuche auf sauberen Beständen ist der Zugewinn kleiner — hier lässt sich der Schalter auch auslassen und die Latenz sparen.
Nachvollziehbarkeit
Section titled “Nachvollziehbarkeit”Ob und wie der Reranking-Step gelaufen ist, zeigt das Aktivitäts-Sidebar pro Chat-Nachricht: ein Schritt „Rerank” mit Kandidaten- und Auswahl-Zahlen, den Scores und der Dauer. So ist auf einen Blick erkennbar, ob der Step aktiv war und welche Abschnitte er in den Antwort-Kontext gehoben hat.
Aktivitäts-Sidebar: der Schritt „Rerank” zeigt Kandidatenzahl, Auswahl, Relevanzschwelle, Dauer und das verwendete Modell — hier ein Rerank über claude-haiku als kleines, günstiges Modell.
Datenschutz-Hinweis
Section titled “Datenschutz-Hinweis”Wichtig: Der PII-Scan läuft vor dem Reranking — über alle Kandidaten, direkt nach der Suche. Das Rerank-Modell sieht Frage und Wissens-Abschnitte daher nur pseudonymisiert, genau wie das Antwort-Modell. Es bleibt aber ein zusätzlicher Empfänger: Die pseudonymisierten Kandidaten gehen an einen weiteren Modellaufruf, und bei ausgeschaltetem PII-Schutz („PII-Schutz Aus”) im Klartext. → Vertrauliche Daten lokal halten
Empfehlung für PII-strenge Installationen: ein lokales Modell (z. B. Ollama) als Rerank-Modell verwenden — oder das Feature ausgeschaltet lassen.
Grenzen & Hinweise
Section titled “Grenzen & Hinweise”- Admin-only. Modell, Schalter und Limit setzt nur die Administration.
- Sicherer Rückfall: Ohne Rerank-Modell, ohne Pro-Lizenz, bei ausgeschaltetem Schalter oder bei jedem Laufzeitfehler bleibt es bei der RRF-Reihenfolge — kein zusätzlicher LLM-Aufruf.
- Web = Desktop: identisches Verhalten in beiden Modi.