Zum Inhalt springen

Embedding-Modelle über Arbeitsstationen & Vaults

Admin

Betreiben Sie mehrere Desktop-Stationen neben einer geteilten API, stellt sich die Frage: Darf jede Station ein anderes Embedding-Modell fahren? Die kurze Antwort: Ja — im Normalfall ist das unbedenklich. Es gibt genau eine Ausnahme, die ohne Fehlermeldung bricht; sie und drei Betriebsregeln beschreibt diese Seite.

Eine Suchanfrage wird immer von dem Speicher eingebettet, dem die Daten gehören — es wird nie über Modellräume hinweg verglichen:

Vault-TypWer bettet die Anfrage ein?
Lokaler / persönlicher Vaultdie lokale Station mit ihrem Modell
Geteilter Vault (API)der API-Server mit seinem Modell — der Client schickt nur den Suchtext, keinen Vektor

Treffer aus mehreren Quellen werden rangbasiert zusammengeführt (Reciprocal Rank Fusion); rohe Ähnlichkeitswerte verschiedener Modelle werden dabei nie miteinander verrechnet.

Konsequenz: Solange jeder physische Vektorspeicher nur von einem Modell befüllt und abgefragt wird, dürfen Station A, Station B und die API unterschiedliche Embedding-Modelle nutzen. Das ist die unterstützte Topologie: unabhängige lokale Speicher plus föderierte geteilte Vaults.

Zeigen zwei Clients mit unterschiedlichen Embedding-Modellen auf dieselbe Qdrant-Collection (gleicher Endpoint, gleicher Collection-Name), passiert Folgendes:

  • Unterschiedliche Vektor-Dimension → lauter Fehler beim Schreiben. Ärgerlich, aber sichtbar.
  • Gleiche Dimension → kein Fehler, aber unbrauchbare Treffer. Ähnlichkeit zwischen zwei Modellräumen ist bedeutungslos; die Suche liefert still schlechte Ergebnisse.

Der zweite Fall ist das eigentliche Risiko: Die Dimension wird geprüft, die Modell-Identität nicht — zwei verschiedene Modelle mit gleicher Breite (z. B. 768 oder 1536) sind für das System ununterscheidbar.

  1. Nie zwei Clients mit unterschiedlichem Embedding-Modell auf denselben Qdrant-Collection-Namen zeigen lassen. Muss eine Qdrant-Instanz geteilt werden: pro Modell ein eigener Collection-Name (Qdrant:VectorCollectionName ist pro Client konfigurierbar). → Qdrant einrichten
  2. Modell- oder Dimensionswechsel ⇒ Neuindexierung erzwingen. Alte Vektoren stammen sonst vom alten Modell, neue Anfragen vom neuen — bei gleicher Dimension bricht die Trefferqualität still ein. Das gilt auch, wenn Einstellungen per Peer-Sync von einer anderen Station importiert wurden. → Admin-Tab: Wissensbereiche & Indexierung
  3. Stationen ohne Embeddings fallen auf die BM25-Volltextsuche zurück — kein Vermischungsrisiko, aber spürbar schwächere Trefferqualität (v. a. bei sinngemäßen und deutschen Anfragen). Heterogene Qualität über Stationen ist dann normal.