Was ist eine Vektordatenbank?

Eine Vektordatenbank speichert und indiziert hochdimensionale Embedding-Vektoren aus ML-Modellen und ermöglicht schnelle Ähnlichkeitssuche für KI-Anwendungen wie RAG und semantische Suche.

Eine Vektordatenbank ist ein spezialisiertes Speichersystem, das für den Umgang mit hochdimensionalen Vektoren entwickelt wurde – den numerischen Arrays aus typischerweise Hunderten oder Tausenden von Gleitkommazahlen, mit denen Modelle des maschinellen Lernens Bedeutung darstellen. Wörter, Sätze, Bilder, Audioclips und Nutzerverhalten können alle als Vektoren kodiert werden, und eine Vektordatenbank macht es möglich, Milliarden dieser Embeddings zu speichern und in Millisekunden die ähnlichsten Treffer zu einer neuen Abfrage zu finden.

Wie eine Vektordatenbank funktioniert

Wenn ein ML-Modell wie ein Large Language Model oder ein Vision-Encoder ein Embedding erzeugt, wird dieser Vektor zusammen mit einer Referenz auf das Originalobjekt – ein Textstück, eine Bilddatei, ein Produktdatensatz und so weiter – an die Datenbank übermittelt. Die Datenbank baut einen Index mit einem ANN-Algorithmus (Approximate Nearest Neighbor) wie HNSW (Hierarchical Navigable Small World) oder IVF (Inverted File Index) auf – Strukturen, die einen kleinen Verlust an Genauigkeit für deutlich schnellere Abfragen auf großen Datensätzen in Kauf nehmen. Zum Zeitpunkt der Suche sendet die Anwendung ein frisches Embedding als Abfrage, und der Index liefert die Top-k-Vektoren, geordnet nach einem Ähnlichkeitsmaß, üblicherweise Kosinus-Ähnlichkeit, Skalarprodukt oder euklidischer Distanz.

Warum das wichtig ist

Die herkömmliche Stichwortsuche kann nicht erkennen, dass „feline Gefährtin“ und „Hauskatze“ nahezu dasselbe bedeuten – doch ihre Embeddings landen im Vektorraum eng beieinander, sodass eine Vektordatenbank sie trotzdem als Treffer liefert. Genau diese Fähigkeit bildet die Grundlage für moderne semantische Suche, Empfehlungssysteme, Bild- und Audio-Retrieval, Anomalieerkennung und den Retrieval-Schritt in Retrieval-Augmented Generation (RAG), bei dem ein LLM durch Dokumente aus einem Vektor-Store fundiert wird. Ohne speziell entwickelte Indizes wäre der Vergleich einer Abfrage mit Millionen von Vektoren einzeln viel zu langsam für Produktivverkehr.

Wichtige Typen und Beispiele

  • Spezialisierte Vektordatenbanken: zweckgebundene Engines wie Milvus, Qdrant, Weaviate und Pinecone, die von Grund auf rund um ANN-Indizes konzipiert sind.
  • Vektorsuch-Bibliotheken: schlanke Engines wie FAISS und Annoy, die innerhalb einer Anwendung laufen, anstatt als eigenständiger Dienst.
  • Hybride Datenbanken: klassische Stores wie PostgreSQL (über pgvector), Elasticsearch und MongoDB, die ihren bestehenden Dokument- oder relationalen Funktionen Vektorindizes hinzufügen.
  • Verwaltete Cloud-Dienste: gehostete Angebote großer Cloud-Provider, die Vektorsuche in umfassendere Datenplattformen integrieren.

Die Wahl zwischen ihnen hängt meist vom Umfang, den Latenzanforderungen, der Frage, ob die Daten zusammen mit strukturierten Datensätzen vorliegen, und davon ab, wie viel operativen Aufwand ein Team bereit ist zu tragen. Die leistungsstärksten Systeme im Bereich werden anhand von Benchmarks wie dem ANN-Benchmarks-Leaderboard bewertet, das Recall gegen Abfragen pro Sekunde über repräsentative Datensätze vergleicht.

You might also like

Verwandte Beiträge