Fünf Vektordatenbanken für generative KI-Modelle im Test
Vektordatenbanken bilden das Langzeitgedächtnis generativer KI-Modelle und sind auch darüber hinaus fürs Machine Learning nützlich. Ein Überblick.
- Nico Kreiling
Obwohl Gartner die Vektordatenbanken erst am Anfang ihres Hype-Zyklus sieht, sind sie nach großen Sprachmodellen (Large Language Models, LLMs) derzeit vielleicht das meistdiskutierte KI-Thema. Vektordatenbanken speichern und verarbeiten hochdimensionale Daten in Form von Vektoren. Sie eignen sich damit hervorragend für die Embeddings, in denen LLMs den semantischen Kontext der verarbeiteten Token speichern.
Damit ermöglichen sie viele unterschiedliche Einsatzszenarien, die sich in drei Bereiche einteilen lassen: Die Retrieval Augmented Generation kommt häufig zum Einsatz, wenn man einem LLM Zugriff auf die eigenen Daten gewähren möchte. Dabei speichert ein Unternehmen seine Dokumente entsprechend aufbereitet in der Vektordatenbank und räumt dem Sprachmodell die Möglichkeit ein, auf die jeweils relevantesten zuzugreifen. Zweitens können sie Sprachmodellen einen Langzeitspeicher zur Verfügung stellen, denn LLMs sind in der Länge ihres Kontexts limitiert. Dies führt dazu, dass sie bei langen Konversationen die Anfänge schnell nicht mehr berücksichtigen. In Vektordatenbanken können LLMs Informationen vor dem Vergessen archivieren und später bei Bedarf nachschlagen.
Der Hauptanwendungsfall von Vektordatenbanken vor der Entwicklung großer Sprachmodelle waren neuronale Such- und Empfehlungssysteme. Das ist auch heute noch hochrelevant: das Finden der passenden Inhalte zu einer Suchanfrage oder einem Referenzobjekt, unabhängig von der exakten Formulierung, der verwendeten Sprache und sogar über verschiedene Medientypen. Aufgrund der aktuellen Beliebtheit von Vektordatenbanken ist auch das Angebot an Produkten enorm gewachsen. Dieser Artikel führt durch eine Reihe von Entscheidungskriterien und bietet eine erste Orientierung in einem Markt, der noch in heftiger Bewegung ist. Dieser Artikel führt durch eine Reihe von Entscheidungskriterien und bietet eine erste Orientierung in einem Markt, der noch in heftiger Bewegung ist.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Fahrrad zum E-Bike aufrüsten: Drei Nachrüstmotoren im Test
Linux-Umstieg: Mit Linux Mint Cinnamon wie gewohnt weiterarbeiten
Linux-Umstieg: Software unter Linux installieren
Gehälter 2024: Das verdienen Admins in Deutschland
Gebrauchter Sophos-Hardware neues Leben einhauchen
Informatiker im Öffentlichen Dienst: Aufgaben, Gehälter und Verbeamtung
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Fahrrad zum E-Bike aufrüsten: Drei Nachrüstmotoren im Test
Linux-Umstieg: Mit Linux Mint Cinnamon wie gewohnt weiterarbeiten
Linux-Umstieg: Software unter Linux installieren
Gehälter 2024: Das verdienen Admins in Deutschland
Gebrauchter Sophos-Hardware neues Leben einhauchen