On-Prem RAG + Apache Solr + LLM: Eine Qualitätskombi für Fachcontent

Mit Hilfe eines RAG-Systems können aus geschütztem Fachcontent intelligente und kontextbezogene Antworten generiert werden. Lazaros Koutsianos und Arkadius Nowakowski erläutern, wie RAG in Verbindung mit Apache Solr und einem Large Language Model kombiniert werden kann. Die gesamte Datenverarbeitung findet hierbei innerhalb des Unternehmensnetzwerks statt.

Lazaros Koutsianos

SHI entwickelt „Intelligente On-Prem AI Search Agents“. Was genau ist damit gemeint?
Wir bieten einen lokalenZugriff: Intelligente On-Prem AI Search Agents sind speziell entwickelte KI-gestützte Systeme, die lokal (On-Prem) betrieben werden, um effizient auf interne Informationen zuzugreifen. Ein möglicher Anwendungsbereich ist der Einsatz innerhalb einer Retrieval-Plattform, bei der schützenswerter Content nicht das Retrieval-Netzwerk verlässt. Zudem berücksicht unsere Lösung den Kontext durch Einsatz von State-of-the-Art Techniken des Natural Language Processing, wie Retrieval Augmented Generation (RAG). Dadurch können verschiedene Datenquellen (z. B. Dokumente und Datenbanken) durchsucht und daraus kontextbezogene Antworten auf spezifische Anfragen generiert werden.

Welchen Nutzen haben vor allem Fachmedienanbieter, wenn sie diese Technologie einsetzen?
Zunächst geht es um eine sichere Datenverarbeitung, da diese ausschließlich lokal erfolgt ohne die Notwendigkeit, externe Systeme einbeziehen zu müssen. Dies gewährleistet, dass vertrauliche Informationen geschützt bleiben und keine sensiblen Daten an Dritte weitergegeben werden, was die Sicherheit für Fachmedienanbieter und ihre Nutzer erhöht.

Arkadius Nowakowski

Zudem kann Fachcontent ohne aufwendiges trainieren von LLMs genutzt werden. Das System ruft dadurch nicht nur aktuelle und relevante Informationen ab, sondern verwendet diese, um kontextbezogene, präzise Antworten auf komplexe Fragen zu generieren. Das bedeutet, dass Leser nicht nur eine einfache Liste von Suchergebnissen erhalten, sondern fundierte Antworten bekommen, die auf den spezifischen Kontext ihrer Anfrage zugeschnitten sind. Leser und Abonnenten erhalten durch die Technologie personalisierte, zusammenhängende Antworten, die es ihnen ermöglichen, tiefere Einblicke in spezifische Fachthemen zu gewinnen, ohne selbst umfangreiche Daten analysieren zu müssen.

Was müssen Fachmedienanbieter mit ihren Inhalten machen, um diese für diese Anwendung aufzubereiten?
Fachmedienanbieter müssen keine großen Veränderungen an ihren Inhalten vornehmen, um diese Technologie zu nutzen. Der Lösungsansatz ist flexibel und kann mit verschiedenen Datenquellen und Formaten umgehen. Anpassungen wie die Extraktion von Strukturen aus den Fachinformationen oder die Anreicherung mit Metadaten werden im Rahmen einer Datenvorverarbeitung automatisiert vorgenommen. Suchergebnisse und die daraus generierten Antworten können durch Auswahl und Priorisierung der relevanten Inhalte anhand von fachverlagsspezifischen Metadaten verbessert werden.

Welchen Nutzen für die Produktentwicklung und damit auch für die Kunden bietet der Einsatz von On-Prem AI Search Agents?
Schneller Zugriff auf relevante Informationen ermöglicht es, Entwicklungsprozesse zu beschleunigen, da fundierte Entscheidungen schneller getroffen werden können, was die Entwicklungszeit neuer Produkte verkürzt. Die AI Search Agents dienen als zentraler Zugangspunkt für das gesamte Unternehmenswissen. Teams wie Entwicklung, Marketing und Kundenservice können effizienter zusammenarbeiten, indem sie schnell auf relevante Informationen zugreifen und gezielter Lösungen entwickeln. Die erhöhte Datensicherheit durch die On-Prem-Lösung sorgt dafür, dass sensible Daten geschützt bleiben und Compliance-Anforderungen leichter erfüllt werden.

Euer Vortrag auf dem CrossMediaForum lautet „Smarte Antworten aus geschütztem Fachcontent“. Was wird die Kernbotschaft sein?
Mit Hilfe eines RAG-Systems können aus geschütztem Fachcontent intelligente und kontextbezogene Antworten generiert werden. Wir erläutern, wie RAG in Verbindung mit Apache Solr und einem Large Language Model kombiniert werden kann. Die gesamte Datenverarbeitung findet hierbei innerhalb des Unternehmensnetzwerks statt.

Lazaros Koutsianos und Arkadius Nowakowski sind Referenten auf dem CrossMediaForum KI-Spezial, das am 5.12.2024 als Digitalevent durchgeführt wird.

Der H&F-Newsletter: Branchentrends, Impulse und unsere Events

Wir senden keinen Spam! Erfahre mehr in unserer Datenschutzerklärung