Automatisierung des Kundensupports in Softwareunternehmen durch den Einsatz von Large Language Models (LLMs) und Retrieval-Augmented Generation (RAG)

Die Masterarbeit entwickelt und evaluiert ein RAG-System (Retrieval-Augmented Generation) zur teilweisen Automatisierung des Kundensupports für ein Praxisverwaltungssystem (PVS) in einem realen Unternehmen.

Die Arbeit stellt die theoretischen Grundlagen von RAG vor und nutzt diese in der Konzeptionsphase zur Variantendiskussion. Die besondere Herausforderung liegt in der Komplexität der eingesetzten Technologien und der Einbettung des Systems in den realen Anwendungskontext des Unternehmens.

Die praktische Umsetzung erfolgt durch die Entwicklung eines Chatbots mit einer REST-API in TypeScript und einer GUI in JavaScript. Die Datenbasis für den Vectorstore wird automatisch aus Confluence extrahiert und aufbereitet. Der Evaluator ist in Python implementiert. Die Evaluation des Systems erfolgt zum einen über das LangSmith Framework, das die Performance anhand verschiedener Kriterien wie Latenz, Konsistenz, Prägnanz und Relevanz der Antworten misst, und zum anderen über eine manuelle Bewertung der Antworten durch Fachexperten. Insgesamt bestätigen die Tests, dass der Chatbot die Effizienz und Qualität des Kundensupports steigern kann.

Kolloqium: 29.07.2024

Betreuer: Dipl.-Inform. Ingo Boersch, Prof. Dr. Georg Merz

Download: A1-Poster