Zum Inhalt

Cookie-Einstellungen

Sie entscheiden je Kategorie, welche Dienste wir nutzen dürfen; vorausgewählt ist nichts. Ihre Wahl gilt für alle Seiten unter fh‑wedel.de, wird 12 Monate in einem Cookie gespeichert und lässt sich jederzeit im Footer unter „Cookie-Einstellungen“ ändern oder widerrufen. Datenschutz

Notwendig

Immer aktiv

Speichert Ihre Wahl, damit die Einwilligung funktioniert. Immer aktiv.

  • EinwilligungsverwaltungFachhochschule Wedel gGmbH
    Anbieter
    Fachhochschule Wedel gGmbH, Feldstraße 143, 22880 Wedel
    Zweck
    Speichert Ihre Entscheidung über Cookies und Dienste, damit wir Sie nicht bei jedem Aufruf erneut fragen.
    Cookies
    • fhw_einwilligung12 Monate
    • fhw_widerspruch12 Monate
    Drittland
    keins (EU)

Statistik

Wir messen, wie viele Menschen unsere Seiten besuchen und welche Beiträge sie lesen, um das Angebot zu verbessern.

  • Google Tag ManagerGoogle Ireland Limited
    Anbieter
    Google Ireland Limited, Gordon House, Barrow Street, Dublin 4, Irland
    Zweck
    Lädt die Dienste der Kategorien, in die Sie eingewilligt haben.
    Cookies
    keine eigenen
    Drittland
    USA (Data Privacy Framework)
  • Google Analytics 4Google Ireland Limited
    Anbieter
    Google Ireland Limited, Gordon House, Barrow Street, Dublin 4, Irland
    Zweck
    Misst, wie unsere Seiten genutzt werden, etwa welche Seiten aufgerufen werden und woher die Besuche kommen.
    Cookies
    • _ga2 Jahre
    • _ga_*2 Jahre
    Drittland
    USA (Data Privacy Framework)
  • MatomoFachhochschule Wedel gGmbH (eigener Server)
    Anbieter
    Fachhochschule Wedel gGmbH (eigener Server), Feldstraße 143, 22880 Wedel
    Zweck
    Misst auf unserem eigenen Server, welche Seiten und Beiträge aufgerufen und gelesen werden und woher die Besuche kommen.
    Cookies
    • _pk_id*13 Monate
    • _pk_ses*30 Minuten
    • _pk_ref*6 Monate
    Drittland
    keins (EU)

Marketing

Wir zeigen Werbung für die FH Wedel bei Google, Facebook, Instagram und TikTok (auch Menschen, die unsere Seiten besucht haben) und messen, ob sie wirkt. Dabei gelangen Daten in die USA und nach China.

  • Google Tag ManagerGoogle Ireland Limited
    Anbieter
    Google Ireland Limited, Gordon House, Barrow Street, Dublin 4, Irland
    Zweck
    Lädt die Dienste der Kategorien, in die Sie eingewilligt haben.
    Cookies
    keine eigenen
    Drittland
    USA (Data Privacy Framework)
  • Google AdsGoogle Ireland Limited
    Anbieter
    Google Ireland Limited, Gordon House, Barrow Street, Dublin 4, Irland
    Zweck
    Misst, ob Besuche auf unsere Anzeigen zurückgehen, und zeigt unsere Anzeigen Besucherinnen und Besuchern erneut (Remarketing).
    Cookies
    • _gcl_*3 Monate
    Drittland
    USA (Data Privacy Framework)
  • Meta-PixelMeta Platforms Ireland Limited
    Anbieter
    Meta Platforms Ireland Limited, Merrion Road, Dublin 4, D04 X2K5, Irland
    Zweck
    Misst den Erfolg unserer Anzeigen auf Facebook und Instagram und zeigt sie passenden Zielgruppen.
    Cookies
    • _fbp3 Monate
    • _fbc3 Monate
    Drittland
    USA (Data Privacy Framework)
  • TikTok-PixelTikTok Technology Limited
    Anbieter
    TikTok Technology Limited, 10 Earlsfort Terrace, Dublin, D02 T380, Irland
    Zweck
    Misst den Erfolg unserer Anzeigen auf TikTok und zeigt sie passenden Zielgruppen.
    Cookies
    • _ttp13 Monate
    • _tt_enable_cookie13 Monate
    • ttcsid*siehe Anbieter
    Drittland
    Drittländer einschließlich China (Standardvertragsklauseln)

Externe Medien

Wir zeigen eingebettete Videos und andere Inhalte fremder Anbieter direkt auf unseren Seiten; dabei erhält der Anbieter Daten wie Ihre IP-Adresse.

  • YouTubeGoogle Ireland Limited
    Anbieter
    Google Ireland Limited, Gordon House, Barrow Street, Dublin 4, Irland
    Zweck
    Spielt eingebettete Videos von YouTube ab, nachdem Sie ein Video geladen haben.
    Cookies
    keine eigenen
    Drittland
    USA (Data Privacy Framework)
Alle Artikel

Thesis

Automatisierte Kuratierung der Wissensdatenbank eines RAG-basierten Support-Chatbots mittels LLM-basierter Methoden

Die Arbeit untersucht, wie Sprachmodelle eine FAQ-Wissensbasis automatisch optimieren können. Textkompression senkte die relevante Kontextgröße am stärksten, während die Informationsvollständigkeit der abgerufenen Inhalte insgesamt nur geringfügig gegenüber dem Ausgangszustand abnahm.

  • Veröffentlicht am
  • Verfasst von Paul Johannes Rambow, B. Sc. Informatik
  • Betreut von Prof. Hendrik Annuth und Stefan Mohr
  • Teilen

Warum eine Wissensbasis kuratiert werden muss

Large Language Models können Chatbots flexibler machen, verfügen aber nicht automatisch über alle Informationen eines Unternehmens. Retrieval-Augmented Generation (RAG) ergänzt deshalb eine Anfrage um passende Inhalte aus einer Wissensbasis. Bei den Stadtwerken Norderstedt bildet ein fortlaufend erweiterter FAQ-Katalog die Grundlage eines solchen Service-Chatbots. Mit wachsender und häufig veränderter Datenmenge ist eine rein manuelle Prüfung jedoch nur eingeschränkt möglich.

Die Arbeit untersucht daher, ob Sprachmodelle bestehende Wissenseinträge automatisch überarbeiten können, sodass für die Antwortgenerierung weniger Kontext bereitgestellt werden muss, ohne den fachlichen Informationsgehalt wesentlich zu verringern. Betrachtet wird ausschließlich der Retrieval-Teil des Systems.

Drei Ansätze zur automatisierten Kuratierung

  • A Text Compression: entfernt redundante, irrelevante oder informationsarme Textbestandteile aus einzelnen Einträgen.
  • B Semantic Deduplication: identifiziert semantisch ähnliche Einträge und führt geeignete Inhalte zusammen.
  • C Chunk Splitting: teilt umfangreiche Einträge in kleinere, inhaltlich trennbare Einheiten.

Als Datengrundlage dienen 790 von Fachabteilungen verfasste Frage-Antwort-Paare. Nach der Kuratierung wird für jede Variante erneut geprüft, welche Inhalte das Retrieval bereitstellt. Context Relevance misst, ob einzelne abgerufene Textabschnitte zur Anfrage passen. Context Sufficiency bewertet, ob der Kontext insgesamt genügend Informationen für eine Antwort enthält. Ergänzend werden Textmenge, Chunk-Anzahl und Kompressionsverhältnisse betrachtet. Für die inhaltliche Bewertung kommt ein LLM-as-a-Judge-Ansatz zum Einsatz.

Ergebnisse: Textkompression reduziert am stärksten

Prozentangaben: Veränderung gegenüber dem Original. Textumfang jeweils in Zeichen.

MethodeWissensbasisrelevanter Kontext je Queryunzureichender Kontext
Original225.315 Zeichen748,29 Zeichen18 von 790 Queries
Text Compression162.672 (-27,8 %)487.986 (-34,79 %)21 von 790 Queries
Semantic Deduplication202.685 (-10,0 %)767.940 (+2,63 %)19 von 790 Queries
Chunk Splitting221.450 (-1,72 %)672.188 (-10,0 %)22 von 790 Queries

Text Compression verringert sowohl die gesamte Wissensbasis als auch den tatsächlich relevanten Kontext am deutlichsten. Abbildung 1 zeigt den Vergleich der Antwortlängen je FAQ-Eintrag. 94,6 Prozent der Einträge werden kürzer. Chunk Splitting reduziert den relevanten Kontext um etwa zehn Prozent und sorgt zugleich für eine gleichmäßigere Verteilung der Eintragsgrößen. Semantic Deduplication verkleinert zwar die Wissensbasis und reduziert die Zahl der Chunks von 790 auf 648, erhöht aber die relevante Kontextgröße im Retrieval leicht. Eine kleinere Datenbasis führt folglich nicht automatisch zu einem kleineren abgerufenen Kontext.

Streudiagramm: Die komprimierten Antworten (orange) liegen bei fast allen rund 790 FAQ-Einträgen unter der Zeichenanzahl der Originale (blau).
Abb. 1: Zeichenanzahl der Antworten vor und nach der Textkompression je FAQ-Eintrag. Die horizontale Achse zeigt den Index des FAQ-Eintrags, die vertikale Achse die Zeichenanzahl. Die beiden Punktreihen vergleichen die originalen und die komprimierten Antworten.

Fazit und Ausblick

LLM-basierte Kuratierung kann RAG-Wissensbasen effizienter gestalten. Besonders die Textkompression zeigt deutliches Potenzial. Die Informationsqualität bleibt jedoch nicht vollständig unverändert: Gegenüber 18 unzureichenden Kontexten im Ausgangszustand werden nach der Kuratierung je nach Methode 19 bis 22 Fälle ermittelt. Deshalb sollte jede Kuratierung anschließend mit quantitativen und qualitativen Metriken evaluiert werden.

Die Ergebnisse sind vorsichtig zu interpretieren. LLM-as-a-Judge ist nicht deterministisch und kann durch Modell, Biases und Promptgestaltung beeinflusst werden. Zudem bezieht sich die Evaluation auf den verwendeten FAQ-Katalog und nicht auf die Qualität generierter Antworten. Weitere Untersuchungen könnten deshalb die Antwortqualität, andere Sprachmodelle sowie strukturelle Ansätze wie Knowledge Graphs, hierarchische Indexstrukturen oder zusätzliche Metadaten einbeziehen.