P-005 · 2026 · Teamprojekt
Knowledge-Graph-Fragebeantwortung mit LLMs
Eine im Team entwickelte LLM-Pipeline übersetzt Fragen in natürlicher Sprache in SPARQL über DBpedia, antwortet aus den Ergebnissen und wird auf LC-QuAD evaluiert.
Von der Frage zur belegten Antwort
- Entity LinkingNamen auf DBpedia-Ressourcen abbilden
- Schema-AbfragePassende Prädikate im Graphen finden
- FragezerlegungMehrstufige Fragen in Teilschritte zerlegen
- SPARQL-GenerierungLLM schreibt die Abfrage; Reparatur und Wiederholung bei Fehlern
Abfrage gegen den Live-Endpunkt von DBpedia
Die Frage
Ein Sprachmodell kann eine Faktenfrage beantworten, aber nicht zeigen, woher die Antwort stammt. Dieses Teamprojekt geht einen anderen Weg: Es übersetzt eine Frage in natürlicher Sprache in eine SPARQL-Abfrage über DBpedia und antwortet aus den Abfrageergebnissen, sodass sich jede Antwort auf den Wissensgraphen zurückführen lässt.
Vorgehen
Die Pipeline verknüpft zuerst Namen in der Frage mit DBpedia-Entitäten und durchsucht dann das Graphschema nach passenden Prädikaten. Mehrstufige Fragen werden in Teilschritte zerlegt, bevor ein LLM die SPARQL-Abfrage schreibt. Schlägt die Abfrage fehl oder liefert sie nichts, passen Reparatur- und Wiederholungsschritte sie an. Die Ergebnisse werden in einer Streamlit-App zu einer kurzen Antwort.
Ergebnisse
Wir haben das System auf LC-QuAD 1.0 evaluiert. Rund 47 % der Testfragen liefern in der heutigen DBpedia keine Ergebnisse mehr, daher nutzt die Evaluierung nur beantwortbare Fragen. Bei den ersten 50 Fragen einer festen, geschichteten Stichprobe gegen die Live-Version von DBpedia beantwortete das System 16 vollständig und 5 teilweise richtig, bei einem makro-gemittelten F1 von 0,412. Ja/Nein-Fragen schnitten am besten ab.
Meine Rolle und Grenzen
Ich habe zu diesem Teamprojekt im Kurs Advanced Machine Learning an der Leuphana Universität beigetragen. Der Wert ist eine Untergrenze: Antworten werden als exakte Zeichenketten verglichen, daher zählt eine korrekte Ressourcen-URI als falsch, wenn der Benchmark ein Label erwartet. Entity Linking, Prädikatwahl und Änderungen am Live-Graphen bleiben die Hauptfehlerquellen, und 50 Fragen ergeben ein breites Konfidenzintervall (±0,145).