Spielumsatzprognosen mit Foundation-Modellen

Prognosen stützen sich häufig auf historische Beobachtungen und Kalenderinformationen. Planungsdokumente enthalten eine weitere Informationsquelle: Beschreibungen von Aktivitäten, die erst noch stattfinden sollen. Ein Kalenderindikator erfasst deren Zeitpunkt, während die Dokumente erläutern können, was geplant ist. Damit diese Inhalte in eine Prognose einfließen können, müssen sie numerisch dargestellt werden.

Meine Arbeit prüft, ob solche Darstellungen die Prognosegenauigkeit über historische Beobachtungen und Kalenderindikatoren hinaus verbessern. Dabei geht es sowohl um den Informationsgehalt der Dokumente als auch um die Entscheidungen bei ihrer Umwandlung in Modelleingaben.

Ein Ansatz verwendet einen LLM-Agenten, der Informationen nach einem vorgegebenen Schema extrahiert. Die Pipeline validiert die extrahierten Datensätze. Ein deterministisches Skript wandelt sie anschließend in Kovariaten um: zusätzliche Spalten, die den Kontext eines Prognosezeitpunkts beschreiben. Die Extraktion lässt sich anhand des Quelldokuments prüfen, bevor die Spalten in das Prognosemodell eingehen.

Die Arbeit vergleicht außerdem zwei Alternativen. TF-IDF stellt Dokumente anhand ihrer Wörter und deren relativer Bedeutung innerhalb der Dokumentensammlung dar. Embeddings nutzen ein Sprachmodell, um Dokumente als numerische Vektoren abzubilden, die Ähnlichkeiten in der Bedeutung erfassen. Der Vergleich prüft, ob eine strukturierte Extraktion nützlich ist oder ob einfachere wortbasierte Merkmale beziehungsweise Embeddings besser geeignete Eingaben liefern.

TabPFN-TS mit dem TabPFN-3.5-Checkpoint erstellt die numerischen Prognosen aus historischen Beobachtungen, Kalenderindikatoren und den ausgewählten Kovariaten. Das LLM übernimmt die Extraktion. Da die Prognosemethode über die Dokumentdarstellungen hinweg gleich bleibt, lässt sich deren Beitrag direkt untersuchen.

Die Evaluierung bildet Prognosen zu aufeinanderfolgenden Zeitpunkten nach. Jede Prognose verwendet nur Beobachtungen und Dokumentversionen, die zum jeweiligen Zeitpunkt verfügbar waren. Eine spätere Überarbeitung kann Informationen enthalten, die bei der ursprünglichen Prognose noch unbekannt gewesen wären. Ein späterer Evaluierungszeitraum wird von den Daten getrennt, die zur Entwicklung des Ansatzes dienen.

Prognosen mit dokumentbasierten Eingaben werden mit einer Kalenderreferenz und Kontrollen mit vertauschten Inhalten verglichen. Die Referenz ermittelt die Prognoseleistung ohne Dokumentinhalte. Das Vertauschen verändert die Zuordnung von Inhalten zu Aktivitäten, während zeitbezogene Strukturen erhalten bleiben. So wird geprüft, ob die Inhalte zusätzliche Informationen liefern, die über Termine und die bloße Anwesenheit weiterer Eingabespalten hinausgehen.

Die Evaluierung betrachtet außerdem Extraktionsqualität und Prognoseunsicherheit. Ein formal gültiger Datensatz kann eine falsche Interpretation enthalten; eine Schemaprüfung allein reicht deshalb nicht aus. Neben Punktprognosen werden Prognoseintervalle bewertet, um zu prüfen, wie gut das Modell Unsicherheit abbildet.

Ich habe den Workflow von der Dokumentaufbereitung und LLM-Extraktion über die Merkmalsbildung bis zur Prognoseevaluierung entwickelt. Dazu gehören Validierung, Referenz- und Kontrollvergleiche sowie Aufzeichnungen der Modell-, Prompt- und Eingabeversionen eines Durchlaufs. Damit lässt sich eine Prognose auf die Konfiguration und Informationen zurückführen, aus denen sie entstanden ist.

Das Projekt bildet die Grundlage meiner Masterarbeit im Studiengang Management & Data Science an der Leuphana Universität. Ich schreibe derzeit die Arbeit. Diese Übersicht beschreibt den Ansatz; Unternehmensdaten und Forschungsergebnisse werden hier nicht veröffentlicht.