P-011 · 2026 · Unternehmensprojekt · Masterarbeit · Studiendesign festgelegt · Abschließende Auswertung steht aus
Spielumsatzprognosen mit zwei Foundation-Modellen
Masterarbeit · Leuphana Universität Lüneburg · Abschließende Auswertung steht aus
Offizieller Titel — Forecasting Free-to-Play Game Revenue with Foundation Models and Agent-Compiled Text Covariates
Studiendesign
| Prognose | Tagesumsatz über 90 Tage · DAU × ARPDAU |
|---|---|
| Korpus | Ausgewählte Wiki-Abschnitte · Stand vom Vortag · programmatischer Sprachfilter · JEV-9B (Qwen3.5-9B), zwölf Kategorien, Instanz-/Typ-Labels |
| Suche | BM25 · bge-m3 · RRF-Hybridsuche · Hybrid + bge-reranker-v2-m3 · Hybrid + ein Kontextsatz von Qwen · Auswahl nach Recall@6, Bericht mit nDCG@6 |
| Belegprüfung | qwen3.8:27b Hauptantwort · gemma4:31b unabhängige Prüfung · JEV-9B bewertet Passagen · wortgetreue Zitatprüfung · zwei wechselnde Prüfmodelle |
| Texteingabe | Merkmalsspalten · Embedding-Spalten · trainierter Ridge-Adapter · KV-Cache-Eingriff → ARPDAU mit TabPFN-TS |
| H1 | TabPFN-TS und Chronos-2 mit Kalendermerkmalen · Dreimonatsplan und LightGBM, ARIMA, ETS, saisonal-naive Prognose · Plan-to-Date-Fehler und täglicher MASE |
| H2 | Ein ausgewähltes TabPFN-TS-Verfahren je auswertbarer Kombination · erweiterte Basis ohne Text, Aktivitätskennung und vertauschte Antworten · Aktivitätstage innerhalb der ersten 30 Prognosetage |
| Diagnostik | Obergrenze mit beobachtetem Niveau · Multiplikator je Einstufung · stationärer Bootstrap · Hansen SPA / White’s Reality Check · Holm für H1/H2 |
| Backtest | 52 monatliche Prognosen je Spiel · 28 zur Entwicklung · 24 für eine einmalige Testauswertung |
Prognoseaufgabe
Ich vergleiche TabPFN-TS und Chronos-2 mit unveränderten Modellgewichten bei 90-Tage-Prognosen für Free-to-Play-Spiele. Beide Modelle prognostizieren die Zahl der täglich aktiven Nutzer (DAU) und den durchschnittlichen Umsatz je täglich aktivem Nutzer (ARPDAU). Das Produkt ergibt den Tagesumsatz. Im Entwicklungszeitraum schlüssle ich die Prognosefehler zunächst nach Aktivitätsart auf und vergleiche sie mit Tagen ohne geplante Aktivitäten. Diese Diagnose zeigt, wo die Modelle häufiger danebenliegen. Welche Aktivitätsarten in den Test eingehen, wird unabhängig davon festgelegt.
Auswahl und Filterung der Wiki-Seiten
Ich wähle Wiki-Abschnitte mit Informationen über geplante Aktivitäten aus. Für jede Prognose durchsucht das System die zuletzt verfügbare Seitenversion mit Stand vom Vortag. Fehlt die passende Version, entfällt die Seite für diese Prognose. Ein programmatischer Sprachfilter entfernt deutschsprachige Seiten. Anschließend ordnet das lokale Modell JEV-9B auf Basis von Qwen3.5-9B die Seiten nach ihrem Hauptzweck zwölf Kategorien zu. Ergebnisberichte, A/B-Testseiten, Retrospektiven, Statusberichte und die Kategorie other fallen heraus. In den dafür vorgesehenen Kategorien unterscheidet das Modell zwischen einer konkreten Ausgabe (instance) und einer allgemeinen Beschreibung (type). Die Klassifizierung erfolgt auf dem neuesten Stand der Seite. Ich prüfe ihre Stabilität anhand älterer Versionen. Suche und Lesemodelle verwenden ausschließlich den zum Stichtag zulässigen Text.
Fünf Suchvarianten
Ich indexiere Passagen mit bis zu 900 Zeichen samt Seitentitel und Überschriften. Im Entwicklungszeitraum vergleiche ich auf einem bewerteten Satz von Passagen fünf Varianten:
- Lexikalische Suche mit
BM25. - Vektorsuche mit
bge-m3. - Hybridsuche, die beide Ranglisten mit Reciprocal Rank Fusion (RRF) zusammenführt.
- Hybridsuche mit Neusortierung, bei der das lokale Modell
bge-reranker-v2-m3die besten 30 Passagen neu bewertet und sortiert. - Hybridsuche mit Passagenkontext, bei der
qwen3.8:27bje Passage einen Kontextsatz aus derselben historischen Seitenversion erzeugt.
Pro Spiel wähle ich die Variante mit dem höchsten Recall@6, also mit dem größten Anteil relevanter Passagen unter den ersten sechs. Zusätzlich berichte ich nDCG@6. Dieses Maß gewichtet relevante Passagen auf den vorderen Rängen stärker. Die Lesemodelle erhalten bis zu sechs Passagen, höchstens drei pro Seite.
Lokale Lesemodelle und Belegprüfung
qwen3.8:27b und gemma4:31b füllen unabhängig voneinander dasselbe Formular aus. Es erfasst einen vergleichbaren früheren Durchlauf, die Einschätzung schwächer, ähnlich stark oder stärker, die beschriebene Änderung sowie ein Zitat mit Seite und Version. Die Antwort von Qwen ist für die Prognose vorgesehen. Gemma liefert eine unabhängige Prüfung. JEV-9B bewertet für jede Passage die Antwortoptionen für den früheren Durchlauf und die Einstufung. Der Code prüft das Zitat auf wortgetreue Übereinstimmung. Danach stimmen die jeweils beiden anderen Modelle darüber ab, ob die Passage die Antwort stützt. Ohne gültiges Zitat oder zwei Ja-Stimmen wird die Antwort als nothing stated gewertet.
Vier Wege, Textinformationen in TabPFN-TS einzubinden
Der Texttest nutzt eine erweiterte Basisvariante ohne Text. Sie umfasst Kalendermerkmale, Aktivitätskennungen, eine Kurve für die Tage seit einem Weltstart und wichtige Verkaufstermine. Der Texteingriff betrifft die ARPDAU-Prognose an Tagen mit geplanten Aktivitäten. Die DAU-Prognose bleibt gleich. Chronos-2 nimmt am Modellvergleich ohne Texteingaben teil.
| Verfahren | Was sich ändert |
|---|---|
| Merkmalsspalten (Column) | Ergänzt zwei Tagesspalten für die Einstufung (−1, 0 oder +1) und den gemessenen Lift des vergleichbaren früheren Durchlaufs. Der Lift setzt das Niveau während des Durchlaufs ins Verhältnis zum vorherigen Basisniveau. |
| Embedding-Spalten | Kodiert Beschreibung und Zitat mit bge-m3 und reduziert den Vektor per Hauptkomponentenanalyse auf 4, 8 oder 16 Eingabespalten. Die Analyse verwendet frühere Antworttexte ohne Ergebniswerte. |
| Trainierter Adapter | Schätzt das erwartete Aktivitätsniveau per Ridge-Regression aus demselben bge-m3-Vektor. Die Schätzung ergibt eine zusätzliche Spalte. Die Regularisierung wird mit zeitlich vorwärts gerichteter Validierung gewählt. |
| Eingriff in den KV-Cache | Nutzt TabPFN-TS im Modus fit_with_cache. In jeder Attention-Schicht skaliert das Verfahren die gespeicherten Schlüssel der früheren Tage des genannten Durchlaufs und kann die zugehörigen Werte entlang einer ARPDAU-Niveaurichtung verschieben. Modellgewichte und Eingabetabelle bleiben gleich. Dieses Verfahren ist spezifisch für TabPFN-TS mit TabPFN-3.5. |
Auswertung und Kontrollen
H1 · Prognosemodelle. Je Spiel vergleiche ich TabPFN-TS und Chronos-2 mit der stärksten Referenz im Entwicklungszeitraum. Zur Auswahl stehen der Dreimonatsplan der Analysten, LightGBM, ARIMA, ETS und eine saisonal-naive Prognose. Im Testzeitraum muss der Plan-to-Date-Fehler, also der relative Fehler beim kumulierten Umsatz, um mindestens 2,0 Prozentpunkte sinken. Auch der tägliche MASE muss niedriger ausfallen. Ein stationärer Block-Bootstrap über die Prognosestichtage berücksichtigt überlappende Prognosen. Die Holm-Korrektur berücksichtigt die beiden Prognosemodelle.
H2 · Zusatznutzen des Textes. Für jede der zwölf auswertbaren Kombinationen aus Spiel und Aktivitätsart wähle ich anhand der Entwicklungsdaten einen der vier Wege für TabPFN-TS. Der Test umfasst Events, Verkaufsaktionen innerhalb und außerhalb von Events sowie die ersten drei Tage eines Weltstarts. Releases entfallen im abschließenden Texttest, weil sich zu wenige Releasetermine im Voraus belegen lassen. Die Prüfung betrachtet Tage innerhalb der ersten 30 Prognosetage, an denen eine akzeptierte Antwort einen früheren Durchlauf und eine Einstufung liefert. Die gewählte Variante muss die Kontrolle über die Aktivitätskennung (name code) und die über drei Zufallsstarts gemittelte Kontrolle mit vertauschten Antworten bei MASE und MAPE um mehr als zwei Standardfehler schlagen. Gegenüber der Basisvariante ohne Text müssen beide Fehlermaße mindestens gleich gut ausfallen. Einseitige gepaarte Tests auf MASE berücksichtigen mit der Holm-Korrektur die Aktivitätsarten je Spiel.
Für eine diagnostische Obergrenze erhält das Prognosemodell das tatsächlich beobachtete Aktivitätsniveau. Ein weiterer Vergleich multipliziert die Basisprognose mit einem einfachen Faktor je Einstufung. Ich prüfe, ob der Cache-Modus die Standardprognose reproduziert und ob ein neutraler Cache-Eingriff die Prognose unverändert lässt. Hansens SPA-Test und Whites Reality Check nutzen einen stationären Bootstrap auf den Entwicklungsdaten, um den Einfluss der Auswahl unter vielen Varianten zu prüfen.
Prüfprotokoll. Pro Spiel sind 52 monatliche Prognosen vorgesehen. 28 dienen der Entwicklung, 24 sind für den Test reserviert. Die Auswahl und alle Prüfregeln werden vor der einmaligen Auswertung des Testzeitraums festgelegt. Die abschließende Auswertung steht aus.