P-009 · 2026 · Hackathon-Beitrag
Kraftstoffpreisprognosen mit TabPFN-3.5 und LLM-Ereignismerkmalen
Verbessern per LLM extrahierte Ereignismerkmale TabPFN-3.5-Prognosen für Benzinpreise? Hackathon-Studie mit EIA-Daten und Placebo-Test für Inhalt und Zeitpunkt.
Studiendesign
Gleiches TabPFN-3.5-Modell, gleiche Zeilen, Kontext, Seed und Fit-Plan
Die Frage
Ein Sprachmodell kann einen Bericht in strukturierte Merkmale verwandeln, aber macht das eine Prognose besser? Diese Studie habe ich für den TabPFN-3.5 Hackathon von Prior Labs entwickelt, um das an US-Benzinpreisen zu prüfen. Jev, ein gehostetes Extraktionsmodell, liest jede Wochenausgabe von This Week in Petroleum der EIA und vergibt Labels für Markttreiber, Preisausblick, Region und Versorgungsstörungen. Jedes Label behält den Satz, aus dem es stammt. Die Daten umfassen 29 wöchentliche Preisreihen der EIA und 1.146 Ausgaben von 2002 bis 2024.
Vorgehen
TabPFN-3.5 prognostiziert Preisänderungen ein bis vier Wochen im Voraus, mit Quantilen. Es läuft in mehreren Varianten, die sich nur in den Eingaben unterscheiden: Kalender und Preishistorie, dann der Veröffentlichungszeitpunkt jeder Ausgabe, dann Jev-Merkmale oder der Rohtext. Ein Placebo behält den Zeitpunkt, vertauscht aber die Labels zwischen bereits veröffentlichten Ausgaben; es hat also dieselben Spalten ohne den echten Inhalt. Jedes Merkmal nutzt nur Informationen, die vor dem Prognosezeitpunkt veröffentlicht waren. Ich habe das Protokoll auf 2005 bis 2015 festgelegt und dann einen eingefrorenen Holdout von 2016 bis Januar 2024 einmalig bewertet.
Ergebnisse
Der Holdout umfasst 418 wöchentliche Prognosezeitpunkte, 29 Reihen und 48.484 Prognosen je Variante. Hauptmaß ist der MASE, ein auf eine naive Einwochenprognose skalierter Fehler, bei dem niedriger besser ist. Jev-Merkmale senkten den MASE gegenüber dem reinen Zeitpunkt um 0,127 (95-%-KI 0,050 bis 0,209) und halfen in allen 29 Reihen. Das Placebo schnitt jedoch genauso gut ab (Differenz +0,013, KI −0,036 bis +0,057). Der Gewinn stammt also aus den zusätzlichen Spalten, nicht aus dem Inhalt der Texte. Ohne Ereignisspalten war TabPFN-3.5 ungenauer als das bloße Fortschreiben des letzten Preises, und seine 80-%-Intervalle deckten nur 67 bis 73 % der Ergebnisse ab.
Grenzen
Die Studie ist retrospektiv: Die Merkmale gelten zum jeweiligen Prognosezeitpunkt, vortrainierte Modelle könnten aber Wissen über 2002 bis 2024 mitbringen. Der Bericht wiederholt aktuelle Preise und wurde von der EIA im Januar 2024 eingestellt, daher kann die Anwendung nicht live laufen. Zwei Korrekturen nach dem Holdout-Lauf, an der Intervallbewertung und an HTML-Resten in 104 Ausgaben, sind dokumentiert und ändern das Ergebnis nicht.