P-008 · 2026 · Hackathon-Beitrag
TabPFN-3.5 vs. bayessche Pareto/NBD-Kundenmodelle
Wann schlägt das Foundation-Modell TabPFN-3.5 bayessche Pareto/NBD-Modelle bei der Vorhersage, ob Kunden wieder kaufen? Ein Benchmark auf Online Retail II und CDNOW.
Studiendesign
Gemeinsame Eingaben, dann ein vorab festgelegter erweiterter Merkmalssatz
Die Frage
Retention-Analysten sagen Wiederholungskäufe oft mit Pareto/NBD voraus, einem Modell von 1987, das keine gelabelten Beispiele braucht. TabPFN-3.5 ist ein tabellarisches Foundation-Modell, das per In-Context-Learning aus gelabelten Beispielen lernt, ohne aufgabenspezifisches Training. Diesen Benchmark habe ich für den TabPFN-3.5 Hackathon von Prior Labs gebaut, um herauszufinden, wann es besser vorhersagt. Zu monatlichen Prognosezeitpunkten erhält jeder Bestandskunde zwei Vorhersagen: die Wahrscheinlichkeit, in den nächsten 90 Tagen nicht zu kaufen, und die Anzahl der Käufe in diesem Zeitraum.
Vorgehen
TabPFN-3.5 läuft ungetunt gegen einfache Referenzregeln, logistische und Poisson-Regression, getuntes LightGBM, Pareto/NBD und die hierarchisch-bayessche Variante nach Abe (2009), die nur bewertet wird, wenn ihr MCMC-Sampler konvergiert. Die überwachten Modelle sehen zuerst nur die drei Eingaben von Pareto/NBD (Kaufhäufigkeit, Zeitpunkt des letzten Kaufs und Kundenalter), danach einen vorab festgelegten erweiterten Satz mit jüngster Aktivität, Kauflücken, Trends und Umsatz. Ich habe das Protokoll anhand von Entwicklungszeitpunkten festgelegt und dann drei unberührte Holdout-Zeitpunkte einmalig bewertet, mit Konfidenzintervallen aus einem Bootstrap, der ganze Kunden zieht. Lernkurven wiederholen den Vergleich mit 50 bis 2.000 gelabelten Kunden.
Ergebnisse
Auf Online Retail II mit den drei Pareto/NBD-Eingaben schlägt das labelfreie Pareto/NBD TabPFN-3.5 beim Brier-Score, einem Maß für den Fehler von Wahrscheinlichkeiten, bei dem niedriger besser ist (0,169 gegenüber 0,177), und ist besser kalibriert. Mit erweiterten Merkmalen liegt TabPFN-3.5 beim Brier-Score gleichauf mit GLM, LightGBM und Pareto/NBD, erkennt inaktive Kunden am zuverlässigsten (PR-AUC 0,858) und hat den geringsten Fehler bei der Kaufanzahl. Es ist zudem bei jeder Lernkurvengröße das beste überwachte Modell. Auf CDNOW, dem Heimdatensatz der bayesschen Modelle, konvergiert Abes Modell und gewinnt mit den gemeinsamen Eingaben. Kurz: TabPFN-3.5 gewinnt, wenn es reichere Merkmale bekommt und Labels knapp sind.
Grenzen
Die Daten stammen aus nicht vertraglichem Handel, daher ist 90-tägige Inaktivität keine Kündigung, und die Modelle ordnen Risiken, statt die Wirkung einer Kundenansprache zu schätzen. TabPFN-3.5 lieferte die am schlechtesten kalibrierten Wahrscheinlichkeiten, weil die Inaktivitätsrate im Trainingszeitraum von der im Holdout abwich. Die Studie umfasst zwei öffentliche Handelsdatensätze mit sich überlappenden Holdout-Zeitpunkten. Das Repository enthält eine lokale Streamlit-Anwendung, die gespeicherten Vorhersagen und einen Befehl, der alle Tabellen neu erzeugt.