Generative Table Pre-training Empowers Models for Tabular Prediction

近年来表格预训练引起了广泛研究兴趣，但如何利用表格预训练提升表格预测性能仍是一个未解难题。本文提出 TapTap——首个利用表格预训练赋能表格预测模型的方案。在大规模真实表格语料上预训练后，TapTap 能够生成高质量的合成表格，支持隐私保护、低资源场景、缺失值填补和类别不平衡分类等多种应用。在 12 个数据集上的广泛实验表明，TapTap 在不同场景下优于总计 16 个基线方法，且可灵活搭配 LightGBM、多层感知机（MLP）和 Transformer 等多种主干模型。更值得一提的是，借助表格预训练，在半数实验数据集上，仅用 TapTap 生成的合成数据训练的模型就能与使用原始数据集训练的模型比肩，在合成表格数据生成领域树立了一个里程碑。代码见 https://github.com/ZhangTP1996/TapTap。