论文

旋转位置编码（RoPE）已被 Transformer 广泛采用以编码位置信息，但标准实现对所有注意力头施加统一的频率调度与缩放策略。通过简化的检索任务和长度泛化实验，我们从实验和理论两方面证明：承担不同功能的注意力头需要不同的频率范围和缩放因子才能高效工作。忽视这一结构将导致嵌入维度利用率不足和性能下降，在长上下文场景下尤为明显。为此，我们提出 AdaRoPE，为每个注意力头配备可学习的旋转频率和缩放因子。使用 AdaRoPE 预训练的 LLM 在各项评测中一致优于已有的 RoPE 变体，包括 partial-RoPE 和 NoPE 基线。在上下文扩展方面，我们进一步证明 YaRN 等方法采用的统一频率和注意力缩放并非最优。通过逐头缩放，AdaRoPE 在外推设定和长上下文续训设定中均能实现更好的上下文扩展，同时更好地保持短上下文性能。这些结果突显了在单个注意力头层面优化旋转位置编码的重要性。

奖励模型（RM）是基于人类反馈的强化学习（RLHF）中的代理目标，其评分直接引导策略优化。我们发现标准 RM 训练在回复质量仅弱依赖上下文的数据子集上存在脆弱性：这些样本会诱导 RM 忽视上下文，导致 context neglect 并降低准确率。为应对这一失效模式，我们提出 Distribution-Aware Reward Modeling（DARM），在 RM 目标中加入条件互信息正则项，最大化上下文与预测奖励在给定回复条件下的互信息。通过显式保持奖励信号对上下文的敏感性，DARM 减少了对仅依赖回复特征的过度依赖，提升了对上下文变化的鲁棒性。在分布内和分布外设定下的大量实验表明，DARM 训练的 RM 比强基线提供更准确、更一致的评分。我们进一步在 RLHF 的下游任务中验证了其效果：使用 DARM 的 RM 能产生对齐程度更高的策略。消融实验也证明了 DARM 各设计组件的必要性及关键参数对性能的影响。

循环（权重共享）Transformer 将同一残差块重复执行 N 次（h ← h + εf(h)，每步 f 相同），在不增加参数的前提下提升有效深度。已有的深度缩放分析建议对深度为 L 的残差网络取 ε = 1/√L。我们证明这对循环架构是不够的：权重共享导致残差更新在迭代间产生相关性，需要更强的缩放 ε = 1/N。对于多层块（L 个不同层循环 N 次）的情形，我们推导出分解参数化 ε = λ/(N√L)，将两个增长来源分离：1/N 控制层内循环相关性，1/√L 控制层间方差。一个关键推论是最优学习率仅取决于独立层数 L 而非循环次数 N，这意味着超参数可以从小 N 直接迁移到大 N 而无需重新调参。在 looped Transformer 上的实验证实，1/N 缩放在各循环次数下均改善可训练性并取得更优的损失值。

尽管大语言模型在海量数据上预训练，其知识覆盖在专业化、数据稀缺的领域仍不完整，这推动了大量关于合成数据生成以实现知识注入的研究。我们提出 SPA（Scaling Prompt-engineered Augmentation），一个简单但难以超越的基线：仅用少量精心设计的 prompt 即可大规模生成用于知识注入的合成数据。通过系统对比，我们发现 SPA 优于多个强基线。进一步地，我们揭示了已有方法的两个关键局限：（1）基于强化学习的方法在小规模下或许能提升 LLM 数据增强的 token 效率，但随着数据规模扩大会遭遇多样性崩溃，边际收益递减；（2）多阶段 prompt 方法虽可能胜过简单增强，但其优势在 prompt 经过精心调优后会消失。我们的结果表明，对于知识注入而言，精心的 prompt 设计配合大规模直接增强出人意料地有效，我们希望 SPA 能为该领域的后续研究提供一个强基线。代码见 https://github.com/Tangkexian/SPA。

大语言模型对所有 token 施加均匀的计算量，然而自然语言的信息密度分布极不均匀。这种 token 粒度的均匀计算在可局部预测的片段上浪费了容量，却在语义关键的转折处分配不足。我们提出 Dynamic Large Concept Models（DLCM），一种层次化语言建模框架：从隐表示中学习语义边界，将计算从 token 空间转移到压缩的概念空间，让推理在更高效的粒度上进行。DLCM 以端到端方式发现可变长度的概念，无需依赖预定义的语言单元。层次化压缩从根本上改变了 scaling 行为。我们提出首个 compression-aware scaling law，将 token 级容量、concept 级推理容量和压缩比解耦，使固定 FLOPs 下的算力分配有据可依。为稳定训练这一异构架构，我们进一步开发了解耦 μP 参数化方案，支持跨宽度和压缩配置的零样本超参数迁移。在实用设定下（R=4，即平均每个概念对应四个 token），DLCM 将约三分之一的推理算力重新分配到更高容量的推理主干，在匹配推理 FLOPs 下于 12 项零样本基准上取得 +2.69% 的平均提升。

尽管取得了长足进步，大语言模型仍会产生幻觉——生成看似合理却不正确的回复。本文揭示了一类此前被忽视但至关重要的幻觉类型：由伪相关驱动的幻觉——训练数据中表面但统计上显著的特征-属性关联（例如姓氏与国籍之间的关联）。我们证明伪相关导致的幻觉具有以下特征：生成时置信度极高、不随模型规模增大而消退、能够躲避现有检测方法，且在拒答微调后依然顽固存在。通过系统控制的合成实验以及对最先进开源和闭源 LLM（包括 GPT-5）的实证评估，我们表明现有幻觉检测方法——如基于置信度的过滤和内部状态探测——在伪相关面前从根本上失效。理论分析进一步阐明了为什么这些统计偏差在本质上会瓦解基于置信度的检测技术。这些发现凸显了亟需开发专门针对伪相关幻觉的新型检测方法。

大语言模型在众多任务上展现了出色能力，但对其底层机制及 scaling laws、幻觉等现象的系统性解释仍付之阙如。本文重新审视压缩与预测之间的经典关系——以 Kolmogorov 复杂度和 Shannon 信息论为基础——来深入剖析 LLM 的行为规律。借助 Kolmogorov 结构函数，将 LLM 的压缩过程诠释为一种两部分编码，我们得以细致刻画 LLM 在模型和数据规模增长过程中如何获取和存储信息——从普遍的句法模式到逐渐稀有的知识元素。在此理论视角与 Heap 定律和 Zipf 定律所启发的自然假设驱动下，我们提出了一个简化但具有代表性的层次化数据生成框架——Syntax-Knowledge 模型。在贝叶斯框架下，我们证明该模型中的预测与压缩过程自然产生了 LLM 中观察到的多种学习与 scaling 行为。具体而言，我们的理论分析为以下现象提供了直观且有原理支撑的解释：数据和模型 scaling laws、训练与微调中知识获取的动态过程，以及 LLM 的事实性幻觉。实验结果验证了理论预测。

现代推荐系统广泛采用在线学习来动态更新模型。这一场景中最常用的优化器是 Adam，它整合了动量（mₜ）和自适应学习率（vₜ）。然而在线学习数据的易变特性——频繁的分布漂移和噪声——给 Adam 的标准优化过程带来了两大挑战：（1）Adam 可能使用过时的动量和梯度平方均值，导致对分布变化的适应变慢；（2）Adam 的性能会受到数据噪声的不利影响。为此我们提出 CAdam，一种基于置信度的优化策略：在每个参数维度上，先评估动量与当前梯度的方向一致性，再决定是否更新。若二者方向一致，CAdam 按 Adam 原有公式更新参数；若不一致，则暂缓更新，并在后续迭代中观察是否出现真实的分布漂移。这使 CAdam 能够区分真实分布变化与纯粹的噪声，从而更快地适应新数据分布。在包含分布漂移或噪声的多种设定下，实验表明 CAdam 超越了包括原始 Adam 在内的多个知名优化器。此外，在一个大规模线上推荐系统的 A/B 测试中，CAdam 相比 Adam 显著提升了模型性能，带来了 GMV 的可观增长。

全量微调大规模预训练模型在计算和内存上代价高昂。LoRA 作为最流行的参数高效微调（PEFT）方法之一，通过微调一个参数量大幅减少的辅助低秩模型来降低成本。尽管 LoRA 显著降低了每次迭代的计算和内存开销，大量实验证据表明其收敛速度远慢于全量微调，最终反而增加总计算量且测试性能往往更差。本文深入研究了 LoRA 的初始化方法，发现精心设计的初始化（不改变架构和训练算法）即可显著提升效率与性能。我们提出 LoRA-GA（Low Rank Adaptation with Gradient Approximation），在第一步就将低秩矩阵乘积的梯度与全量微调的梯度对齐。大量实验表明，LoRA-GA 的收敛速度可与全量微调媲美（因而显著快于原始 LoRA 及其各类改进），同时取得相当甚至更优的性能。例如，在 T5-Base 的 GLUE 子集上，LoRA-GA 较 LoRA 平均高出 5.69%；在 Llama 2-7B 等更大模型上，LoRA-GA 在 MT-bench、GSM8K 和 Human-eval 上分别提升 0.34、11.52% 和 5.05%。此外，相比原始 LoRA 观察到 2–4 倍的收敛加速。代码见 https://github.com/Outsider565/LoRA-GA。

近年来表格预训练引起了广泛研究兴趣，但如何利用表格预训练提升表格预测性能仍是一个未解难题。本文提出 TapTap——首个利用表格预训练赋能表格预测模型的方案。在大规模真实表格语料上预训练后，TapTap 能够生成高质量的合成表格，支持隐私保护、低资源场景、缺失值填补和类别不平衡分类等多种应用。在 12 个数据集上的广泛实验表明，TapTap 在不同场景下优于总计 16 个基线方法，且可灵活搭配 LightGBM、多层感知机（MLP）和 Transformer 等多种主干模型。更值得一提的是，借助表格预训练，在半数实验数据集上，仅用 TapTap 生成的合成数据训练的模型就能与使用原始数据集训练的模型比肩，在合成表格数据生成领域树立了一个里程碑。代码见 https://github.com/ZhangTP1996/TapTap。