王少文 | Shaowen Wang

我是清华大学计算机科学博士生，师从李建教授，本科毕业于复旦大学计算机系（专业排名 1/110）。

我的研究方向是大语言模型的预训练。架构怎么选、参数怎么设、算力怎么分——预训练里的每个设计决策，说到底都是在押注模型会怎样学习。而直到今天，很多决策仍靠代价不菲的试错来拍板。我想做的事很简单：用理解取代试错。

研究主线：

我的工作围绕一个闭环展开：定量地理解模型如何将数据和算力转化为能力，据此推导设计决策，再验证它们经得起规模增长的考验。

起点是一套"学习即压缩"的理论——一个信息论框架，从第一性原理推导出 scaling laws、知识获取规律和 hallucination 的成因。后续工作逐步将这种理解转化为设计：

弄懂压缩如何改变 scaling 行为，催生了 DLCM——一种 concept-level 架构，附带首个 compression-aware scaling law，指导固定 FLOPs 下的算力分配。弄懂注意力头各自承担的功能角色，催生了 AdaRoPE——为长上下文量身定制的 head-specific 位置编码。弄懂权重共享网络中残差更新的相关结构，催生了 looped Transformer 的 scaling rules，让训练更稳定、超参数可在不同循环次数间直接迁移。

详见下方论文。

近况：

目前在字节跳动 Seed 团队做研究实习，将上述思路应用于大规模预训练。长远来看，我希望参与打造下一代前沿模型。如果你也在做预训练，或有合适的岗位，欢迎随时联系。

精选论文

AdaRoPE: Not All Attention Heads Should Rotate and Scale Equally

2026年7月 Shaowen Wang, Yuke Zheng, Tansheng Zhu, Shuang Chen, Shaofan Liu, Suncong Zheng, Jian Li ICML 2026

#Long Context #RoPE #Architecture

RoPE 不该一刀切：为每个注意力头配备可学习的旋转频率与长度缩放，长上下文外推更强。

摘要

旋转位置编码（RoPE）已被 Transformer 广泛采用以编码位置信息，但标准实现对所有注意力头施加统一的频率调度与缩放策略。通过简化的检索任务和长度泛化实验，我们从实验和理论两方面证明：承担不同功能的注意力头需要不同的频率范围和缩放因子才能高效工作。忽视这一结构将导致嵌入维度利用率不足和性能下降，在长上下文场景下尤为明显。为此，我们提出 AdaRoPE，为每个注意力头配备可学习的旋转频率和缩放因子。使用 AdaRoPE 预训练的 LLM 在各项评测中一致优于已有的 RoPE 变体，包括 partial-RoPE 和 NoPE 基线。在上下文扩展方面，我们进一步证明 YaRN 等方法采用的统一频率和注意力缩放并非最优。通过逐头缩放，AdaRoPE 在外推设定和长上下文续训设定中均能实现更好的上下文扩展，同时更好地保持短上下文性能。这些结果突显了在单个注意力头层面优化旋转位置编码的重要性。

On the Residual Scaling of Looped Transformers: Stability and Transferability

2026年6月 Shaowen Wang, Bingrui Li, Ge Zhang, Wenhao Huang, Shen Yan, Jian Li LIT@ICLR2026

#Transformers #Scaling #Stability

权重共享让残差更新产生相关性，需要更强的缩放规则——推导后训练更稳，超参数还能跨循环次数直接迁移。

摘要

循环（权重共享）Transformer 将同一残差块重复执行 N 次（h ← h + εf(h)，每步 f 相同），在不增加参数的前提下提升有效深度。已有的深度缩放分析建议对深度为 L 的残差网络取 ε = 1/√L。我们证明这对循环架构是不够的：权重共享导致残差更新在迭代间产生相关性，需要更强的缩放 ε = 1/N。对于多层块（L 个不同层循环 N 次）的情形，我们推导出分解参数化 ε = λ/(N√L)，将两个增长来源分离：1/N 控制层内循环相关性，1/√L 控制层间方差。一个关键推论是最优学习率仅取决于独立层数 L 而非循环次数 N，这意味着超参数可以从小 N 直接迁移到大 N 而无需重新调参。在 looped Transformer 上的实验证实，1/N 缩放在各循环次数下均改善可训练性并取得更优的损失值。

Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space

2026年1月 Xingwei Qu, Shaowen Wang, Zihao Huang, Kai Hua, Fan Yin, Rui-Jie Zhu, Jundong Zhou, Qiyang Min, Zihao Wang, Yizhi Li, Tianyu Zhang, He Xing, Zheng Zhang, Yuxuan Song, Tianyu Zheng, Zhiyuan Zeng, Chenghua Lin, Ge Zhang, Wenhao Huang Best Paper, LIT@ICLR2026

#Concept Models #Latent Reasoning #Efficiency

语言信息密度参差不齐，算力分配却一视同仁。DLCM 学习语义边界，把推理搬到压缩的概念空间，附带首个 compression-aware scaling law。

摘要

大语言模型对所有 token 施加均匀的计算量，然而自然语言的信息密度分布极不均匀。这种 token 粒度的均匀计算在可局部预测的片段上浪费了容量，却在语义关键的转折处分配不足。我们提出 Dynamic Large Concept Models（DLCM），一种层次化语言建模框架：从隐表示中学习语义边界，将计算从 token 空间转移到压缩的概念空间，让推理在更高效的粒度上进行。DLCM 以端到端方式发现可变长度的概念，无需依赖预定义的语言单元。层次化压缩从根本上改变了 scaling 行为。我们提出首个 compression-aware scaling law，将 token 级容量、concept 级推理容量和压缩比解耦，使固定 FLOPs 下的算力分配有据可依。为稳定训练这一异构架构，我们进一步开发了解耦 μP 参数化方案，支持跨宽度和压缩配置的零样本超参数迁移。在实用设定下（R=4，即平均每个概念对应四个 token），DLCM 将约三分之一的推理算力重新分配到更高容量的推理主干，在匹配推理 FLOPs 下于 12 项零样本基准上取得 +2.69% 的平均提升。

Understanding LLM Behaviors via Compression: Data Generation, Knowledge Acquisition and Scaling Laws

2025年5月 Zhixuan Pan, Shaowen Wang, Jian Li NeurIPS 2025

#Scaling Laws #Compression #LLM Behavior

从压缩的视角重新理解 LLM：一个信息论框架，从第一性原理统一解释 scaling laws、知识获取与幻觉的成因。

摘要

大语言模型在众多任务上展现了出色能力，但对其底层机制及 scaling laws、幻觉等现象的系统性解释仍付之阙如。本文重新审视压缩与预测之间的经典关系——以 Kolmogorov 复杂度和 Shannon 信息论为基础——来深入剖析 LLM 的行为规律。借助 Kolmogorov 结构函数，将 LLM 的压缩过程诠释为一种两部分编码，我们得以细致刻画 LLM 在模型和数据规模增长过程中如何获取和存储信息——从普遍的句法模式到逐渐稀有的知识元素。在此理论视角与 Heap 定律和 Zipf 定律所启发的自然假设驱动下，我们提出了一个简化但具有代表性的层次化数据生成框架——Syntax-Knowledge 模型。在贝叶斯框架下，我们证明该模型中的预测与压缩过程自然产生了 LLM 中观察到的多种学习与 scaling 行为。具体而言，我们的理论分析为以下现象提供了直观且有原理支撑的解释：数据和模型 scaling laws、训练与微调中知识获取的动态过程，以及 LLM 的事实性幻觉。实验结果验证了理论预测。

LoRA-GA: Low-Rank Adaptation with Gradient Approximation

2024年7月 Shaowen Wang, Linxi Yu, Jian Li NeurIPS 2024

#PEFT #LoRA #Fine-tuning

初始化就对齐全量微调的梯度方向——不改架构、不加开销，LoRA 收敛提速数倍。

摘要

全量微调大规模预训练模型在计算和内存上代价高昂。LoRA 作为最流行的参数高效微调（PEFT）方法之一，通过微调一个参数量大幅减少的辅助低秩模型来降低成本。尽管 LoRA 显著降低了每次迭代的计算和内存开销，大量实验证据表明其收敛速度远慢于全量微调，最终反而增加总计算量且测试性能往往更差。本文深入研究了 LoRA 的初始化方法，发现精心设计的初始化（不改变架构和训练算法）即可显著提升效率与性能。我们提出 LoRA-GA（Low Rank Adaptation with Gradient Approximation），在第一步就将低秩矩阵乘积的梯度与全量微调的梯度对齐。大量实验表明，LoRA-GA 的收敛速度可与全量微调媲美（因而显著快于原始 LoRA 及其各类改进），同时取得相当甚至更优的性能。例如，在 T5-Base 的 GLUE 子集上，LoRA-GA 较 LoRA 平均高出 5.69%；在 Llama 2-7B 等更大模型上，LoRA-GA 在 MT-bench、GSM8K 和 Human-eval 上分别提升 0.34、11.52% 和 5.05%。此外，相比原始 LoRA 观察到 2–4 倍的收敛加速。代码见 https://github.com/Outsider565/LoRA-GA。