Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space

大语言模型对所有 token 施加均匀的计算量，然而自然语言的信息密度分布极不均匀。这种 token 粒度的均匀计算在可局部预测的片段上浪费了容量，却在语义关键的转折处分配不足。我们提出 Dynamic Large Concept Models（DLCM），一种层次化语言建模框架：从隐表示中学习语义边界，将计算从 token 空间转移到压缩的概念空间，让推理在更高效的粒度上进行。DLCM 以端到端方式发现可变长度的概念，无需依赖预定义的语言单元。层次化压缩从根本上改变了 scaling 行为。我们提出首个 compression-aware scaling law，将 token 级容量、concept 级推理容量和压缩比解耦，使固定 FLOPs 下的算力分配有据可依。为稳定训练这一异构架构，我们进一步开发了解耦 μP 参数化方案，支持跨宽度和压缩配置的零样本超参数迁移。在实用设定下（R=4，即平均每个概念对应四个 token），DLCM 将约三分之一的推理算力重新分配到更高容量的推理主干，在匹配推理 FLOPs 下于 12 项零样本基准上取得 +2.69% 的平均提升。