pp体育

pp体育

刘军院士课题组在统计学习与数据科学领域取得系列研究进展

发布时间:2026年10月09日

近期,pp体育-pp体育直播 刘军院士课题组与合作团队在统计学习、生成建模与生物医学数据分析等领域取得系列研究进展,九项研究成果获国际学术期刊或会议录用,为复杂数据的可靠统计推断、生成模型的条件采样、以及遗传变异的表型预测等提供了新思路。

其中,三篇论文被第 43 届国际机器学习大会(International Conference on Machine Learning,ICML 2026)录用,一篇被第 40 届神经信息处理系统大会(Conference on Neural Information Processing Systems,NeurIPS 2026)录用;另有三篇论文被《统计学习与数据科学》(Statistical Learning and Data Science)接收、一篇发表于《自然·生物医学工程》(Nature Biomedical Engineering)、一篇被《美国国家科学院院刊》(PNAS)接收。


基于数据拆分估计高维逻辑回归中的信号强度

逻辑回归是统计学习中广泛使用的分类模型。当数据维度与样本量处于同一量级时,传统极大似然估计可能出现系统性偏差;若数据线性可分,有限的极大似然估计甚至不存在。准确估计决定偏差与方差校正的信号强度,是将高维渐近理论转化为可靠统计推断的关键。

针对这一问题,课题组提出了基于数据拆分的信号强度估计方法。该方法引入以样本协方差矩阵为权重的广义岭正则化,缓解线性可分数据带来的估计困难;通过比较两份独立子样本上的估计结果,提取信号与噪声信息,进而估计信号强度。在高斯设计、信号强度可识别等条件下,研究建立了正则化估计量的渐近理论,并证明了所提信号强度估计的一致性。该方法无需预先知道真实协方差矩阵,为高维逻辑回归的偏差校正与置信区间构造提供了可行途径。

数值模拟验证了该方法在不同信号强度与协方差结构下的有效性。研究进一步将其应用于单细胞 RNA 测序数据,识别与糖皮质激素响应相关的基因,展示了其在实际高维数据分析中的应用潜力。

图1 高维逻辑回归的数值模拟结果(单位协方差情形)。样本量与维度之比固定为 3,随着二者共同增加,信号强度及偏差、方差校正因子的估计误差总体减小,置信区间覆盖率接近 95%。蓝、红线对应两种信号强度,虚、实线对应两种估计方法。

相关成果“Signal Strength Estimation in Logistic Regression Using Data Splitting”被 ICML 2026 录用。课题组“水木学者”博士后李伟豪为论文第一作者,刘军院士为通讯作者。


TFTF:面向流匹配模型的免训练条件采样

在图像生成等应用中,模型不仅要生成逼真的样本,还需要使其符合指定类别或文本描述。如何在不重新训练或微调生成模型的情况下,复用预训练无条件模型完成不同条件任务,是生成式人工智能中的重要问题。

课题组提出免训练条件采样方法 TFTF(Training-Free Targeted Flow),将重要性采样与重采样相结合。该方法在生成早期和末期采用确定性流,在中间阶段引入噪声强度可调的随机流,并结合条件引导、加权和重采样,优先保留更有希望满足目标条件的生成路径。这一设计既缓解了高维采样中的权重退化,又使重采样产生的副本能够沿不同路径继续生成,促进样本多样性。通过重要性权重校正,研究在相应条件下证明了加权样本对目标条件分布的渐近收敛性。

在 MNIST 和 CIFAR-10 的类别条件生成实验中,TFTF 在独立分类器评估的目标类别符合率上均优于基线方法。此外,研究在 CelebA-HQ 数据集上实现了文本引导的人脸生成,展示了该框架对更高维条件生成任务的适用性。

图2 TFTF 的类别条件生成与文本引导生成示例。左侧对比直接重要性采样与 TFTF 在“汽车”类别上的生成结果,ESS 表示有效样本量;右侧展示分别以“金发女性”和“表情严肃的男性”为文本提示生成的人脸图像。

相关成果“TFTF: Training-Free Targeted Flow for Conditional Sampling”被 ICML 2026 录用。课题组2026 级博士生曲仟仟为论文第一作者,刘军院士为通讯作者。


BridgeTwist:面向薛定谔桥模型的免训练条件采样

薛定谔桥(Schrödinger bridge)是与扩散模型、流匹配模型紧密相关的重要生成建模框架。它将最优传输与随机过程相结合,能够在一般的源分布与目标分布之间学习随机演化路径,为生成与转换提供了灵活的建模方式。然而,已有免训练条件采样方法主要面向扩散和流模型,如何让同一个预训练薛定谔桥模型在无需重新训练或微调的情况下支持多种条件任务,尚未得到充分探索。针对这一问题,课题组提出 BridgeTwist,将序贯蒙特卡洛条件采样框架拓展至薛定谔桥,为其多任务复用与可控生成提供了新方法。

不同于流模型主要依赖速度场进行外推、扩散模型主要依赖得分场进行去噪,薛定谔桥的终点预测需要同时考虑分布传输与随机扰动。BridgeTwist 联合利用预训练模型的速度场与得分场预测生成终点,并据此构造条件引导。针对生成早期终点预测不确定性较大的问题,该方法通过随时间变化的似然温度调节,减弱早期引导的影响;同时设计桥形噪声调度,将更多随机探索集中在生成路径的中间阶段。重要性权重校正则使中间引导与温度调节不改变最终的目标条件分布。在相应正则条件下,研究证明了加权粒子估计的收敛性,并给出了有限粒子误差界。

实验结果表明,BridgeTwist 在类别条件生成和文本引导图像生成任务中,能够兼顾条件匹配、图像质量与样本多样性。与专用图像恢复方法相比,该方法在图像补全、去模糊和超分辨率等任务中也表现出较强的竞争力。

图3 BridgeTwist 方法框架。利用速度场和得分场联合预测生成终点,结合似然温度调节与桥形噪声调度,通过“传播—重加权—重采样”逐步逼近目标条件分布。

相关成果“BridgeTwist: Twisting Schrödinger Bridges for Training-Free Conditional Sampling”被 NeurIPS 2026 录用。课题组“水木学者”博士后李梦雨为论文第一作者,2026 级博士生曲仟仟为第二作者,刘军院士为通讯作者。


GuidedBridge:通过先验引导提升桥模型的生成质量

在图像转换与恢复任务中,桥模型能够以输入图像为起点,利用其中的结构与细节信息生成目标图像。如何在不重新训练或微调模型的情况下,进一步发挥这类输入先验的作用,是提升桥模型生成质量的重要问题。

针对这一问题,课题组与清华大学计算机系朱军教授团队合作提出 GuidedBridge,通过先验引导(Prior Guidance,PG)增强预训练桥模型对输入信息的利用。该方法在采样过程中对当前状态施加额外噪声、模糊等退化操作,构造信息受损的“弱先验”,再利用同一模型在原始状态与弱先验下的去噪预测差异构造引导,无需额外训练辅助模型。研究进一步提出频率调制先验引导(FMPG),根据桥生成过程的信噪比变化,分别调节低频结构与高频细节的引导强度;针对图像补全中先验信息不足的问题,将无分类器引导(CFG)与 FMPG 分阶段衔接,先恢复整体结构,再细化生成结果。

在 Edges→Handbags、DIODE 和 ImageNet 数据集的图像转换与补全实验中,所提方法在相同网络评估次数下改善了已有桥模型的生成质量,展示了无需重新训练即可提升模型性能的应用潜力。

图4 GuidedBridge 的先验引导机制。 左、中分别示意无分类器引导(CFG)和自动引导(AG);右侧为本研究提出的先验引导(PG),通过在桥采样过程中对先验表征进行适度扰动,增强模型对先验信息的利用,从而改善生成质量。

相关成果“GuidedBridge: Training-freely Improving Bridge Models with Prior Guidance”被 ICML 2026 录用。清华大学计算机系博士后陈泽华为第一作者,陈泽华与朱军教授为通讯作者,刘军院士参与合作。


其他研究成果

在网络数据分析、充分降维与神经网络理论方面,课题组及合作团队三项研究成果被Statistical Learning and Data Science。其中,“Network Perturbation Aggregation for Graphon Estimation”针对 Graphon 估计中由单一网络观测带来的高方差问题,提出网络扰动聚合方法,通过构造并整合多个扰动网络的估计结果提升估计稳定性与精度;“A Semiparametric Bayesian Method for Sufficient Dimension Reduction”提出半参数贝叶斯充分降维方法,利用灵活的非参数混合模型刻画低维投影与响应变量的联合分布,并实现对降维子空间的不确定性量化;“Towards a Statistical Understanding of Neural Networks: Beyond the Neural Tangent Kernel Theories”则从统计学视角梳理神经网络切线核理论及其局限,并进一步从自适应特征学习角度探索神经网络泛化能力的理论解释,刘军院士为该论文通讯作者。

在生物医学数据分析方面,合作论文“Phenotypic Prediction of Missense Variants via Deep Contrastive Learning”发表于Nature Biomedical Engineering。该研究利用深度对比学习整合蛋白质语言模型、生物医学知识和电子健康记录等多源信息,用于预测错义变异所对应的临床表型。

此外,合作论文“Bayesian Knockoff Filter for Controlling False Discovery Rate”已被PNAS接收。该研究提出贝叶斯 Knockoff Filter,在贝叶斯框架下开展变量选择与错误发现率控制,刘军院士为通讯作者。