近日，pp体育-pp体育直播 邓柯教授团队与北京大学人民医院胸外科王俊院士、周健主任医师团队合作推出基于“统计×AI”范式的手术视频智能分析方法，通过统计学习和深度学习的融合推理，大幅提高了从手术视频中识别手术器械和手术阶段的精度，并提供了具有可解释性和不确定性度量的医学见解。相关成果发表于应用统计顶刊The Annals of Applied Statistics (AOAS)，论文链接：//doi.org/10.1214/26-AOAS2211。清华统计系19级博士研究生王海沣和北京大学人民医院胸外科主治医师许昊为本文的共同第一作者，邓柯和周健为本文的共同通讯作者。

近年来，随着腔镜手术的快速发展和广泛应用，大量的高质量手术视频在手术室中被记录下来，涵盖了各种类型的手术，包括乳突切除术、腹腔镜手术和胸腔镜手术等。这些手术视频不仅记录了手术的完整操作过程，而且包含了丰富的手术进程信息，这为学者提供了一个从多个角度学习和分析手术进程的绝佳机会。然而，人类通过目测来处理视频的效率极低，这使得开发用于手术视频分析的自动化算法具有极大的吸引力和作用。通过使用自动化算法，学者可以更高效地处理和分析手术视频，从而更好地利用这些宝贵的信息资源。这不仅可以提高手术的质量，还可以为医生的培训和手术的管理提供强大的支持。为此，文献中提出了许多基于深度学习的手术视频分析方法，对手术器械、手术阶段和手术事件进行智能识别（详见图一）。但是，这类方法有如下三个主要的局限性，在实际应用中受到诸多限制：（1）这些方法非常依赖对手术视频的大规模连续标记来对深度学习模型进行微调训练来保证识别精度，数据标注和模型训练的成本非常高；（2）当标注数据体量不足时，识别精度下滑严重；（3）由于深度学习模型的黑盒特性，难以融合领域知识，并难以从其输出中获得可解释的医学见解和不确定性度量。

图一、内窥镜视觉引导微创手术及基于深度学习的手术视频分析方法

为了克服以上缺陷，本文基于美国科学院士刘军教授所倡导的“统计×AI”范式，提出了统计学习和深度学习相融合的手术视频智能分析推理框架HMM-Stabilized Deep Learning（HSDL）。HSDL采用具有特定结构的隐马氏模型(HMM)，对手术过程的时空结构信息进行建模，并以此为基础对深度学习方法的原始输出进行全局性的推理分析，在有效利用医学领域知识的基础上，实现了统计学习和深度学习的融合推断。图二给出了HSDL方法的基本构架：首先，原始视频的各关键帧图像首先由一个基线深度学习方法进行处理，生成对手术阶段和手术器械的初始预测；然后，我们将这些初始预测看作是一个隐马氏模型的可观测层，并采用标准的缺失数据统计分析技术对不可观测的真实手术阶段和手术器械隐变量进行统计推断。

图二、器械识别和手术阶段识别的HSDL方法构架

与单纯基于深度学习的方法相比，HSDL框架在以下多个方面具有优势：（1）可以系统性提升基础深度学习方法在多个手术视频分析任务上性能；（2）具有良好的可解释性，并能够对分析结果的不确定性给出准确评估；（3）充分利用了医学领域知识，并大幅提高的了标注数据的利用效率；（4）在标注数据体量较小时，仍有稳健的表现。图三展示了HSDL方法与多个代表性深度学习方法在三个基准数据集（包括Cholec80、M2CAI、Lobec100）上的性能对比。从图中可以看出，对于每一种基线深度学习方法（包括ToolNet、PhaseNet、EndoNet、SwinNet、FR-CNN），其HSDL强化版本（包括ToolNet_H、PhaseNet_H、EndoNet_H、SwinNet_H、FR-CNN_H）均有显著的性能提升，并且比LSTM强化版本（包括ToolNet_L、PhaseNet_L、EndoNet_L、SwinNet_L、FR-CNN_L）具有更好的表现。这些结果提示我们：过于灵活的大型深度学习模型在应用于具有特定结构的领域问题时，并不总能有效捕捉到实际问题的潜在结构，从而会造成性能的损失；巧妙结合统计学习和深度学习的融合推理架构，则有可能提供更有效的解决方案。

图三、HSDL方法与深度学习方法在三个基准测试数据集上的性能对比

本项研究从一个侧面验证了“统计×AI”范式的可行性和有效性。该范式由刘军院士提出，主张把AI技术进行结构拆解，将其内部组件和适当的统计模型进行有机重组与嵌合，从而有效结合两者的优势，构建能力更强、性能更稳定、更具可解释性的新一代AI。图四直观地阐释了“统计×AI”范式的核心思想，并提供了刘军院士接受东方卫视专访的视频观看入口。

图四、刘军院士谈“统计×AI”范式在人工智能时代的重要作用

本研究是2026年度邓柯团队在AoAS发表的第三篇研究论文。之前的两篇论文分别就联邦学习的安全性问题和大尺度生物分子空间结构的重构问题展开前沿研究。欢迎感兴趣的读者关注。

[1]Wanchuang Zhu, Ben Zhao, Simon Luo, Ke Deng* (2026) MANDERA: Malicious Node Detection in Federated Learning via Ranking. The Annals of Applied Statistics, 20(1), 238–259.

论文链接：//doi.org/10.1214/26-AOAS2147

[2]Yingcheng Luo^#, Shiyu Wang^#, Chong Shen^#, Yichao Li, Zhaohui Qin*, Ke Deng* (2026) Model-Based Spatial Reconstruction of Large-Scale Biomolecules via Bayesian Inference of a Hierarchical Spatial Model. The Annals of Applied Statistics, 20(2), 921-944. (Co-corresponding author)

论文链接：//doi.org/10.1214/26-AOAS2155