重要的基础模型/算法
PlaNet
在Danijar Hafner, Timothy Lillicrap 等人写的《Learning Latent Dynamics for Planning from Pixels》 文中，解决了对于未知环境中智能体如何构建准确的动态模型的问题。文中提出的PlaNet作为一种基于模型的智能体，通过图片学习环境动态并进行快速在线规划。它基于初始World Model模型进行改进，将RNN记忆中的记忆与状态分离，并将状态进一部分为确定性状态（历史记忆）和随机性状态（未来可能），将RNN记忆升级为RSSM记忆。通过抽离状态实现了更少的推理消耗和推理步骤。
从PlaNet模型提出后，老式的直接基于图像的预测方法基本被弃用，在隐藏状态中进行预测、规划，从而生成World Model被广泛采用。
Dreamer
PlaNet解决了规划的问题，然而针对PlaNet模型，其进行规划的次数太多，规划后再进行实际执行，效率很低。因此，Danijar Hafner, Timothy Lillicrap 等人在《Dream to Control: Learning Behaviors by Latent Imagination》 中提出了Dreamer系列模型，它的创新点在于Action循环，也就是说它不再给出规划，而是直接给出Actor和Action。该模型不再以Planning为目标进行训练，而是针对Policy进行训练。并且，原先的训练中根据上一个状态可以预测下一个状态，Dreamer模型中直接预测下一个隐藏空间。因此，Dreamer模型可以做到不依赖外部环境，完全在想象中进行训练。Action循环由新加入的价值函数评价Action的预测优秀程度，通过价值函数的反馈形成不断循环，从而获得较为优秀的Action。
Dreamer通过省略PlaNet的搜索过程而直接进行Action，提高了执行效率。同时，Latent Imagination使得此后的模型不需要反复在真实环境中训练，采集一次真实环境后直接可在想象中训练。
MuZero
在Julian Schrittwieser, Ioannis Antonoglou 等人写的《Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model》文中，系统性探讨了具有规划能力的智能体的训练方法。文中指出，基于前瞻的搜索需要依赖环境的动态特性的了解；基于模型的强化学习需要学习环境动态模型，然而在视觉主导的测试中表现不佳；基于非模型的强化学习需要根据环境构造最优策略或价值函数，然而在精确、复杂预测上表现不佳。而文中所提出的MuZero的核心思想是：学习环境模型，只预测对规划最直接相关的方面，即奖励、策略和价值函数。
算法的主要思想是根据迭代更新隐藏状态。模型的输入将转化为一个隐藏状态，对于一个循环，玄幻将给出上一个隐藏状态，模型预测给出假设性的策略、价值函数和即时奖励，这些参数接受评估后继续迭代更新。由于隐藏状态是一种环境的抽象表述，因此可以不包含环境动态的参数。如此，MuZero便可以在不了解环境动态的情况下，在复杂环境中进行有效规划。
DreamerV2
基于Dreamer模型的基础上，Danijar Hafner, Timothy Lillicrap 等人在《Mastering Atari with Discrete World Models》中进一步提出了DreamerV2。正如标题所说，V2的改进主要在于离散性。Dreamer模型由于依赖RSSN进行预测，因此最终输出的Action必然是连续的（），而这在很多现实情况下是不成立的，比如机器车的动作应当只有前进、后退、左转、右转这四个离散的值。因此，DreamerV2将输出变量替换为32个离散值，同时引入直通梯度估计器（Straight-Through Gradient Estimator）保持了求导能力。离散潜变量产生的稀疏表示（one-hot编码）被认为是一种更有利于泛化的归纳偏置。
通过离散变量的模拟，使其成为首个在Atari基准上达到人类水平性能的、完全在模型内学习行为的智能体。
I-JEPA
在 2022—2023 年，大模型几乎都围绕生成展开。例如图像领域有 DALL·E、Stable Diffusion，语言领域有 GPT，视频领域开始出现 Video Diffusion。这些模型共同遵循一个范式：预测下一个 token 或下一个像素。而Mahmoud Assran, Quentin Duval等人在《Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture》文中指出，预测像素具有太高的不确定性，应当改为预测状态，即提取像素中的有意义的部分。例如，与其预测“汽车具体有多少像素、什么颜色、光照如何”，不如预测“那里有一辆汽车”这一抽象语义。
假设我们有一张胸部 CT 图像，遮挡掉肺部的一块区域。MAE（Masked Autoencoder）会要求网络恢复这一块区域的灰度值；而 JEPA 则要求网络预测：“这里应该包含怎样的肺组织语义表示”，并不关心具体像素是多少。这样一来，模型学习到的是更稳定、更抽象、更具有泛化能力的表示，而不是容易受到噪声影响的像素。也就是说，I-JEPA更注重于语义化的理解和表述，而非图片的还原与预测。这一基于表述的预测，为后续的V-JEPA工作奠基。
V-JEPA
在ChatGPT发布Sora模型的同时，Meta同时发布了V-JEPA这一不同的产品。Adrien Bardes, Quentin Garrido等人在《Revisiting Feature Prediction for Learning Visual Representations from Video》 一文中提出了一个视频理解模型V-JEPA。V-JEPA的核心思想是“快进”和“脑补”，对于整段的长视频，它随机选择起点进行较低采样率的视频帧截取，然后对截取的信息进行时空编码，送入ViT。在视频帧信息中，V-JEPA进行随机的短程、长程掩码（均为Spatio-temporal Masking，时空掩码），分别用于学习细微的细节表现和全局的大范围场景关联。而后针对模型给出的预测，使用原视频来评估。
在这种情况下，要求模型完整理解视频的语义，才能给出足够贴合原视频的预测。值得注意的是，文中还提到了动作条件预测（Action Conditioning）的重要性，作者建议把Action作为输入参数同样执行预测，这为后续在机器人等方面的应用奠基。V-JEPA通过理解视频，构建对世界的理解
Dreamer 建立了可用于决策的世界模型，I-JEPA 建立了预测表示的思想，而 V-JEPA 则首次把预测表示扩展到真实世界的视频时空演化，使 World Model 从强化学习走向了通用视觉世界建模。
Genie
基于V-JEPA理解世界的基础上，Jake Bruce, Michael Dennis 等人在《Genie: Generative Interactive Environments》 文中提出了Genie模型。其主要创新点在于完全基于互联网未标注视频的条件下，它可以根据给定图像，生成可交互的视频。换句话说，它创造了“生成式互动环境”。例如给定输入为一个游戏视频。模型学习到了按左键则角色向左移动，按右键则角色向右移动。则在完全没有给出代码的情况下，后续的生成视频仍能保持这一特点。
Genie的基础的世界模型由数百款 2D 平台游戏的30,000 小时互联网游戏视频的数据集训练而来，实现了从视频中创造一个可以交互的世界。
发展
医疗世界模型
医疗世界模型的路线图围绕三个耦合能力组织：
能力模块 | 核心任务 |
|---|---|
患者状态构建（Perception） | 从多模态数据（EHR、影像、检验、组学等）中构建患者当前状态的表征 |
临床动态建模（Dynamics） | 学习患者状态随时间和干预的演化规律 |
干预决策支持（Planning） | 基于模拟结果生成和评估治疗方案 |
具有三项决策任务：
事实预测（Factual Forecasting）：预测在当前治疗路径下的疾病走向
反事实估计（Counterfactual Estimation）：评估“如果采取另一种治疗会怎样”
策略评估（Policy Evaluation）：比较不同治疗策略的长期效果
具有三种数据生成机制：
疾病演化过程
治疗分配机制
观察过程（医生何时、如何记录数据）
根据模型能力不同能力分级标准：
L1：时间序列预测（Temporal Prediction）
L2：动作条件预测（Action-conditioned Prediction）
L3：反事实推演用于决策支持（Counterfactual Rollouts）
L4：规划与控制（Planning/Control）
MeWM（Medical World Model）
发表：ICCV 2025
核心思路：首个医学世界模型，由视觉-语言模型（策略模型）和肿瘤生成模型（动态模型）组成
特点：通过合成治疗后肿瘤图像来模拟疾病动态，在放射科医生参与的图灵测试中达到SOTA特异性
局限：依赖扩散模型进行视觉重建，而非因果性、生理性的状态转移
CLARITY
发表：ECCV 2026
核心思路：在结构化潜空间中直接预测疾病演化，显式整合时间间隔和患者特异性数据
特点：引入“预测到决策”框架，将潜空间推演转化为可执行的临床建议
性能：在MU-Glioma-Post数据集上比MeWM提升12%
EHRWorld
核心思路：在因果序列范式下训练的患者中心医疗世界模型，配套EHRWorld-110K大规模纵向临床数据集
动机：发现仅依赖医学知识的LLM在序列干预下难以保持患者状态一致性，导致长时程模拟中的误差累积
优势：在长时程模拟稳定性、临床敏感事件建模和推理效率上均优于LLM基线
其他重要工作
Biomedical World Models：将世界模型扩展到分子、细胞、组织和临床状态的多尺度生物医学发现
ChronoMedicalWorld：从纵向护理数据学习患者轨迹
Epidemiology World Models：将世界模型应用于计算流行病学
医学数字孪生
医学数字孪生（Medical Digital Twin） 指的是为特定患者构建的、动态更新的计算模型，能够高保真地模拟个体的生理、病理状态及其演化过程。
这一概念源于工程领域：NASA在20世纪60年代的阿波罗13号任务中，通过地面模拟器复现飞船状态来排查故障，被公认为数字孪生的雏形。移植到医学领域后，其核心理念是：为每一个患者构建一个“在硅患者”（patient-in-silico） ，即一个动态、可交互的虚拟副本，医生可以在这个副本上先行“演练”不同的治疗方案，预测其效果与风险，再据此制定最优的临床决策。
与上一轮讨论的“疾病进展世界模型”相比，医学数字孪生的核心区别在于“实体绑定” ，它必须锚定到特定患者的解剖结构、生理参数和实时数据流上，而不仅仅是抽象的状态轨迹建模。两者可以相互融合：世界模型可以为数字孪生提供疾病动态演化的预测引擎，而数字孪生则为世界模型提供个体化的边界条件和验证环境。
其具有五个关键组成部分：
组件 | 含义 |
|---|---|
患者（Patient） | 物理层面的真实个体，是数据的源头 |
数据连接（Data Connection） | 从EHR、影像、可穿戴设备、基因组学等多源数据中持续采集和传输信息 |
在硅患者（Patient-in-silico） | 数字空间中的虚拟副本，是模型的核心 |
接口（Interface） | 临床医生与数字孪生交互的可视化与操作界面 |
孪生同步（Twin Synchronisation） | 物理患者与虚拟副本之间的实时双向数据同步 |
同样，其能力可以从以下维度分级：
L1 - 静态数字表征：患者数据的数字化汇总与可视化
L2 - 动态监测与预测：基于实时数据流的健康状态追踪和短期预测
L3 - 干预模拟与优化：在虚拟副本上模拟不同治疗方案的效果
L4 - 闭环自适应控制：数字孪生持续学习、自动优化治疗策略并反馈至临床
DT-GPT（Digital Twin - Generative Pretrained Transformer）
发表：npj Digital Medicine, 2025
核心思路：利用大语言模型（LLM）构建患者数字孪生，直接处理EHR数据，无需数据插补或归一化
性能：在非小细胞肺癌、ICU和阿尔茨海默病三个数据集上，相较于SOTA机器学习模型，平均绝对误差分别降低3.4%、1.3%和1.8%
亮点：具备零样本预测（zero-shot forecasting）能力，支持可解释性
心脏数字孪生（Cardiac Digital Twins）
心脏是医学数字孪生发展最成熟的领域之一：
大规模建模：已有研究基于英国生物银行（UK Biobank）约55,000名参与者的MRI数据，构建了自动化的心脏数字孪生管道
临床应用：患者特异性心脏模型已使房颤复发率降低超过13%
技术路线：从解剖结构匹配（anatomical twinning）到电生理模拟的全流程
肿瘤数字孪生（Oncology Digital Twins）
肿瘤领域是另一个热点：
预测性数字孪生：结合纵向影像数据与肿瘤生长机理模型，实现患者特异性时空肿瘤进展预测
DITTO系统：头颈癌的视觉数字孪生，用于权衡肿瘤控制效果与毒性/死亡风险
闭环智能肿瘤系统（CIOS） ：提出了数字孪生驱动的动态决策新范式
其他重要方向
神经科学数字孪生：针对神经系统疾病的专项综述已出现
肝脏数字孪生：实现实时仿真能力的肝脏再生建模
代谢/糖尿病数字孪生：增强血糖管理
Surgical World Model（手术世界模型）
手术世界模型（Surgical World Model, SWM） 是专为手术场景设计的AI系统，核心能力是从内窥镜视频和机器人轨迹中学习环境动态，能够基于当前观察和预期的手术动作（如器械轨迹），滚动生成逼真的、与动作一致的未来画面。
手术世界模型的根本差异在于交互物理：
维度 | 疾病进展世界模型 | 医学数字孪生 | 手术世界模型 |
|---|---|---|---|
核心交互 | 药物/治疗方案 → 肿瘤演化 | 患者全身状态 → 多系统响应 | 器械操作 → 组织变形/反馈 |
预测对象 | 疾病状态（影像、指标） | 多维生理状态 | 手术画面序列（器械-组织交互） |
物理约束 | 药代动力学、肿瘤生长 | 全身生理学 | 接触力学、软组织变形、实时反馈 |
时间尺度 | 天/周/月 | 小时/天 | 毫秒/秒 |
关键挑战 | 因果推断、长期依赖 | 多模态融合、个体化 | 物理一致性、长时程保真度 |
SWM与通用领域世界模型（如视频生成模型）的根本区别在于：必须建模真实器械-组织反馈，即在具有低照度、镜面反射、烟雾和遮挡等挑战的内窥镜成像条件下，捕捉接触驱动的组织变形。
手术世界模型的核心驱动力来自数据稀缺困境：自主手术机器人策略学习需要大量配对的视觉-运动数据，但真实手术数据采集受制于伦理、隐私、成本和手术室可及性。SWM通过生成大规模、多样化的合成训练场景来填补这一空白。
手术世界模型的核心功能可概括为三个层面：
动作条件预测（Action-conditioned Prediction） ：给定初始观察帧和计划的手术动作（如器械轨迹、运动参数），滚动生成未来的手术画面序列
策略学习支撑（Policy Learning Support） ：生成的合成视频-动作配对数据可用于训练视觉-语言-动作（VLA）模型和模仿学习策略
仿真环境扩展（Simulation Scaling） ：补充基于物理的仿真，生成大规模、多样化、可参数化的训练场景
手术世界模型的能力可从四个层级评估（手术合理性金字塔，SPP）：
L1 - 视觉感知合理性（Visual Perceptual Plausibility）：生成画面在像素层面是否逼真
L2 - 器械操作合理性（Instrument Operation Plausibility）：器械运动是否符合手术操作规范
L3 - 环境反馈合理性（Environment Feedback Plausibility）：组织对器械操作的反馈是否物理一致
L4 - 手术意图合理性（Surgical Intent Plausibility）：整体推演是否符合手术策略和临床目标
SurgVista（长时程手术世界建模）
发表：arXiv 2026年6月
核心思路：通过两个训练策略解决空间不连贯和时间崩塌问题——变形一致性正则化（提取场景点轨迹，通过隐空间对比学习强化跨帧一致性）和漂移适应训练（用在线预测残差扰动条件帧，维持长推演中的视觉保真度）
基准：同时推出SurgWorld-Bench，涵盖多样术式、长时程推演、解耦的器械运动精度和组织响应保真度指标
性能：在视觉质量、时间一致性和交互保真度上全面超越SOTA，随预测时域增长优势扩大
SurgWorld（手术物理AI世界模型）
发表：arXiv 2025年12月
核心思路：基于NVIDIA物理AI世界模型构建，搭配SATA（Surgical Action-Text Alignment）数据集（含详细手术机器人动作描述）
创新点：首次使用逆动力学模型从合成手术视频推断伪运动学，生成配对的视频-动作数据，用于训练手术VLA策略
意义：提供了一条可扩展的路径——利用海量未标注手术视频和生成式世界模型来获取自主手术技能
Cosmos-H-Surgical
发表：arXiv 2026年3月
核心思路：运动学动作条件的手术世界基础模型，基于NVIDIA Cosmos构建
应用场景：在仿真中评估手术机器人策略，以及在部署到物理系统前进行合成数据生成
输入：初始帧 + 运动学动作轨迹（来自真实外科医生或手术机器人策略模型）
SAW（Surgical Action World）
发表：arXiv 2026年3月
核心思路：通过视频扩散方法实现可控、可扩展的手术动作视频合成
创新点：将视频到视频扩散重新表述为轨迹条件的手术动作合成，由四种轻量级信号控制
SWoMo（神经符号白内障手术世界模型）
发表：arXiv 2026年5月
核心思路：将运动生成与视觉真实感解耦——符号组件（基于规则的模拟器+场景图）建模运动动力学和工具-组织交互，扩散模型负责生成逼真视觉外观
关键优势：泛化到未见过的交互几何、改善下游阶段检测、支持无监督视频风格迁移
其他重要工作
Surgical Vision World Model：首个手术视觉世界模型，在未标注的SurgToolLoc-2022数据集上验证
Suturing World Models：面向缝合任务的扩散生成模型，捕捉细粒度机器人子缝合动作的时空动态
SurgVeo基准与SPP框架：首个专家策划的手术视频生成模型评估基准，揭示视觉逼真与因果理解之间的“合理性差距”
