在科学、工程和金融领域,许多最重要的风险来自低概率、高影响的极端事件。用暴力蒙特卡洛采样来估算这些事件的概率——即通过随机输入反复运行模型来估算罕见结果的概率——可能需要大量的模型迭代,尤其是当每个样本都来自昂贵的物理模型时。

引导式扩散模型提供了一种导向罕见事件的新方法,但引导机制带来了一个关键挑战:如果模型对分布尾部进行过度采样,我们如何仍能估算这些样本的真实概率?

在一篇新论文《利用扩散模型气候模拟器精确估算极端事件概率》中,我们通过引导基于扩散的气候模拟器朝向热带风暴,并从引导与非引导概率中计算优势比,在气候科学领域探索了这一问题。本文将以热带气旋案例为例,展示一个最小可运行示例。

还有大量工作有待完成:新方法值得尝试,性能优化不可或缺,而其潜在影响可能是为科学和经济领域的下一代风险分析解锁颠覆性的成本效益。

请继续阅读,了解其实际运作方式,包括快速入门指南。

极端天气风险的挑战

极端天气风险往往取决于罕见的局部事件,而用传统气候模拟进行采样的成本极高。例如,要估算某条特定海岸线附近热带气旋的概率并达到可用的置信度,可能需要非常大规模的集合模拟,才能出现足够多的案例。这为登陆风险分析、气候归因实验、基础设施规划、保险建模及下游影响研究带来了瓶颈。

我们的研究表明,基于扩散的气候模拟器不仅能生成逼真的大气状态,还能为这些状态提供有用的概率估算。利用NVIDIA cBottle——一种基于扩散的气候条件天气状态生成器——我们引导扩散模型朝向热带气旋状态,并计算引导分布与非引导分布之间的优势比,从而实现对罕见事件的重要性采样。

这一点至关重要,因为仅靠引导是不够的。如果模型被引导朝向罕见事件,它会有意地对这些事件进行过度采样。要将这些样本用于概率估算,我们需要知道引导改变了多少样本的概率。优势比提供了这一修正,使得在估算原始气候分布下罕见事件概率的同时,仍能实现对罕见事件的重要性采样。

该工作流的实现已集成于NVIDIA Earth2Studio——一个用于AI气候和天气工作流的开源推理平台——可通过CBottleTCGuidance示例获取。

工作流概述

cBottle热带气旋引导工作流可生成以用户指定热带气旋活动为条件的大气样本。在Earth2Studio示例中,引导张量标记了佛罗里达附近的目标位置,并请求生成飓风季节期间的样本。

从概念上讲,模型对生成的大气状态x比较两个概率:

引导概率 p_guided(x) 与非引导概率 p_unguided(x)

对数优势比为:

log o(x) = log p_unguided(x) – log p_guided(x)

该值量化了样本在非引导模型下相比引导模型下的概率低多少。

为了利用引导样本估算非引导分布下的概率,对应的重要性权重为:

o(x) = p_unguided(x) / p_guided(x) = exp(log o(x))

这正是重要性采样的实现方式:在罕见事件区域生成更多样本,再对其重新加权,以估算其在原始气候分布下的概率。

P_IS(TC) ≈ (1/K) Σ I_TC(x_i) o(x_i),其中 x_i ~ p_guided

代码示例

Earth2Studio示例使用内置的CBottleTCGuidance诊断模型。初始化时加载默认的cBottle TC引导包,该包会从NGC下载检查点。

```python

from earth2studio.models.dx import CBottleTCGuidance

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

package = CBottleTCGuidance.load_default_package()

```

快速路径针对标准引导推理进行了优化。此处在佛罗里达附近设置单个引导点,纬度27.0度,经度-82.0度,并请求飓风季节期间的一个时间戳。

```python

lat = torch.tensor([27.0], device=device)

lon = torch.tensor([-82.0], device=device)

times = [datetime(2005, 10, 11, 12)]

model = CBottleTCGuidance.load_model(package, seed=0).to(device)

guidance, coords = model.create_guidance_tensor(lat, lon, times)

guidance = guidance.to(device)

guided_sample, guided_coords = model(guidance, coords)

```

输出guided_sample包含生成的大气状态,可直接提取10米纬向风、平均海平面气压等变量进行分析和可视化。示例绘制了加勒比海域的10米纬向风分量u10m,用于验证生成状态在请求位置附近是否包含连贯的热带气旋风场结构。

优势比计算

对引导热带气旋进行采样固然有用,但主要研究贡献在于能够估算该样本在引导分布与非引导基础分布下的相对概率。

优势比计算需要估算生成流的散度,进而需要通过模型的二阶导数。因此,示例以allow_second_order_derivatives=True重新加载模型。

```python

model = CBottleTCGuidance.load_model(

package,

seed=0,

sampler_steps=2,

allow_second_order_derivatives=True,

).to(device)

log_odds_ratio, forward_latents, latent_coords = model.calculate_odds_ratio(

guidance,

coords,

)

print(f"Log odds ratio: {log_odds_ratio:.4f}")

print(f"Forward latents shape: {tuple(forward_latents.shape)}")

```

示例将sampler_steps减小以加快运行速度。若需更高质量的样本和更稳定的优势比值,应使用默认采样器设置。

返回的log_odds_ratio表明引导改变了生成样本概率的程度。负值意味着该样本在引导分布下比在非引导基础模型下更有可能出现。

forward_latents张量提供了优势比计算所使用的引导样本。

研究意义

论文表明,扩散模型气候模拟器能够提供概率信息,而这类信息在历史上对于完整大气状态而言几乎无法以实用形式获取。

这一点意义重大,因为许多气候问题本质上是概率性的。研究人员希望了解热带气旋在特定海岸线附近的概率、该概率如何随不同海面温度变化,以及引导式生成模型是否能比暴力采样更高效地生成罕见事件。

通过将引导生成与优势比诊断相结合,可以更频繁地对罕见事件进行采样,同时仍能估算其在基础气候分布下的概率。论文中,这一方法实现了对热带气旋状态的重要性采样,与简单蒙特卡洛采样相比,标准误差降低了25%。

更广泛的应用前景

尽管示例聚焦于热带气旋,但这一思路具有更广泛的适用性:引导生成模型朝向分布中罕见但重要的部分,再计算引导对样本概率的改变程度。

这一模式在罕见事件主导风险的领域均具有应用价值,包括电网韧性、航空航天压力测试、金融尾部风险估算、材料发现、机器人边缘案例以及分子模拟。

当朴素采样难以找到重要事件时,引导式生成采样结合优势比修正,可使罕见事件估算更具可行性。

未来展望

当前结果初步但充满希望,仍需更多工作使这些方法更快、更准确、更具普适性。

扩散采样的计算成本较高,尤其是优势比计算需要二阶导数时。更快的采样器、蒸馏方法或更少步骤的扩散方法,有望使罕见事件概率估算更具可扩展性。更好的密度估算和更稳定的对数优势比计算,将提升下游概率估算的可信度。更精确的引导函数也有助于在保持物理一致性的同时,针对不同事件类型、强度和区域进行定向采样。

热带气旋只是极端事件的一个例子。类似方法还可探索大气河、热浪、强风暴、干旱及复合极端事件。引导概率估算也可能支持新型归因类实验,通过比较不同边界条件或气候状态下的事件概率(前提是扩散模拟器在这些不同气候上进行了训练)来开展研究。

如需进一步了解,请阅读论文《利用扩散模型气候模拟器精确估算极端事件概率》,并探索Earth2Studio示例05_cbottle_tc_guidance.py。更多背景信息,请参阅cBottle论文《Climate in a Bottle》及NVIDIA Earth2Studio GitHub仓库。

Q&A

Q1:cBottle热带气旋引导工作流是什么?它能做什么?

A:cBottle热带气旋引导工作流是基于NVIDIA cBottle扩散模型的气候模拟工具,能够生成以用户指定热带气旋活动为条件的大气样本。用户可指定目标位置和时间,模型会生成该条件下的大气状态,并输出10米纬向风、平均海平面气压等气象变量,用于分析热带气旋的风场结构和概率特征。

Q2:优势比在极端事件概率估算中起什么作用?

A:优势比用于修正引导采样带来的概率偏差。当扩散模型被引导朝向罕见事件时,会有意对这些事件过度采样,导致样本概率失真。优势比通过计算引导分布与非引导分布的概率之比,对每个样本进行重新加权,从而在大量生成罕见事件样本的同时,仍能准确估算其在原始气候分布下的真实概率,标准误差可比简单蒙特卡洛采样降低25%。

Q3:这种引导式生成采样方法除气候科学外还能用在哪些领域?

A:这一方法适用于所有罕见事件主导风险的领域。具体包括:电网韧性分析、航空航天结构压力测试、金融尾部风险估算、新材料发现、机器人系统边缘案例测试以及分子动力学模拟。核心思路是:先引导生成模型聚焦于分布中罕见但关键的区域,再通过优势比修正还原真实概率,从而大幅提升罕见事件估算的效率和可行性。

NVIDIA