AI中概念整理 - 5

Approximate Inference

近似推断：当精确计算概率分布（如后验分布）过于困难或计算量过大时，所使用的各种估算方法。

Latent Variables

潜变量：模型中未被直接观测到，但被假设存在以解释观测数据关系的变量。也称为隐藏变量。

Visible Variables

观测变量：模型中可以直接观测或获取数据的变量。

Posterior Distribution

后验分布：在给定观测数据条件下，潜变量的概率分布，即文中的 p(h∥v)。

Graphical Models

图模型：用图结构（节点和边）来表示变量间概率关系的模型，例如贝叶斯网络和马尔可夫随机场。

Restricted Boltzmann Machine

RBM，受限玻尔兹：一种具有一层可见变量和一层潜变量的简单图模型，其推断过程是易于处理的。

Deep Boltzmann Machine

DBM，深度玻尔兹曼机：一种具有多层潜变量的图模型，其推断通常是难处理的。

Explaining Away

解释消除：​一种在贝叶斯网络中出现的现象，当某个结果的多个可能原因被同时考虑时，一个原因的出现会降低其他原因的可能性。

Evidence Lower Bound

ELBO，证据下界：用于近似推断的一个核心概念，是模型对数似然（log-likelihood）的一个可计算的下界。最大化ELBO等价于近似最大化似然。

Variational Free Energy

变分自由能：ELBO的另一个名称，源自统计物理学。

KL Divergence

KL散度：衡量两个概率分布之间差异的一种方法。在文中，ELBO和真实似然之间的差就是近似分布 q和真实后验分布 p(h∥v)之间的KL散度。

V-structure

V-结构：图模型中的一种基本结构（A -> C <- B），当子节点C被观测到时，父节点A和B之间会产生依赖关系。