AI中概念整理 - 11

Linear Factor Models

线性因子模型。一类简单的概率模型，假设观测数据是由一组潜在的、通常独立的因子通过线性变换再加上噪声生成的。

probabilistic model

概率模型。一种用概率分布来描述数据生成过程的模型。其目标是建模输入数据的概率分布 pmodel​(x)。

probabilistic inference

概率推断。在概率模型中，根据已知变量（如观测数据 x）来估计未知变量（如潜在变量 h）的概率分布的过程。

latent variables

潜在变量。模型中未被直接观测到但被假设为影响观测数据的变量（通常记为 h）。它们用于解释数据中的隐藏结构或依赖关系。

representation learning

表示学习。机器学习的一个分支，关注如何自动从数据中学习有效的特征或表示。

distributed representations

分布式表示。一种表示形式，其中概念由多个特征的激活组合来表示，而每个特征又可以参与表示多个概念。这是深度学习的关键思想。

generative models

生成模型。一类模型，其目标是学习数据的联合概率分布 p(x)，从而能够生成新的、与训练数据相似的数据样本。

stochastic

随机的。指具有随机性的过程或变量。

linear decoder

线性解码器。在编码器-解码器结构中，指一个将潜在表示（h）线性映射回观测数据空间（x）的部分。

explanatory factors

解释性因子。指潜在变量（h），它们被假设为是解释观测数据变化的原因。

factorial distribution

因子化分布。指联合概率分布可以分解为各变量独立概率的乘积，即 p(h)=∏i​p(hi​)，这意味着各变量是相互独立的。

conditionally independent

条件独立。指在给定某个变量（如 h）的条件下，其他变量（如各个 xi​）彼此独立。

multivariate normal

多元正态分布。多个变量的高斯（正态）分布。

covariance matrix

协方差矩阵。描述多元随机变量各维度之间协方差的矩阵。

Probabilistic PCA

概率主成分分析。主成分分析（PCA）的概率式版本，将其表示为一种线性因子模型。

Factor Analysis

因子分析。一种经典的线性因子模型，假设观测变量在给定潜在因子条件下独立，且噪声协方差矩阵为对角矩阵。

Independent Component Analysis

独立成分分析。一种旨在将观测信号分离成若干个统计上相互独立的源信号的线性因子模型。

EM algorithm

期望最大化算法。一种迭代算法，常用于在存在潜在变量的统计模型中寻找参数的最大似然估计。

directed graphical model

有向图模型。一种用有向无环图来表示变量间概率依赖关系的模型。文中的图13.1就是一个例子。