术语/词组 | 解释 |
|---|---|
Las Vegas algorithms | 拉斯维加斯算法： 一种随机算法，结果总是精确正确的，但运行时间（或资源消耗）是随机的。 |
Monte Carlo algorithms | 蒙特卡洛算法：一种随机算法，返回的答案带有随机的误差，但可以通过增加计算资源来减少误差。 |
Deterministic approximate algorithms | 确定性近似算法：非随机的算法，但总是返回一个近似答案（而非精确答案）。 |
Monte Carlo approximations / Monte Carlo methods | 蒙特卡洛近似/方法：通过随机采样来估计复杂数学问题（如求和、积分）的数值方法。 |
Sampling | 采样：从概率分布中生成样本（数据点）的过程。 |
Probability distribution / density | 概率分布/密度：描述随机变量取不同值的可能性。 |
Monte Carlo estimate | 蒙特卡洛估计：通过样本平均值得到的对期望值的估计。 |
Intractable sum or integral | 难处理的求和或积分：指那些无法通过解析方法精确计算，必须借助近似方法（如蒙特卡洛）的求和或积分。在AI中常见于计算配分函数等。 |
Expectation (E p [f(x)]) | 期望值：在概率分布 p 下，函数 f(x) 的平均值。 |
Empirical average | 经验平均值：直接根据样本数据计算出的平均值，即蒙特卡洛估计量 ˆs_n。 |
Unbiased (estimator) | 无偏（估计量）：一个估计量的期望值等于其要估计的真实参数值。 |
Law of large numbers | 大数定律：该定理指出，当样本数量趋于无穷时，样本平均值几乎必然收敛于期望值。 |
Variance (Var) | 方差：衡量随机变量或估计值与其期望值之间的离散程度。 |
Central limit theorem | 中心极限定理：该定理指出，大量独立随机变量的和的分布近似于正态分布。它解释了为什么蒙特卡洛估计量的分布是正态的。 |
Confidence intervals | 置信区间：基于样本数据计算的区间，用于估计参数的真实值可能落在的范围。 |
Importance sampling | 重要性采样：一种当难以直接从目标分布 p 采样时使用的技术，通过从一个更容易采样的提议分布 q 中采样，然后对样本进行加权来修正偏差。 |
Monte Carlo Markov chains (MCMC) | 蒙特卡洛马尔可夫链：一类通过构建一个马尔可夫链来生成近似服从目标分布样本的方法，用于当分布复杂难以直接采样时。 |
(Undirected model) / Log partition function | （无向模型）/ 对数配分函数：无向图模型（如马尔可夫随机场）的核心组成部分，其梯度计算通常是一个难处理的求和问题，需要蒙特卡洛方法。 |
i.i.d. (Independent and Identically Distributed) | 独立同分布：指一组随机变量彼此独立，并且服从相同的概率分布。这是许多统计定理（如大数定律）的基本假设。 |
Minibatches | 小批量：机器学习中，在每次参数更新时使用的训练数据的一个小子集。文中提到这是蒙特卡洛思想的一种应用，用部分数据的和（小批量损失）来近似整个数据集的和（总损失）。 |