术语/词组 | 解释 |
|---|---|
Generative Models | 生成模型：一种统计模型，用于学习数据的概率分布，从而能够生成新的、与训练数据相似的数据样本。 |
Probability Distributions | 概率分布：描述随机变量所有可能取值及其对应概率的数学函数。 |
Probability Distribution Function | 概率分布函数：可以精确计算某个事件概率的函数。 |
Drawing Samples | 抽样：从概率分布中随机生成样本的过程。 |
Structured Probabilistic Models | 结构化概率模型：使用图结构来表示变量之间依赖关系的概率模型。 |
Graphical Models | 图模型：是结构化概率模型的一种，使用图（节点和边）来表示变量关系。 |
Boltzmann Machines (BMs) | 玻尔兹曼机：一种基于能量的、所有单元之间都可能连接的生成模型。 |
Energy-Based Models (EBMs) | 基于能量的模型：通过能量函数来定义概率分布的模型，概率与能量的指数成反比。 |
Energy Function | 能量函数：衡量模型状态“好坏”的函数，能量越低的状态概率越高。 |
Partition Function (Z) | 配分函数：一个归一化常数，确保所有状态的概率之和为1。通常难以计算。 |
Model Parameters | 模型参数：模型在训练过程中需要学习的值，如权重（U）和偏置（b）。 |
Visible Units | 可见单元：代表观测数据（输入）的变量。 |
Latent / Hidden Units | 潜在/隐藏单元：模型为了解释数据而自行引入的、未在观测数据中直接给出的变量。用于捕捉数据中的隐含特征。 |
Universal Approximator | 通用近似器：指某种模型（如带有隐藏层的神经网络）在理论上可以近似任何函数。 |
Maximum Likelihood | 最大似然估计：一种参数估计方法，目标是找到能使训练数据出现概率最大的参数值。 |
Intractable | 难处理的：指计算上非常困难或几乎不可能完成，例如计算玻尔兹曼机的配分函数。 |
P_model(v) & P_data(v) | P_model(v)：模型生成的可见单元v的概率分布。P_data(v)：训练数据中可见单元v的真实概率分布。 |
Learning Rule | 学习规则：参数更新的数学公式。 |
Local | 局部的：指学习规则只依赖于相邻单元的信息，而不需要整个网络的全局信息。 |
Biologically Plausible | 生物合理性：指某种计算模型或学习规则可能与大脑的工作原理相似。 |
Hebbian Learning Rule | 赫布学习规则：一种神经科学理论，简化为“一起激活的神经元会连接在一起”，用于解释突触可塑性。 |
Positive Phase & Negative Phase | 正相与负相：对比散度等算法中的两个阶段。正相使模型偏向数据分布，负相使模型偏向模型本身的分布。 |
Restricted Boltzmann Machines (RBMs) | 受限玻尔兹曼机：玻尔兹曼机的一种变体，限制为可见层和隐藏层之间存在连接，但层内无连接，简化了训练。 |
Bipartite Graph | 二分图：一种图结构，其节点可被分为两个互不相交的集合，并且图中每条边都连接着两个不同集合中的节点。这正是RBM的结构。 |
Inference | 推断：在给定某些观测变量值时，计算其他变量（通常是隐藏变量）的后验概率分布的过程。 |