术语/词组 | 解释 |
|---|---|
0-1 loss | 一种损失函数，如果预测正确则损失为0，错误则为1。常用于评估分类器的准确率。 |
Activation function | 神经网络中每个神经元的输出函数，如Sigmoid、ReLU，为网络引入非线性。 |
Adaptive linear element (ADALINE) | 一种早期的单层神经网络，使用线性激活函数和最小均方（LMS）算法进行训练。 |
Adversarial example | 经过精心构造的、对人类而言几乎无法察觉的输入样本，却能导致模型做出错误的预测。 |
Adversarial training | 一种训练技术，将对抗样本加入训练数据中，以提高模型的鲁棒性。 |
Annealed importance sampling (AIS) | 一种用于估计难以计算的概率分布之间比率的高级采样技术。 |
Approximate inference | 在概率图模型中，当精确计算概率分布不可行时，使用近似方法（如采样或变分法）进行推断。 |
Autoencoder | 一种无监督学习神经网络，旨在将输入数据编码成一个低维表示，然后再解码以重建原始输入。用于降维和特征学习。 |
Back-propagation (Backprop) | 神经网络训练的核心算法，通过链式法则从输出层到输入层反向计算损失函数对每个参数的梯度。 |
Back-propagation through time (BPTT) | 将反向传播算法应用于循环神经网络（RNN）的一种技术，将RNN按时间步展开后进行反向传播。 |
Bagging | 一种集成学习方法，通过训练多个模型（在训练数据的不同子集上）并平均其预测来降低方差。 |
Batch normalization | 一种对神经网络每一层的输入进行标准化的技术，可以加速训练并提高稳定性。 |
Bayesian hyperparameter optimization | 一种基于贝叶斯定理的超参数调优方法，比网格搜索更高效。 |
Belief network | 即有向图模型，一种用有向无环图表示变量间因果关系的概率模型。 |
Boltzmann machine (BM) | 一种基于能量的无向图模型，由对称连接的神经元组成，是深度学习的重要基础模型之一。 |
Convolutional neural network (CNN) | 专门用于处理网格状数据（如图像）的神经网络，通过卷积层、池化层等结构来提取局部特征。 |
Contractive autoencoder (CAE) | 一种在损失函数中增加对编码器雅可比矩阵范数惩罚的自编码器，使得编码对输入数据的微小变化不敏感。 |
Contrastive divergence (CD) | 一种用于训练诸如受限玻尔兹曼机（RBM）等能量模型的快速近似算法。 |
Curriculum learning | 一种训练策略，模仿人类学习过程，让模型先从简单样本开始学习，逐渐增加样本难度。 |
Deep belief network (DBN) | 一种由多层受限玻尔兹曼机（RBM）堆叠而成的生成模型，通常通过逐层贪婪预训练进行初始化。 |
Deep Boltzmann machine (DBM) | 一种多层的、全连接的玻尔兹曼机，是强大的生成模型和无向图模型。 |
Denoising autoencoder (DAE) | 一种通过将含噪声的输入数据重建为原始干净数据来学习鲁棒特征的自编码器。 |
Distributed representation | 一种表示学习的概念，其中每个概念或特征由多个神经元（因子）的共同激活来表示，反之，每个神经元也参与表示多个概念。 |
Dropout | 一种正则化技术，在训练过程中随机“丢弃”（暂时忽略）一部分神经元，以防止过拟合。 |
Echo state network (ESN) | 一种循环神经网络，其隐藏层（称为“储备池”）的权重是随机生成且固定的，只训练输出层权重。 |
Energy-based model (EBM) | 一种用标量“能量”函数来定义概率分布的模型，概率与能量成反比。 |
Expectation maximization (EM) | 一种在存在隐变量的统计模型中寻找参数最大似然估计的迭代算法。 |
Explaining away | 概率图模型中的一种推理现象，当某个结果的多个可能原因中存在一个被证实为真时，其他原因的概率会降低。 |
Generative adversarial networks (GANs) | 一种生成模型框架，由生成器网络和判别器网络通过对抗过程同时训练，生成器学习生成逼真的数据以欺骗判别器。 |
Graphical model | 用图结构来表示随机变量之间概率依赖关系的模型，主要分为有向图模型和无向图模型。 |