AI中概念整理 - 10

Autoencoder

自编码器。一种试图将输入复制到输出的神经网络。它内部有一个表示输入编码的隐藏层，由编码器和解码器两部分组成。

Encoder / Decoder

编码器 / 解码器。自编码器的两个核心组件。编码器将输入 x映射到内部表示或编码 h（即 h = f(x)）。解码器将编码 h映射回重构结果 r（即 r = g(h)）。

Code

编码。自编码器隐藏层 h的值，是对输入数据的一种压缩或抽象表示。

Reconstruction

重构。指解码器的输出 r，是自编码器对原始输入 x的复制或重建。

Undercomplete Autoencoder

欠完备自编码器。指编码维度小于输入维度的自编码器。通过限制编码大小，强制模型学习数据中最重要的特征。

Overcomplete Autoencoder

过完备自编码器。指编码维度大于输入维度的自编码器。如果没有正则化，这种自编码器容易学到简单的恒等映射而无用。

Regularized Autoencoders

正则化自编码器。这类自编码器不主要通过限制编码大小或网络深度来控制模型，而是在损失函数中引入额外的约束（如稀疏性、抗噪性），即使模型能力很强也能学到有用特征。

Loss Function

损失函数。用于衡量模型输出与目标之间差异的函数。在自编码器中，即衡量重构结果 g(f(x))与原始输入 x的差异，如均方误差。

PCA

主成分分析。一种经典的线性降维技术。文章指出，在特定条件下，线性自编码器学到的子空间与PCA相同。

Back-propagation

反向传播。训练神经网络最常用的算法，通过计算损失函数对权重的梯度，并使用梯度下降法进行优化。

Minibatch Gradient Descent

小批量梯度下降。梯度下降的一种变体，每次更新权重时使用一小批（minibatch）数据来计算梯度，是实践中的标准方法。

Stochastic mappings

随机映射。现代自编码器将编码和解码过程推广为概率模型，即 p_encoder(h|x)（给定输入产生编码的概率）和 p_decoder(x|h)（给定编码产生重构数据的概率）。

Generative modeling

生成式建模。一类机器学习模型，其目标是学习数据的分布，以便能够生成新的、类似的数据样本。自编码器与隐变量模型的联系使其在该领域变得重要。

Latent variable models

隐变量模型。包含未观察到的（隐藏的）变量的概率模型，这些隐变量用于解释观测数据中的变化。

Sparsity of the representation

表示的稀疏性。一种正则化策略，鼓励编码 h中的大部分元素为零或接近零，只有少数元素活跃，从而使表示更加简洁。

Robustness to noise

对噪声的鲁棒性。一种正则化策略，训练自编码器从带有噪声的或不完整的输入中重构出干净的原始数据，从而迫使模型学习更健壮的特征。

Recirculation

再循环算法。一种早期的自编码器训练算法，基于比较网络在原始输入和重构输入上的激活值。文章提到它比反向传播更具生物合理性，但已不常用。