术语/词组 | 解释 |
|---|---|
Joint Training / Joint Learning | 联合训练：与“逐层”训练相对，指同时训练网络中的所有参数。现代深度学习通常使用端到端的联合训练，而预训练则作为一种辅助或历史性方法。 |
Latent Representations | 潜在表示：指模型从数据中推断出的、未直接观察到的隐含特征或变量。 |
Sparse Coding | 稀疏编码：一种无监督学习方法，旨在用少量非零系数的基向量线性组合来表示输入数据。 |
Autoencoder | 自编码器：一种通过尝试重构输入来学习数据表示的无监督神经网络模型。 |
RBM (Restricted Boltzmann Machine) | 受限玻尔兹曼机：一种可用于无监督学习的两层神经网络，是早期预训练常用的模型。 |
Greedy Layer-Wise Unsupervised Pretraining | 贪心逐层无监督预训练：深度学习复兴初期的一种关键训练技术。其过程是：1. 贪心：一次只训练一层。2. 逐层：从底层开始，逐层向上。3. 无监督预训练：每一层都用无监督学习算法（如RBM、自编码器）进行训练，学习输入数据的表示。预训练得到的权重可作为后续监督训练的良好初始化。 |
Overfitting | 过拟合：模型在训练数据上表现很好，但在未见过的测试数据上表现很差的现象。 |
Semi-supervised Learning | 半监督学习：同时使用大量未标注数据和少量标注数据进行学习，旨在利用未标注数据提升模型性能。 |
Unsupervised Learning | 无监督学习：从没有标签的数据中学习数据的底层结构或分布。 |
Linearly Separable | 线性可分：指不同类别的数据点可以通过一个线性超平面（如一条直线）完全分开。 |
Linear Classifier / Softmax Regression | 线性分类器 / Softmax回归：通常用作深度网络的最后一层，负责最终的分类任务。它假设输入特征（即最后一层隐藏层的表示）是线性可分的。 |
Feedforward Networks | 前馈网络：最简单的神经网络结构，信息从输入层流向输出层，中间没有循环。 |
Data-generating Process | 数据生成过程：一个假设性的过程，描述了数据是如何在现实世界中产生的。表示学习的目标是发现这个过程背后的“根本原因”。 |
Transfer Learning | 迁移学习：将一个领域（或任务）上训练好的模型或表示，应用于另一个相关领域（或任务）的技术。 |
Modalities | 模态：数据的类型或形式，例如图像、文本、声音等。 |
Statistical Strength | 统计强度：指模型从数据中学习规律的能力。共享统计强度意味着从一个任务中学到的知识可以应用于另一个相关任务，提高学习效率。 |
Deep Architectures | 深度架构：包含多个非线性处理层（即“深度”）的机器学习模型。 |
Distributed Representations | 分布式表示：一种表示形式，其中概念由激活模式（即多个特征的组合）来表示，而非单一符号。这是深度学习的基础理念，由Hinton等人于1986年提出。 |
Representation | 表示：数据的一种表达形式。学习算法的目标是将原始数据（如像素）转换为一种更能揭示其本质或有利于任务的新的表示形式。 |
Representation Learning | 表示学习：机器学习的一个分支，关注如何自动从数据中学习有效的特征或表示，使得后续的学习任务（如分类）更容易进行。 |