机器学习基本概念与术语

一、核心概念

1. 数据集：样本、特征与标签

数据集是机器学习的基础材料，由若干样本（Sample）组成。每个样本是数据集中一个独立的观测实例，在表格数据中通常对应一行。特征（Feature）是描述样本属性的变量，在表格中对应列，例如预测房价时房屋的面积、卧室数量、地理位置等都是特征。标签（Label）是我们要预测的目标变量，在监督学习中标签是已知的，模型通过学习特征与标签之间的映射关系来进行预测。

2. 训练集、验证集与测试集

为了客观评估模型的性能，数据集通常被划分为三个子集。训练集（Training Set）用于训练模型，让模型学习数据中的模式。验证集（Validation Set）用于模型选择和超参数调优，帮助我们在训练过程中评估不同配置的效果。测试集（Test Set）仅在模型完全确定后使用一次，用于评估最终模型的泛化能力。常见的划分比例是 70% 训练集、15% 验证集、15% 测试集，但具体比例取决于数据总量。

一个常见的误区是使用测试集进行反复调优，这会导致"数据泄露"（Data Leakage），使测试集丧失评估泛化能力的作用。正确的做法是仅使用验证集进行模型选择，测试集保持"纯净"直到最终评估。

3. 特征空间与维度

特征空间（Feature Space）是指所有特征构成的数学空间。如果每个样本有 d 个特征，那么特征空间就是 d 维空间，每个样本对应空间中的一个点。维度（Dimensionality）即特征的数量。当特征维度非常高时（例如文本数据中词袋模型的维度可达数万），会出现"维度灾难"（Curse of Dimensionality）现象——数据在高维空间中变得极其稀疏，距离度量失效，模型需要指数级增加的样本量才能达到同样的拟合效果。

4. 参数 vs 超参数

参数（Parameters）是模型从训练数据中自动学习得到的内部变量，例如线性回归中的权重系数 w 和偏置 b，或神经网络中所有层的权重矩阵。超参数（Hyperparameters）是在训练开始前由人工设定的配置变量，控制训练过程的各个方面。常见超参数包括学习率（Learning Rate）、树的深度（Tree Depth）、正则化强度、批量大小（Batch Size）、迭代次数（Epochs）等。

区分参数与超参数的关键在于：参数由数据驱动自动更新，超参数需要人工调优。超参数调优通常使用网格搜索（Grid Search）、随机搜索（Random Search）或贝叶斯优化等方法，配合验证集进行评估。

二、监督学习基础概念

1. 特征（Feature）与标签（Label）

在监督学习中，特征和标签构成最基础的概念对。特征是输入变量，标签是输出变量。模型的本质是学习从特征到标签的映射函数。特征工程（Feature Engineering）的质量直接影响模型的上限——好的特征能极大提升模型性能，甚至比复杂算法更有效。例如在房价预测中，将"房龄"和"面积"组合成"每平米年均折旧"这样的派生特征，往往比为模型增加更多层数更有效。

2. 回归问题

回归（Regression）解决的是预测连续值的问题。典型的回归任务包括房价预测、股票价格预测、温度预测等。回归模型的输出是一个连续的实数。评估回归模型常用的指标包括均方误差（MSE, Mean Squared Error）、平均绝对误差（MAE, Mean Absolute Error）和 R² 决定系数。常见的回归算法有线性回归、决策树回归、随机森林回归、支持向量回归（SVR）以及各类神经网络回归模型。

3. 分类问题

分类（Classification）解决的是预测离散类别的问题。典型的分类任务包括垃圾邮件检测（二分类）、手写数字识别（多分类）、疾病诊断（二分类或多分类）等。分类模型的输出是类别标签或属于每个类别的概率。评估分类模型常用的指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 分数以及 ROC-AUC 等。常见的分类算法有逻辑回归、K 近邻（KNN）、支持向量机（SVM）、决策树、随机森林、梯度提升树（XGBoost/LightGBM）以及各类深度学习分类网络。

4. 过拟合（Overfitting）与欠拟合（Underfitting）

过拟合是指模型在训练数据上表现极好，但在新数据上表现很差的现象。这相当于模型"死记硬背"了训练数据中的噪声和细节，而没有学到真正的通用模式。过拟合的典型表现是训练误差持续下降而验证误差开始上升。导致过拟合的原因包括模型过于复杂、训练数据太少、特征过多、训练时间过长等。缓解过拟合的常用方法有正则化（L1/L2）、Dropout、早停（Early Stopping）、数据增强、减少模型复杂度等。

欠拟合是指模型在训练数据上表现就不好，更不用说在新数据上的表现。这相当于模型"学力不足"，未能捕获数据中的基本模式。欠拟合的典型表现是训练误差和验证误差都偏高。导致欠拟合的原因包括模型过于简单、特征不够、训练不充分等。缓解欠拟合的常用方法有增加模型复杂度、增加特征、减少正则化强度、增加训练轮数等。

5. 偏差-方差权衡（Bias-Variance Tradeoff）

偏差-方差权衡是机器学习中最核心的理论概念之一。偏差（Bias）衡量模型预测值的期望与真实值之间的差距，高偏差意味着模型过于简单，对数据拟合不足。方差（Variance）衡量模型对训练数据波动的敏感程度，高方差意味着模型对训练数据中的微小变化反应剧烈，容易过拟合。

模型的泛化误差可以分解为三个部分：泛化误差 = 偏差² + 方差 + 不可约噪声。增加模型复杂度会降低偏差但提高方差，降低模型复杂度会提高偏差但降低方差。理想状态是在总误差最小的点上取得平衡，即找到偏差和方差之间的最佳折中。这在实际操作中体现为——通过正则化、集成方法（如 Bagging 降低方差、Boosting 降低偏差）等策略来控制系统中的偏差和方差。

三、无监督学习基础概念

1. 聚类（Clustering）

聚类是无监督学习的核心任务之一，目标是在没有标签的情况下，根据数据的内在相似性将样本划分为若干组（簇）。聚类的核心假设是同一簇内的样本相似度高，不同簇之间的样本相似度低。常见的聚类算法包括 K 均值聚类（K-Means）——通过迭代分配样本到最近的簇中心来形成簇；层次聚类（Hierarchical Clustering）——通过逐步合并或分裂来构建簇的树状结构；DBSCAN——基于密度的聚类算法，能够发现任意形状的簇并识别噪声点。聚类广泛应用于客户分群、图像分割、异常检测、文档主题分类等场景。

2. 降维（Dimensionality Reduction）

降维是指将高维数据映射到低维空间的技术，其目的包括：缓解维度灾难、减少计算开销、去除噪声、数据可视化。降维方法分为特征选择（Feature Selection）和特征提取（Feature Extraction）两类。特征选择直接从原始特征中挑选最有用的子集；特征提取则将原始特征变换到新的低维空间。主成分分析（PCA）是最经典的线性降维方法，它通过寻找数据方差最大的方向来实现降维。t-SNE 和 UMAP 是流行的非线性降维方法，擅长将高维数据可视化到二维或三维空间。降维在数据探索、预处理和可视化中扮演着重要角色。

3. 密度估计（Density Estimation）

密度估计的目标是从观测数据中估计出数据的概率密度分布。它可以帮助我们理解数据的生成机制，也可以用于异常检测——低概率密度的样本可能是异常点。密度估计方法包括参数方法（假设数据服从某种已知分布，如高斯分布）和非参数方法（如核密度估计 KDE）。在异常检测应用中，密度估计能够识别出与正常模式显著偏离的数据点，这在金融欺诈检测、工业故障诊断等领域有广泛的应用。

四、模型评估基础

1. 泛化能力（Generalization）

泛化能力是机器学习模型最根本的追求目标——模型对未见过的数据做出正确预测的能力。一个模型即使训练误差为零，如果泛化能力差，在实际应用中也不具有任何价值。泛化能力的好坏取决于三个因素：训练数据的质量和数量、模型的复杂度、以及正则化策略的有效性。机器学习领域的大部分技术——从正则化到交叉验证，从数据增强到集成学习——归根结底都是为了提升模型的泛化能力。

2. 训练误差 vs 测试误差

训练误差（Training Error）是模型在训练集上的预测误差，测试误差（Test Error）是模型在测试集上的预测误差。两者的差距反映了模型的泛化能力。当训练误差远低于测试误差时，说明模型存在过拟合。理想的情况是两者都较低且差距不大。需要注意的是，训练误差和测试误差之间的差距会随着模型复杂度增加而扩大——这是偏差-方差权衡的直接体现。

3. 交叉验证（Cross-validation）

交叉验证是一种评估模型泛化能力的重要技术。其基本思想是将数据集多次划分成训练集和验证集，计算每次的评估指标后取平均值，从而得到更稳定、更可靠的性能评估。最常见的 K 折交叉验证（K-Fold Cross-Validation）将数据分成 K 个大小相近的子集，轮流用 K-1 个子集训练、余下 1 个子集验证，重复 K 次。留一交叉验证（Leave-One-Out Cross-Validation, LOOCV）是 K 折交叉验证的极端情况，K 等于样本数。分层 K 折交叉验证（Stratified K-Fold）在分类问题中保持每次划分的类别比例与原数据集一致，使评估结果更加可靠。

4. 混淆矩阵（Confusion Matrix）

混淆矩阵是分类模型评估中最基础的工具，它以矩阵形式展示模型预测结果与真实标签的对比。对二分类问题，混淆矩阵包含四个核心指标：真正例（TP，True Positive）——正类预测正确的数量；假正例（FP，False Positive）——负类被错误预测为正类的数量；真负例（TN，True Negative）——负类预测正确的数量；假负例（FN，False Negative）——正类被错误预测为负类的数量。基于混淆矩阵可以衍生出多种评估指标：准确率 = (TP+TN)/(TP+TN+FP+FN)；精确率 = TP/(TP+FP)；召回率 = TP/(TP+FN)；F1 分数 = 2×精确率×召回率/(精确率+召回率)。

	预测为正类	预测为负类
实际为正类	真正例（TP）	假负例（FN）
实际为负类	假正例（FP）	真负例（TN）

五、机器学习工作流程

1. CRISP-DM 标准流程

CRISP-DM（Cross-Industry Standard Process for Data Mining）是数据挖掘和机器学习领域最广泛使用的标准流程框架，由以下六个阶段组成：

业务理解（Business Understanding）：这是项目的起点。需要明确业务目标是什么，将业务问题转化为机器学习问题，确定成功标准。例如，业务目标是"降低客户流失率"，对应的机器学习问题就是"预测哪些客户可能流失"。

数据理解（Data Understanding）：收集初始数据，描述和探索数据，验证数据质量。这个阶段需要回答：数据从哪里来？有多少数据？数据质量如何？是否存在缺失值和异常值？各特征的分布和统计特性是什么？数据探索性分析（EDA）是这个阶段的核心工作。

数据准备（Data Preparation）：这是整个流程中最耗时的一步（通常占 60-80% 的时间）。包括数据清洗（处理缺失值、异常值、重复数据）、数据转换（标准化、归一化、编码）、特征工程（创建新特征、特征选择）、数据划分（训练/验证/测试集划分）等。高质量的准备工作是模型成功的基础。

建模（Modeling）：选择合适的算法训练模型。这个阶段通常需要尝试多种算法（如逻辑回归、决策树、随机森林、梯度提升等），对每种算法进行超参数调优。建模不是一次性的工作，因为模型选择和调优往往需要反复试验。

评估（Evaluation）：在评估模型时，不仅要看模型的技术指标（准确率、F1 分数等），还要评估模型是否达到了业务目标。这个阶段可能会发现模型虽然在技术指标上表现良好，但并不能真正解决业务问题，此时需要回到业务理解阶段重新定义问题。

部署（Deployment）：将模型集成到生产环境中，使其能够对新数据进行预测。部署不仅仅是技术层面的工作，还包括建立监控系统、制定模型更新策略、编写文档等。模型部署后还需要持续监控其性能，因为数据分布可能随时间变化（概念漂移，Concept Drift），需要定期重新训练模型。

2. 迭代优化过程

实际项目中的机器学习工作流程并非线性的一次性过程，而是一个循环迭代的过程。关键迭代节点包括：特征迭代——基于模型反馈创建或删除特征；算法迭代——尝试不同的算法和超参数组合；数据迭代——补充更多的数据或更高质量的数据；评估标准迭代——根据业务反馈调整评估方式。典型的迭代循环为：构建基线模型 -> 分析误差 -> 改进数据和特征 -> 调优模型 -> 重新评估。每次循环都应当使模型性能有所提升，当提升不再显著或满足业务需求时，迭代可以终止。

六、关键术语表

1. 端到端学习（End-to-End Learning）

端到端学习是指用一个统一的模型直接从原始输入映射到最终输出，省去了传统的多阶段流水线。例如，在图像识别任务中，端到端模型直接接收像素作为输入，输出类别标签，而不需要先提取特征再进行分类。深度学习的兴起推动了端到端学习的广泛应用。优点是减少了人工特征工程的依赖，缺点是需要大量的训练数据。

2. 在线学习 vs 批量学习

批量学习（Batch Learning）是传统的机器学习方式：使用全部可用数据一次性训练模型，然后投入生产使用，模型在训练后保持不变。在线学习（Online Learning）则是持续用新数据更新模型的训练方式，每次用一小批数据（mini-batch）或单个样本逐步更新模型。在线学习适用于数据量巨大无法一次性装入内存的场景，或数据分布随时间变化的场景（如用户行为预测、股票预测）。需要注意在线学习对异常数据更敏感，需要仔细设计学习率衰减策略。

3. 基于实例的学习 vs 基于模型的学习

基于实例的学习（Instance-based Learning）通过记忆训练数据中的实例来进行预测，典型算法是 K 近邻（KNN）。当需要预测新样本时，算法在训练集中寻找最相似的实例，基于这些实例的标签做出预测。基于模型的学习（Model-based Learning）则从训练数据中学习出一个通用的模型（如决策树、神经网络），然后使用该模型对新样本进行预测。基于实例的学习适用于决策边界复杂、数据量适中的场景；基于模型的学习泛化能力通常更强，但容易受到模型假设偏差的影响。

4. 特征工程（Feature Engineering）

特征工程是将原始数据转换为更能代表问题本质的特征的过程，是机器学习中最具创造性的环节。特征工程包括：特征创建（从原始数据中派生新特征，如从日期中提取星期几、是否节假日）、特征变换（对数变换、Box-Cox 变换等使数据符合模型假设）、特征编码（独热编码、标签编码等处理类别特征）、特征缩放（标准化、归一化使特征处于相同量级）。业界有一句广为流传的话："特征工程做得好，模型就成功了一半。"

5. 表示学习（Representation Learning）

表示学习是机器学习的一个子领域，目标是自动学习数据的良好表示（Representation）或特征，而无需人工设计特征。深度学习是表示学习最成功的例子——通过多层神经网络，模型能够自动从原始数据中学习到从低级到高级的层次化表示。例如在图像识别中，低层网络学习边缘和纹理，中层网络学习部件和形状，高层网络学习完整物体。优秀的表示应该能够捕获数据中的关键变化因素，对不相关的变化具有不变性。

6. 迁移学习（Transfer Learning）

迁移学习是将从一个任务（源域）学到的知识应用到另一个相关任务（目标域）的技术。典型做法是在大型数据集上预训练一个模型（如 ImageNet 上训练的 ResNet），然后在小规模的目标数据集上进行微调（Fine-tuning）。迁移学习极大地降低了深度学习对大量标注数据的依赖，在计算机视觉和自然语言处理领域取得了巨大成功。预训练-微调范式已经成为深度学习实践中的标准方法。需要注意的是，源域和目标域之间的相似度越高，迁移学习的效果越好。

7. 多任务学习（Multi-task Learning）

多任务学习是指让一个模型同时学习多个相关任务，通过共享表示来提升各个任务的学习效果。例如，一个自动驾驶模型可以同时学习物体检测、车道线识别和深度估计这三个紧密相关的任务。多任务学习通过共享底层特征，利用任务之间的相关性来提高数据效率、降低过拟合风险，并提升模型在各项任务上的整体表现。其核心思想是——多个任务一起学习时，每个任务都能从其他任务提供的额外信息中受益。