超参数调优
机器学习专题 · 掌握模型超参数调优技术
专题：Python机器学习系统学习
关键词：Python, 机器学习, 超参数调优, GridSearch, RandomSearch, 贝叶斯优化, Optuna, Hyperopt, 调参
一、参数 vs 超参数
1.1 模型参数
模型参数是模型在学习过程中自动从训练数据中学习得到的内部变量。它们是模型对数据建模的结果，直接决定了模型的预测能力。以线性回归为例：y = wx + b，其中的权重 w 和偏置 b 就是模型参数，它们通过梯度下降等优化算法不断调整，最终收敛到能够最小化损失函数的值。
对于深度学习模型，参数的数量往往非常庞大。一个典型的卷积神经网络可能包含数百万甚至上千万个参数。这些参数完全由训练数据驱动，数据科学家通常不直接干预参数的具体数值，而是通过设计网络结构和调整超参数来间接影响参数的取值。
模型参数具有以下核心特征：通过学习得到，而非手动设定；依赖于训练数据和优化算法；参数数量和结构由模型架构决定；在模型训练完成后固定下来用于预测。
1.2 超参数
超参数是在模型训练开始之前由数据科学家手动设置的配置变量。它们控制着模型的学习过程和结构复杂度，对模型的最终性能有着至关重要的影响。常见的超参数包括：学习率（learning rate）、决策树的最大深度（max_depth）、K近邻算法中的K值、支持向量机中的惩罚系数C和核函数参数gamma、随机森林中的树的数量（n_estimators）等等。
与模型参数不同，超参数不能直接从数据中学习得到。它们需要数据科学家根据经验、领域知识以及实验调优来确定合适的取值。选择不当的超参数可能导致模型欠拟合（模型过于简单，无法捕捉数据规律）或过拟合（模型过于复杂，记住了噪声而非真实模式）。
1.3 超参数的重要性
超参数的选择直接影响模型的最终性能。研究表明，同一模型在不同超参数配置下的性能差异可能非常显著。在很多情况下，精心调优的简单模型（如调好参数的随机森林）其表现可能超过使用默认参数但未经调优的复杂模型（如深度神经网络）。这正是超参数调优的意义所在——通过系统性地搜索最优超参数组合，挖掘模型的全部潜力。
超参数调优的挑战在于：超参数空间通常是高维的，各超参数之间可能存在交互作用，且评估一组超参数的质量需要完整地训练和验证模型，计算成本高昂。因此，高效的搜索策略至关重要。
核心区别：模型参数是模型从数据中自动学得的（如权重w），是学习的结果；超参数是训练前手动设置的（如学习率），是学习的配置。超参数控制着模型参数的学习过程。
二、网格搜索（Grid Search）
2.1 核心思想
网格搜索是最直观的超参数调优方法。它的核心思想非常简单：预先为每个超参数指定一组候选值，然后枚举所有可能的组合，对每一种组合训练模型并使用交叉验证评估性能，最后选出表现最好的超参数组合。如果你有3个超参数需要调优，每个参数指定4个候选值，那么需要尝试的总组合数为 4 x 4 x 4 = 64 种。
2.2 scikit-learn实现：GridSearchCV
Scikit-learn 提供了 GridSearchCV 类实现网格搜索，它将网格搜索与交叉验证无缝集成。使用方式非常直观：
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
# 加载数据
data = load_iris()
X, y = data.data, data.target
# 定义模型
model = RandomForestClassifier(random_state=42)
# 定义超参数网格
param_grid = {
'n_estimators': [50, 100, 200],
'max_depth': [None, 10, 20, 30],
'min_samples_split': [2, 5, 10]
}
# 创建GridSearchCV对象
grid_search = GridSearchCV(
estimator=model,
param_grid=param_grid,
cv=5, # 5折交叉验证
scoring='accuracy',
n_jobs=-1, # 使用所有CPU核心
verbose=1
)
# 执行搜索
grid_search.fit(X, y)
# 输出最佳结果
print(f"最佳参数: {grid_search.best_params_}")
print(f"最佳交叉验证得分: {grid_search.best_score_:.4f}")
在上面的例子中，param_grid 字典定义了 3 x 4 x 3 = 36 种超参数组合。结合5折交叉验证，总共需要训练 36 x 5 = 180 个模型。n_jobs=-1 表示使用所有可用的CPU核心来并行训练，大大缩短搜索时间。
2.3 param_grid 的灵活定义
GridSearchCV 的 param_grid 参数可以接受字典或字典列表。当使用字典列表时，每个字典定义一组独立的搜索空间，Scikit-learn 会依次搜索所有字典中的组合：
# 使用字典列表定义不同的搜索空间
param_grid = [
# 第一种配置：使用不同核函数
{'kernel': ['rbf'], 'C': [0.1, 1, 10], 'gamma': [0.01, 0.1, 1]},
# 第二种配置：仅使用线性核，不调gamma
{'kernel': ['linear'], 'C': [0.1, 1, 10]}
]
这种方式非常灵活，可以在不同模型的搜索空间中使用不同的超参数组合，避免无意义的组合尝试。
2.4 网格搜索的优缺点
优点：实现简单直观，易于理解和调试；保证在定义的搜索空间中找到最优组合（穷举搜索）；结果具有确定性和可重复性；并行化程度高，各个组合的评估相互独立。
缺点：计算复杂度随参数数量呈指数增长（维度灾难）；当超参数数量较多时，搜索时间会变得不可接受；连续型超参数必须离散化，可能错过最优值；需要事先指定候选值范围，对先验知识依赖较强；非关键参数的浪费——许多组合对性能影响很小，但仍需完整评估。
维度灾难示例：假设要调优6个超参数，每个参数取5个候选值，总组合数为 5^6 = 15625。如果使用5折交叉验证，需要训练 15625 x 5 = 78125 个模型。每个模型训练耗时1分钟，则需要约54天。网格搜索在超参数较多时基本不可行。
三、随机搜索（Random Search）
3.1 核心思想
随机搜索（Random Search）由 Bergstra 和 Bengio 在2012年的论文《Random Search for Hyper-Parameter Optimization》中系统性地提出并分析。与网格搜索的穷举策略不同，随机搜索在超参数空间中随机采样指定数量的参数组合进行评估。
3.2 RandomizedSearchCV实现
from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import RandomForestClassifier
import numpy as np
# 定义模型
model = RandomForestClassifier(random_state=42)
# 定义参数分布（使用分布而不是固定列表）
param_dist = {
'n_estimators': [50, 100, 200, 300, 500],
'max_depth': [None, 5, 10, 15, 20, 25, 30],
'min_samples_split': [2, 3, 5, 7, 10],
'min_samples_leaf': [1, 2, 3, 4, 5],
'max_features': ['sqrt', 'log2', None, 0.5, 0.3],
'bootstrap': [True, False]
}
# 创建RandomizedSearchCV对象
random_search = RandomizedSearchCV(
estimator=model,
param_distributions=param_dist,
n_iter=50, # 采样50个组合
cv=5,
scoring='accuracy',
n_jobs=-1,
verbose=1,
random_state=42
)
# 执行搜索
random_search.fit(X, y)
print(f"最佳参数: {random_search.best_params_}")
print(f"最佳交叉验证得分: {random_search.best_score_:.4f}")
param_distributions 参数不仅可以接受固定列表，还可以接受scipy分布对象来定义连续型超参数的采样分布：
from scipy.stats import uniform, randint, loguniform
# 使用统计分布定义连续型参数
param_dist = {
'C': loguniform(1e-3, 1e3), # 对数均匀分布
'gamma': loguniform(1e-4, 1e1),
'alpha': uniform(0.01, 0.9) # 均匀分布
}
3.3 网格搜索 vs 随机搜索
Bergstra 和 Bengio 的2012年论文通过理论分析和大量实验论证了随机搜索相比网格搜索的显著优势。核心论点在于：在超参数调优中，不同超参数的重要性是不相等的。通常只有少数几个超参数对模型性能有决定性影响，而其余超参数的影响较小。
网格搜索的问题：每个超参数无论重要性如何，都被赋予了相同数量的"尝试次数"。如果有3个重要参数和3个次要参数，每个参数5个候选值，网格搜索会尝试 5^6 = 15625 种组合。但真正影响性能的只有重要参数的不同取值，每个重要参数实际上只被评估了 5^3 = 125 次（其他参数组合中，重要参数的每个值都会被多次尝试，但这是冗余的）。
随机搜索的优势：随机搜索为每个参数提供了相同的采样次数。如果设置 n_iter=125，那么每个重要参数会被采样125次，而网格搜索中重要参数实际只被评估了125次（每个值重复多次）。换句话说，随机搜索用与网格搜索相同的计算成本，可以对重要参数进行"更多样化的探索"，因此更容易找到最优值。
关键结论：当超参数空间中的有用区域占比较小时，随机搜索比网格搜索更高效。网格搜索会均匀覆盖整个空间，大部分计算浪费在无价值的区域；随机搜索则将计算资源均匀分配到各个参数的探索中，更有可能捕捉到那些"窄而高"的最优区域。
3.4 n_iter 迭代次数选择
n_iter 是随机搜索中最重要的参数之一。它控制采样的组合数量，需要在搜索充分性和计算成本之间取得平衡。一般建议：
- 作为基准，n_iter 通常设置为 param_grid 字典可能总组合数的10%-20%
- 对于简单问题（如10个以内的超参数），n_iter=30-100是常见选择
- 对于复杂问题，可以使用 n_iter=200-500
- 可以利用学习曲线来辅助判断：当增加 n_iter 不再显著改善结果时，说明已经收敛
- 结合早停（early stopping）策略，如果连续若干次采样没有改进，可以提前终止搜索
四、贝叶斯优化（Bayesian Optimization）
4.1 核心原理
贝叶斯优化是一种利用概率模型来引导超参数搜索的智能优化方法。与网格搜索和随机搜索的"盲目"探索不同，贝叶斯优化会利用已经评估过的超参数组合的结果来指导下一组超参数的选择，从而在尽可能少的评估次数中找到最优值。
贝叶斯优化的核心包含两个关键组件：
4.2 高斯过程（Gaussian Process）代理模型
高斯过程（GP）作为贝叶斯优化的默认代理模型，用于建模超参数与模型性能之间的未知函数关系。GP会拟合一个概率分布，对于每一组未经评估的超参数，不仅给出性能的预测均值，还给出预测的不确定性（置信区间）。
高斯过程的独特优势在于：它能够自然地量化不确定性。在超参数空间的稀疏区域，GP的不估计会很大（表示不够确定），而在已经密集评估过的区域，不确定性较小。这种不确定性估计对于后续的采集函数决策至关重要。
4.3 采集函数
采集函数利用高斯过程提供的预测均值和不确定性，在"利用"（exploitation，在已知表现好的区域附近搜索）和"探索"（exploration，在不确定的区域搜索）之间取得平衡。常用的采集函数包括：
- 期望改进（EI, Expected Improvement）：计算在某个点取得比当前最优值更好的期望值。EI是目前最常用的采集函数，它在利用和探索之间取得了良好的平衡，且对参数范围的缩放不敏感。
- 置信上界（UCB, Upper Confidence Bound）：使用均值 + k * 标准差作为上界估计。参数k控制探索倾向：k越大越倾向于探索不确定区域，k越小越倾向于已知优区域。UCB的优点是计算简单直观。
- 概率改进（PI, Probability of Improvement）：计算某个点取得比当前最优值更好的概率。PI的缺点是比较"贪婪"，容易陷入局部最优。
贝叶斯优化的优势：与网格搜索需要枚举所有组合（指数级增长）、随机搜索需要大量采样（线性增长）不同，贝叶斯优化通常只需要几十到几百次评估就能找到接近最优的超参数组合，特别适合每次评估代价高昂的场景（如深度学习模型训练）。
4.4 Scikit-Optimize（skopt）
Scikit-Optimize 是一个专门用于贝叶斯优化的库，API简洁，与scikit-learn生态兼容良好：
from skopt import gp_minimize
from skopt.space import Real, Integer, Categorical
from skopt.utils import use_named_args
# 定义搜索空间
space = [
Integer(10, 500, name='n_estimators'),
Integer(1, 50, name='max_depth'),
Real(0.01, 1.0, name='learning_rate'),
Categorical(['sqrt', 'log2'], name='max_features')
]
# 定义目标函数
@use_named_args(space)
def objective(**params):
model = RandomForestClassifier(
n_estimators=params['n_estimators'],
max_depth=params['max_depth'],
max_features=params['max_features'],
random_state=42
)
# 返回负的准确率（gp_minimize默认最小化）
score = cross_val_score(model, X, y, cv=5, scoring='accuracy').mean()
return -score
# 执行贝叶斯优化
result = gp_minimize(
func=objective,
dimensions=space,
n_calls=50, # 共评估50次（含初始随机点）
n_initial_points=10, # 初始随机点数量
random_state=42
)
print(f"最佳参数: {dict(zip(['n_estimators','max_depth','learning_rate','max_features'], result.x))}")
print(f"最佳得分: {-result.fun:.4f}")
4.5 Hyperopt库
Hyperopt 是另一个流行的贝叶斯优化库，它使用树状帕森估计器（TPE, Tree-structured Parzen Estimator）代替高斯过程作为代理模型。TPE的优势是能够处理复杂的条件搜索空间（例如，某些超参数仅在选择了特定算法后才有效）。
from hyperopt import fmin, tpe, hp, Trials, STATUS_OK
# 定义搜索空间
space = {
'n_estimators': hp.choice('n_estimators', [50, 100, 200, 300]),
'max_depth': hp.randint('max_depth', 1, 50),
'learning_rate': hp.uniform('learning_rate', 0.01, 1.0),
'criterion': hp.choice('criterion', ['gini', 'entropy'])
}
# 定义目标函数
def objective(params):
model = RandomForestClassifier(
n_estimators=params['n_estimators'],
max_depth=params['max_depth'],
criterion=params['criterion'],
random_state=42
)
score = cross_val_score(model, X, y, cv=5, scoring='accuracy').mean()
return {'loss': -score, 'status': STATUS_OK}
# 执行搜索
trials = Trials()
best = fmin(
fn=objective,
space=space,
algo=tpe.suggest, # 使用TPE算法
max_evals=100, # 最多评估100次
trials=trials,
rstate=np.random.default_rng(42)
)
print(f"最佳参数: {best}")
4.6 Optuna框架
Optuna 是近年来最受欢迎的现代超参数优化框架之一，由日本Preferred Networks公司开发。与Hyperopt和skopt相比，Optuna的设计更加现代化和用户友好：
import optuna
from sklearn.model_selection import cross_val_score
# 定义目标函数（使用define-by-run风格）
def objective(trial):
# 在函数内动态定义搜索空间
n_estimators = trial.suggest_int('n_estimators', 50, 500, step=50)
max_depth = trial.suggest_int('max_depth', 3, 50)
min_samples_split = trial.suggest_int('min_samples_split', 2, 20)
min_samples_leaf = trial.suggest_int('min_samples_leaf', 1, 10)
max_features = trial.suggest_categorical('max_features', ['sqrt', 'log2', None])
learning_rate = trial.suggest_float('learning_rate', 0.01, 1.0, log=True)
model = RandomForestClassifier(
n_estimators=n_estimators,
max_depth=max_depth,
min_samples_split=min_samples_split,
min_samples_leaf=min_samples_leaf,
max_features=max_features,
random_state=42
)
score = cross_val_score(model, X, y, cv=5, scoring='accuracy').mean()
return score
# 创建研究并执行优化
study = optuna.create_study(
direction='maximize',
sampler=optuna.samplers.TPESampler(seed=42)
)
study.optimize(objective, n_trials=100)
print(f"最佳参数: {study.best_params}")
print(f"最佳得分: {study.best_value:.4f}")
# 可视化调优过程（需要optuna-dashboard或plotly）
# optuna.visualization.plot_optimization_history(study)
Optuna的独特优势：
- Define-by-Run风格：搜索空间在目标函数内部动态定义，支持条件搜索空间和循环，比预先定义空间的API更灵活
- 自动剪枝（Pruning）：支持在训练过程中提前终止没有希望的试验，节省大量计算资源。例如，如果某个超参数组合在训练的前几个epoch表现明显差于其他组合，可以提前终止
- 丰富的可视化：内置优化历史、超参数重要性、平行坐标图等可视化工具
- 分布式优化：支持多进程和多机分布式优化
- 存储与恢复：支持使用RDBMS存储优化历史，方便断点续调和实验管理
五、交叉验证在调优中的作用
5.1 K-Fold与调优的集成
交叉验证是超参数调优中不可或缺的组成部分。每次评估一组超参数时，如果仅使用单一的训练/验证集划分，评估结果可能对数据划分方式非常敏感——恰好将困难样本分到验证集会导致评分偏低，反之则偏高。交叉验证通过对数据进行多次划分并计算平均性能，显著降低了评估结果的方差。
在超参数调优中，K-Fold交叉验证的工作流程如下：训练数据被划分为K份，每次使用K-1份进行训练，剩余1份用于验证，重复K次。所有K次验证结果的平均值作为该超参数组合的性能评估。K的典型取值为5或10。K值越大，评估越稳定但计算成本也越高。
5.2 数据泄露问题
超参数调优过程中最常见的错误之一是数据泄露。如果在搜索过程中将测试数据的信息泄露到了训练过程中，会导致对模型泛化能力的过于乐观的估计。典型的数据泄露场景包括：
- 在搜索前使用全部数据做特征选择：这会使得特征选择过程"看到"了测试数据的信息
- 在交叉验证循环外进行数据标准化/归一化：应该在每个折内分别计算均值和标准差并应用到对应的训练和验证集
- 在搜索中使用测试集：测试集应该完全独立于调优过程，只在最终模型评估时使用一次
5.3 嵌套交叉验证（Nested Cross Validation）
嵌套交叉验证是解决数据泄露问题的金标准方法。它将交叉验证分为内外两层：
- 内层循环（内层CV）：用于超参数调优。在每一折的训练集上进一步划分，执行GridSearch、RandomSearch或贝叶斯优化来找到最佳超参数
- 外层循环（外层CV）：用于评估模型的泛化性能。在外层的每一折中，内层找到了最佳超参数后，用外层的训练集重新训练模型，然后在外层的验证集上评估
from sklearn.model_selection import cross_val_score, KFold
from sklearn.model_selection import GridSearchCV
# 外层5折交叉验证
outer_cv = KFold(n_splits=5, shuffle=True, random_state=42)
# 内层3折交叉验证（用于调优）
inner_cv = KFold(n_splits=3, shuffle=True, random_state=42)
# 内层搜索
param_grid = {'n_estimators': [50, 100, 200], 'max_depth': [5, 10, None]}
clf = GridSearchCV(
estimator=RandomForestClassifier(random_state=42),
param_grid=param_grid,
cv=inner_cv,
scoring='accuracy'
)
# 外层评估（嵌套交叉验证）
nested_scores = cross_val_score(clf, X, y, cv=outer_cv, scoring='accuracy')
print(f"嵌套CV得分: {nested_scores}")
print(f"平均得分: {nested_scores.mean():.4f} +/- {nested_scores.std():.4f}")
嵌套交叉验证提供了对模型泛化性能的无偏估计，这对于比较不同模型或选择最终模型至关重要。但需要注意的是，嵌套交叉验证的计算成本非常高——如果外层5折、内层5折、搜索100组参数，共需训练 5 x 5 x 100 = 2500 个模型。
重要原则：一旦通过嵌套交叉验证或其他方法选定了最终的模型和超参数，必须使用独立的、从未在调优过程中使用过的测试集来评估最终模型的泛化能力。测试集只能使用一次，任何基于测试结果反复调整模型的行为都会导致对泛化性能的高估。
六、调优策略
6.1 粗调到精调（Coarse-to-Fine）
粗调到精调是最实用、最高效的调优策略之一。其核心理念是在宽范围上进行粗略搜索，锁定有希望的区域后，再在该区域内进行精细搜索：
第一阶段——粗调：在较大的范围内使用较少的采样点进行搜索。这一步的目标不是找到精确的最优值，而是识别出有潜力的参数区域。可以使用随机搜索或低精度贝叶斯优化，设置较少的迭代次数（如 n_iter=20-30）。
第二阶段——精调：基于粗调的结果，缩小每个超参数的搜索范围，使用更多的采样点进行精细搜索。可以使用贝叶斯优化或网格搜索来精确确定最佳参数。此时搜索空间更集中，搜索效率更高。
在实际操作中，可能需要进行多轮精调，每次都将搜索范围缩小到上一个最优值附近。这种策略有效避免了在全局范围内进行网格搜索的维数灾难问题。
6.2 先重要参数后次要参数
不是所有超参数都同等重要。合理做法是先调优对模型性能影响最大的关键参数，然后再微调次要参数。这种策略可以显著减少搜索空间。各模型的调参优先级如下：
- 随机森林：n_estimators > max_features > max_depth > min_samples_split > min_samples_leaf
- XGBoost/LightGBM：learning_rate > n_estimators > max_depth > subsample > colsample_bytree > reg_lambda > reg_alpha
- SVM：C > kernel > gamma > degree
- 神经网络：learning_rate > batch_size > 层数和神经元数 > dropout > 正则化系数
6.3 学习曲线辅助调优
学习曲线是调优过程中的重要辅助工具。通过绘制训练集和验证集的性能随训练数据量（或训练轮数）的变化曲线，可以诊断模型的状态：
- 高偏差（欠拟合）：训练集和验证集上的性能都较低，且两者差距不大。解决方案是增加模型复杂度（如增加max_depth、增加n_estimators等）或减少正则化
- 高方差（过拟合）：训练集性能很高但验证集性能明显较低。解决方案是减少模型复杂度（如降低max_depth、增加min_samples_split）、增加正则化强度或增加训练数据量
import matplotlib.pyplot as plt
from sklearn.model_selection import learning_curve
train_sizes, train_scores, valid_scores = learning_curve(
model, X, y, cv=5, n_jobs=-1,
train_sizes=np.linspace(0.1, 1.0, 10),
scoring='accuracy'
)
train_mean = np.mean(train_scores, axis=1)
valid_mean = np.mean(valid_scores, axis=1)
6.4 调参优先级建议
综合各项策略，在实际项目中推荐以下调参工作流：
- 确定基线：先使用模型的默认参数训练一个基线模型，记录性能指标
- 粗调关键参数：使用随机搜索或Optuna在宽范围内搜索最重要的2-3个参数，设置 n_iter=30-50
- 分析结果：利用平行坐标图或超参数重要性图分析哪些参数对性能影响最大
- 精调关键参数：锁定最优区域后，使用贝叶斯优化进行精细搜索，n_iter=50-100
- 微调次要参数：在关键参数基本确定后，逐步添加次要参数进行联合优化
- 交叉验证验证：使用嵌套交叉验证评估最终模型的泛化性能
- 测试集最终评估：使用从未参与调优的测试集进行一次性评估
经验法则：对于大多数实际问题，使用Optuna进行50-100次贝叶斯优化迭代，通常能取得远好于默认参数的模型性能。将80%的调优时间投入到最重要的2-3个超参数上，比均匀分配所有参数的调优时间效果更好。
七、调参实践
7.1 随机森林调参
随机森林是实践中表现最稳定的模型之一，调参需求相对较少，但合理调参仍能显著提升性能。
n_estimators（树的数量）：随机森林的核心超参数。一般来说，树越多性能越好，但收益递减。通常需要在100-1000之间选择。建议：使用较大的n_estimators配合早停（如果实现支持），或者根据计算资源选择300-500。
max_depth（最大深度）：控制每棵树的深度。None表示不限制（让树完全生长），但容易过拟合。建议设置范围为10-50或None，结合交叉验证确定。
max_features（最大特征数）：每次分裂时考虑的特征数量。常用选项：'sqrt'（分类问题默认）、'log2'、None（所有特征）或浮点数（如0.5表示50%的特征）。这个参数直接影响随机森林的随机性程度和树之间的相关性。
min_samples_split和min_samples_leaf：控制叶节点的最小样本数，是防止过拟合的重要参数。值越大，模型越简单。
# 随机森林调参推荐流程
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import RandomizedSearchCV
rf = RandomForestClassifier(random_state=42)
rf_param_dist = {
'n_estimators': [200, 300, 400, 500],
'max_depth': [15, 20, 25, 30, None],
'min_samples_split': [2, 5, 10],
'min_samples_leaf': [1, 2, 4],
'max_features': ['sqrt', 'log2', None],
'bootstrap': [True, False]
}
rf_search = RandomizedSearchCV(
rf, rf_param_dist, n_iter=100, cv=5,
scoring='accuracy', n_jobs=-1, random_state=42
)
7.2 XGBoost调参
XGBoost 是梯度提升框架的标杆实现，参数体系较为复杂，调优空间大。以下是核心超参数的调优顺序和范围：
| 参数 | 说明 | 推荐范围 | 重要性 |
|---|
| learning_rate | 学习率（步长收缩） | 0.01 - 0.3 | 最高 |
| n_estimators | 提升轮数 | 100 - 2000 | 高 |
| max_depth | 树的最大深度 | 3 - 10 | 高 |
| subsample | 行采样比例 | 0.6 - 1.0 | 中 |
| colsample_bytree | 列采样比例 | 0.6 - 1.0 | 中 |
| min_child_weight | 叶节点最小权重和 | 1 - 10 | 中 |
| reg_lambda | L2正则化 | 0 - 10 | 低 |
| reg_alpha | L1正则化 | 0 - 10 | 低 |
| gamma | 分裂最小损失减少 | 0 - 5 | 低 |
XGBoost调参的核心技巧：learning_rate 和 n_estimators 成反比关系。较小的 learning_rate 需要更多的 n_estimators，但通常能获得更好的泛化性能。常见策略是先将 learning_rate 固定在0.1，调整其他参数，然后将 learning_rate 降低（如0.01或0.05），同时按比例增加 n_estimators。
# XGBoost调参示例
import xgboost as xgb
xgb_param_dist = {
'learning_rate': [0.01, 0.05, 0.1, 0.2],
'n_estimators': [200, 500, 1000, 1500],
'max_depth': [3, 4, 5, 6, 7, 8],
'subsample': [0.6, 0.7, 0.8, 0.9, 1.0],
'colsample_bytree': [0.6, 0.7, 0.8, 0.9, 1.0],
'min_child_weight': [1, 3, 5, 7],
'reg_lambda': [0, 0.1, 0.5, 1, 5, 10]
}
# 推荐：先调learning_rate + max_depth + n_estimators
# 然后调subsample + colsample_bytree
# 最后调正则化参数
7.3 SVM调参
支持向量机（SVM）对超参数非常敏感，尤其是C和核函数参数：
C（惩罚系数）：控制对误分类的容忍度。C越小，容忍度越高（边界更宽），模型更简单；C越大，对误分类的惩罚越重（边界更窄），模型更复杂。建议在对数尺度上搜索，如 [0.001, 0.01, 0.1, 1, 10, 100, 1000]。
gamma（RBF核参数）：控制单个训练样本的影响范围。gamma越小，影响范围越大（决策边界更平滑）；gamma越大，影响范围越小（决策边界更曲折）。同样建议在对数尺度上搜索。
kernel（核函数）：常用选项包括 'rbf'（RBF核，默认且最常用）、'linear'（线性核）、'poly'（多项式核）、'sigmoid'。对于大多数非线性问题，RBF核是首选。在某些线性可分的问题中，线性核速度更快且可解释性更好。
# SVM调参示例
from sklearn.svm import SVC
svm_param_dist = {
'C': [0.001, 0.01, 0.1, 1, 10, 100, 1000],
'gamma': [0.0001, 0.001, 0.01, 0.1, 1, 10, 'scale', 'auto'],
'kernel': ['rbf', 'linear', 'poly'],
'degree': [2, 3, 4] # 仅当kernel='poly'时有效
}
# 注意：SVM对特征尺度非常敏感，必须预先标准化数据
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
svm_pipeline = Pipeline([
('scaler', StandardScaler()),
('svm', SVC(random_state=42))
])
7.4 调参记录与实验管理
系统性的调参工作需要完善的实验记录和管理。随着调参过程的推进，很容易忘记哪些参数组合已经尝试过、效果如何、下一步应该尝试什么方向。以下是一些实用的实验管理方法：
Optuna自带的存储功能：Optuna支持将优化历史存储到SQLite或MySQL数据库中，方便断点续调和实验回溯：
# 使用SQLite存储优化历史
study = optuna.create_study(
study_name='rf_tuning_v1',
storage='sqlite:///optuna_studies.db',
load_if_exists=True,
direction='maximize'
)
MLflow实验跟踪：MLflow是业界最流行的机器学习实验管理工具之一，可以记录每次运行的参数、指标、模型产物等：
import mlflow
with mlflow.start_run(run_name="random_forest_tuning_v3"):
# 记录超参数
mlflow.log_param("n_estimators", 300)
mlflow.log_param("max_depth", 20)
# 记录性能指标
mlflow.log_metric("accuracy", 0.956)
mlflow.log_metric("f1_score", 0.952)
# 记录模型
mlflow.sklearn.log_model(model, "model")
Weights & Biases（wandb）：W&B提供更丰富的可视化功能，包括超参数重要性分析、平行坐标图、学习曲线聚合等，特别适合团队协作场景。
调参日志模板：即使不使用专业工具，维护一份调参日志也很有价值：
| 日期 | 模型 | 参数 | 验证得分 | 测试得分 | 备注 |
|---|
| 2026-05-05 | RF | 默认参数 | 0.923 | 0.918 | 基线 |
| 2026-05-05 | RF | n=300, md=20, mf='sqrt' | 0.945 | 0.939 | 局部最优 |
| 2026-05-05 | XGB | lr=0.1, ne=500, md=6 | 0.958 | 0.952 | 当前最佳 |
最佳实践总结：超参数调优不是一蹴而就的过程，而是迭代式的实验循环——提出假设、执行实验、分析结果、调整方向。保持良好的实验记录习惯，不盲从默认参数，理解每个超参数的实际含义，这些都是成为调优高手的关键。