...
← 返回学习笔记首页
深度学习
从基础到前沿 · 系统学习深度学习
共43个系统主题
本专题系统讲解深度学习核心技术，从神经网络基础、框架工具到CNN/RNN/Transformer等架构，从生成模型、训练技术到模型部署与前沿方向。
一、深度学习基础
激活函数详解
Sigmoid/Tanh/ReLU/GELU/Swish/Softmax、梯度饱和、死亡神经元、现代激活函数趋势。
2026-05-05
损失函数
MSE/MAE/Huber回归损失、交叉熵/Hinge分类损失、Focal Loss、标签平滑。
2026-05-05
学习率调度
StepDecay/余弦退火/Warmup/CyclicLR/ReduceLROnPlateau/OneCycleLR策略。
2026-05-05
二、框架与工具
Keras自定义层与回调函数
Layer子类化、ModelCheckpoint/EarlyStopping、自定义回调、TensorBoard可视化。
2026-05-05
TensorFlow数据流水线（tf.data）
Dataset创建、map/prefetch/cache优化、TFRecord格式、FeatureColumns。
2026-05-05
PyTorch张量与自动求导
张量创建/运算、Autograd计算图、backward/梯度控制、CUDA设备管理。
2026-05-05
PyTorch nn.Module与模型构建
nn.Module基类、内置层、自定义层、权重初始化、Sequential/ModuleList/ModuleDict。
2026-05-05
PyTorch DataLoader与训练循环
Dataset/DataLoader、Sampler、transforms数据增强、训练/验证循环、模型保存。
2026-05-05
PyTorch训练技巧与高级功能
混合精度AMP、梯度累积/裁剪、EMA、分布式DDP、TensorBoard记录。
2026-05-05
模型保存与加载部署
SavedModel/HDF5、PyTorch state_dict、ONNX导出部署、TF Serving Docker。
2026-05-05
三、卷积神经网络（CNN）
CNN基础：卷积与池化
卷积运算/空洞卷积/转置卷积、池化、填充步长、感受野计算、权值共享。
2026-05-05
经典CNN架构（LeNet/AlexNet/VGG）
LeNet-5/AlexNet/VGG16架构详解、设计理念演进、PyTorch实现对比。
2026-05-05
ResNet与残差网络
退化问题、残差学习、BasicBlock/Bottleneck、ResNeXt/DenseNet变体。
2026-05-05
MobileNet与轻量级网络
深度可分离卷积、MobileNet V1/V2/V3、ShuffleNet、移动端部署。
2026-05-05
目标检测（Faster R-CNN/YOLO/SSD）
Anchor/IoU/NMS、两阶段Faster R-CNN、单阶段YOLO/SSD、损失函数GIoU/CIoU。
2026-05-05
图像分割（FCN/U-Net/Mask R-CNN）
FCN全卷积、U-Net跳跃连接语义分割、Mask R-CNN实例分割、mIoU评估。
2026-05-05
图像分类完整实战
数据集准备、数据增强、迁移学习微调、训练调优、混淆矩阵/Grad-CAM可视化。
2026-05-05
迁移学习与模型微调
预训练表示、特征提取、全模型微调/渐进解冻/区别学习率、PyTorch完整实现。
2026-05-05
四、循环神经网络与序列模型
RNN与序列建模
循环结构/隐藏状态、梯度消失问题、深层RNN/双向RNN、PyTorch nn.RNN。
2026-05-05
LSTM与GRU
遗忘门/输入门/输出门、GRU重置门/更新门、BiLSTM、PyTorch完整实现。
2026-05-05
Seq2Seq与注意力机制
编码器-解码器、Bahdanau/Luong注意力、Teacher Forcing、Beam Search束搜索。
2026-05-05
五、Transformer与预训练模型
Transformer原理详解
Self-Attention/Multi-Head、位置编码、FFN/LayerNorm、因果掩码、并行训练优势。
2026-05-05
大规模预训练模型
Scaling Laws、ZeRO/3D并行、QLoRA量化、LoRA微调、PagedAttention/vLLM推理、RAG应用。
2026-05-05
GPT与自回归语言模型
GPT-1/2/3演进、因果掩码、RLHF、解码策略Top-K/Top-P、Prompt Engineering。
2026-05-05
BERT与预训练语言模型
MLM/NSP预训练、WordPiece分词、微调策略、RoBERTa/DistilBERT、HuggingFace。
2026-05-05
Vision Transformer（ViT）
Patch Embedding、ViT vs CNN对比、Swin Transformer/DeiT/DINO、训练技巧。
2026-05-05
NLP中的Transformer应用
文本分类/NER/QA/文本摘要、机器翻译、HuggingFace Pipeline、模型部署。
2026-05-05
计算机视觉中的Transformer
DETR检测、Mask2Former分割、CLIP多模态、SAM分割模型、视频Transformer。
2026-05-05
六、生成模型
自编码器（Autoencoder）
编码器-解码器、欠完备/稀疏/去噪自编码器、异常检测/图像去噪应用。
2026-05-05
变分自编码器（VAE）
ELBO推导、重参数化技巧、β-VAE、VQ-VAE、条件VAE图像生成。
2026-05-05
生成对抗网络（GAN）
Minimax博弈、DCGAN/CGAN/StyleGAN/CycleGAN、模式崩溃、PyTorch完整实现。
2026-05-05
扩散模型（Diffusion Model）
DDPM前向/反向、DDIM加速、潜在扩散LDM/Stable Diffusion、PyTorch实现。
2026-05-05
七、训练技术与部署
数据增强技术
图像增强CutOut/MixUp/RandAugment、文本回译/EDA、音频SpecAugment、TTA测试时增强。
2026-05-05
混合精度训练与分布式训练
AMP/FP16、Loss Scaling、DDP/AllReduce、梯度累积、分布式Scaling Laws。
2026-05-05
超参数调优与实验追踪
Optuna/TPE/HyperBand、Ray Tune、MLflow实验记录、Weights & Biases。
2026-05-05
模型部署与推理优化
ONNX导出/ORT、TensorRT INT8量化、TFLite/CoreML移动端、Docker/K8s服务化。
2026-05-05
深度学习环境配置
CUDA/cuDNN安装、Docker nvidia-docker、conda环境、Jupyter远程配置。
2026-05-05
八、前沿方向
图神经网络（GNN）
GCN图卷积、GAT注意力、消息传递框架、PyTorch Geometric、节点/图分类。
2026-05-05
强化学习基础
MDP/Bellman方程、Q-Learning/DQN/PPO、Actor-Critic、策略梯度、PyTorch实现。
2026-05-05
自监督学习
SimCLR/MoCo对比学习、BYOL无负样本、MAE掩码自编码器、CLIP多模态。
2026-05-05
可解释AI与模型可视化
SHAP/LIME、Grad-CAM热力图、注意力可视化、特征重要性分析。
2026-05-05
深度学习知识体系总结与学习路径
全景地图、学习路径规划、经典论文必读、项目实战、调优调试指南。
2026-05-05