📄️ 激活函数
第一代：经典饱和型 (Saturated)
📄️ 深度解析：ReLU 与 GELU 的全面对比
摘要： 本文档详细剖析了深度学习中两代核心激活函数——Rectified Linear Unit (ReLU) 与 Gaussian Error Linear Unit (GELU) 的异同。我们将从数学定义、概率解释、优化特性及误区澄清四个维度，解释为何 GELU 成为现代大模型（如 BERT, GPT, ViT）的首选。
📄️ PyTorch: cat vs stack 张量拼接
核心区别
📄️ PyTorch 常见错误与陷阱
梯度更新：in-place 操作 vs 重新赋值
📄️ CPU 加速效果
核心结论
📄️ CPU-GPU 异步执行
核心概念
📄️ 文件格式 (.pt/.pth/.safetensors)
.pt、.pth 和 .safetensors 是深度学习中最常见的模型文件格式。它们代表的技术路线和安全级别完全不同。
📄️ PyTorch
torch在英文中是火炬的意思。
📄️ torch.compile
什么是 torch.compile？
📄️ PyTorch: view vs reshape 与连续性
1. 什么是连续性（Contiguous）