Skip to main content

5 docs tagged with "pytorch"

View all tags

PyTorch Loss 函数详解

本文详细介绍 PyTorch 中常用的各类 Loss 函数，包括数学原理、代码实现和避坑指南。

PyTorch 文件格式详解

.pt、.pth 和 .safetensors 是深度学习中最常见的模型文件格式。它们代表的技术路线和安全级别完全不同。

深度解析：ReLU 与 GELU 的全面对比

摘要： 本文档详细剖析了深度学习中两代核心激活函数——Rectified Linear Unit (ReLU) 与 Gaussian Error Linear Unit (GELU) 的异同。我们将从数学定义、概率解释、优化特性及误区澄清四个维度，解释为何 GELU 成为现代大模型（如 BERT, GPT, ViT）的首选。