4 docs tagged with "llama"

RMSNorm (Root Mean Square Normalization) 可以被视为 LayerNorm (Layer Normalization) 的"简化版"或"加速版"。

在 Transformer 的架构演进中，位置编码（Positional Embedding）一直是核心话题。从最初的正弦位置编码（Sinusoidal），到可学习的绝对位置编码，再到如今 LLaMA、Mistral 等主流大模型标配的 RoPE (Rotary Positional Embedding)，我们一直在寻找一种更优雅的方式告诉模型"我是第几个字"。

1. 概述

适用对象: AI 研究员、大型模型工程师、深度学习开发者