7 docs tagged with "NLP"

N-gram 是自然语言处理（NLP）和概率论中一个非常经典且基础的概念。简单来说，它是指文本序列中 N 个连续的项（通常是词或字符） 组成的序列。

这是一份完整的 Transformer 架构代码笔记，整合了从底层的多头注意力（QKV）到中间的编码器/解码器块，再到整体架构和掩码机制的所有核心概念。本文包含极其详尽的中文注释，帮助你深入理解 Transformer 的工作原理。

Word2Vec 是自然语言处理（NLP）领域中一个里程碑式的技术。简单来说，它是一种让计算机理解词语含义，并把词语转换成数字向量（Word Embeddings）的工具。

核心问题

核心概念

隐马尔可夫模型 (Hidden Markov Model, HMM) 是马尔可夫链的扩展，它在普通马尔可夫链的基础上增加了一个关键概念：隐藏状态。

马尔可夫链 (Markov Chain) 是概率论和数理统计中一个非常核心的模型。它以俄罗斯数学家安德雷·马尔可夫（Andrey Markov）的名字命名。