自然语言处理

📄️ N-gram

N-gram 是自然语言处理（NLP）和概率论中一个非常经典且基础的概念。简单来说，它是指文本序列中 N 个连续的项（通常是词或字符）组成的序列。

马尔可夫链 (Markov Chain) 是概率论和数理统计中一个非常核心的模型。它以俄罗斯数学家安德雷·马尔可夫（Andrey Markov）的名字命名。

隐马尔可夫模型 (Hidden Markov Model, HMM) 是马尔可夫链的扩展，它在普通马尔可夫链的基础上增加了一个关键概念：隐藏状态。

什么是 ChatML

在这个大模型盛行的时代，我们常常听到人们惊叹于 ChatGPT 或 Claude 突然"学会"了某种复杂的推理能力。这种能力的获得，往往不是线性的、循序渐进的，而是突然发生的。

一、核心概念

BPE

核心概念

核心问题

Word2Vec 是自然语言处理（NLP）领域中一个里程碑式的技术。简单来说，它是一种让计算机理解词语含义，并把词语转换成数字向量（Word Embeddings）的工具。