XLM-RoBERTa
Definition
XLM-RoBERTa（跨语言语言模型 RoBERTa）是由 Meta AI 开发的大规模多语言模型。它通过在一个涵盖 100 多种语言的多样化数据集上进行预训练， …
NLP
零样本提示
Definition
零样本提示涉及直接通过文本提示要求预训练语言模型完成任务，而不提供任何少样本示例或进行额外的微调。该模型利用其在大规模数据上学习到的通用知识和指令遵循能力来生成响应， …
WordPiece
Definition
WordPiece 是一种广泛应用于 BERT 和 ALBERT 等自然语言处理模型的分词方法。它将单词分解为更小的子词单元，以应对形态学丰富性并减少词汇表大小，从而更好地处理未 …
毒性
Definition
AI中的毒性是指生成或传播不尊重他人、可能导致用户离开讨论或针对特定身份群体的内容。它涵盖了一个从轻微的不当言论到严重的仇恨言论和暴力威胁的光谱。在自然语言处理中，毒性通常被视为 …
毒性检测
Definition
毒性检测采用自然语言处理技术分析文本输入，并分配一个概率分数以指示有害内容的可能性。这些系统通常使用监督学习训练，基于标注好的数据集（如包含仇恨言论或骚扰的评论）来学习识别有毒模 …
文本生成
Definition
文本生成是自然语言处理中的一种基本应用范式，人工智能模型在此过程中创建新的文本内容。通过预测序列中下一个最可能的标记，模型能够连贯地生成文章、对话或代码等多样化文本形式。 …
文本分类
Definition
文本分类是一种监督学习任务，算法为无结构的文本数据分配预定义的类别。常用技术包括朴素贝叶斯、支持向量机和深度学习模型。
Summary
根据内容或语义含义将文本归类到不同组织组的 …
序列标注
Definition
序列标注涉及为给定输入序列中的每个标记预测分类标签，例如句子中的单词或字符串中的字符。常见的应用包括词性标注、命名实体识别和句法分块。
Summary
一种自然语言处理任务，为输 …
句子变换器
Definition
句子变换器是传统变换器模型（如BERT）的扩展，经过微调以产生整个句子的有意义稠密向量表示。与标准的基于标记的模型不同，它们直接输出句子级别的嵌入。
Summary
专门设计用于 …
句子相似度
Definition
句子相似度衡量两个不同句子之间的语义重叠程度。它超越了词汇匹配，旨在理解含义、上下文和意图。这通常通过计算向量之间的距离来实现。
Summary
一种量化两个句子在语义上相似程度 …
语义折叠
Definition
语义折叠是指将复杂的高维向量嵌入压缩为更易管理的低维表示的过程，且不会造成语义意义的显著丢失。
Summary
一种将高维语义表示映射到低维空间同时保留关系结构的技术。
Key …
语义分析
Definition
它超越了句法结构，旨在解释语言输入的实际意图和重要性。这包括根据上下文消除词义歧义、识别实体以及理解
Summary
语义分析是通过理解自然语言处理中单词之间及其上下文的关系统， …
Qwen3.5
Definition
Qwen3.5 代表由阿里云开发的 Qwen 谱系中的特定发布版本。这一迭代通常建立在先前版本的基础上，通过改进逻辑推理能力、编程熟练度和自然语言理解来增强模型性能，旨在提供更准 …
通义千问
Definition
通义千问代表了由阿里巴巴集团旗下通义实验室创建的一系列先进大语言模型。它涵盖了针对不同任务优化的各个版本，包括自然语言理解、代码生成、数学计算及视觉分析等能力。
Summary
…
Pythia
Definition
Pythia 是由 EleutherAI 创建的一系列开源大型语言模型（LLM），旨在促进对神经网络可解释性和行为的研究。该套件包括模
Summary
Pythia …
OpenAI的产品与应用
Definition
该术语涵盖了领先的人工智能研究实验室OpenAI创建的商业和研究产品。主要提供包括生成式预训练Transformer（GPT）系列模型用于自然语言处理，DALL-E用于图像生成， …
教学智能体
Definition
教学智能体是一种软件组件，通常表现为虚拟角色，在教育环境中充当教师或导师。这些智能体利用自然语言处理
Summary
旨在通过提供指导、反馈和引导来促进学习的人工智能实体。 …
文本改写
Definition
在自然语言处理中，文本改写涉及为给定的输入文本生成替代表达，同时保留其原始语义含义。这对于减少抄袭、增强数据多样性以及提高内容可读性至关重要，通常依赖于预训练的语言模型来实现高质 …
P-Tuning
Definition
P-Tuning（提示微调）是一种旨在以最低计算成本将大型预训练语言模型适配到特定下游任务的技术。与微调所有模型参数不同，P-Tuning 仅优化少量可学习的提示向量，同时保持预 …
光学字符识别
Definition
光学字符识别（OCR）利用图像处理与模式识别算法来识别数字图像中的文本。它将打印或手写的字符转换为机器编码的数据，从而实现信息的数字化提取。
Summary
OCR 是一项将扫描 …
母语识别
Definition
母语识别（NLI）是自然语言处理的一个子领域，专注于识别说话者学习的第一语言。与一般的语言检测不同，NLI 分析说话者在发音、语法结构和词汇选择上无意识的母语特征。 …
多语言
Definition
多语言模型旨在无需为每种语言单独构建模型的情况下处理多样化的语言输入。这些系统通常利用共享的词嵌入或跨语言对齐技术，以实现不同语言间的知识迁移和统一处理。
Summary
AI中 …
掩码生成
Definition
掩码生成涉及产生空间或时间掩码，以确定在特定操作期间数据集的哪些元素是可见或激活的。在计算机视觉中，它用于对象分割、图像修复等任务；在自然语言处理中，则用于控制注意力机制。 …
机器学习与知识提取
Definition
该领域将机器学习技术与自然语言处理和数据挖掘相结合，旨在将原始数据转化为可操作的知识。它涉及训练模型以识别实体、关系等关键要素，从而从复杂的数据中提取有价值的洞察。 …
Lyra
Definition
在现代AI术语的背景下，Lyra通常指专注于通过自然语言处理增强用户交互的专用AI系统。它可能指代一个开源的大型语言模型开发
Summary
Lyra 指代各种人工智能倡议或模 …
MAUVE
Definition
MAUVE 是一种统计度量，旨在评估生成语言模型的输出在多大程度上类似于人类语言使用习惯。与简单的困惑度分数不同，MAUVE 使用虚拟嵌入
Summary
MAUVE（基于虚拟嵌 …
长上下文
Definition
长上下文指的是基于 Transformer 的模型处理极长输入长度的能力，通常超过标准的 2k 或 4k 标记限制。这种能力使模型能够分析完整的文档、代码库或长文本，保持全局一致 …
语言/行动视角
Definition
植根于言语行为理论和语用学，这一视角强调话语如何执行请求、承诺或命令等功能。在自然语言处理中，它指导了意图理解和对话生成的设计。
Summary
一种理论框架，主要将语言视为一种 …
大模型作为裁判
Definition
“大模型作为裁判”（LLM-as-a-Judge）是一种评估范式，其中大语言模型充当其他模型输出质量的自动化评估者。这种方法旨在减少对人工标注员或严格规则匹配的依赖，通过提示工程 …
知识图谱嵌入
Definition
知识图谱嵌入方法（如 TransE 或 DistMult）将离散的图结构转换为低维稠密向量。这使得机器学习模型能够执行数学运算，从而进行链接预测等任务。
Summary
一种将知 …
智能文字识别
Definition
智能文字识别是指由神经网络驱动的高级光学字符识别（OCR）技术。它超越了简单的模式匹配，通过理解上下文并处理n
Summary
利用人工智能算法（特别是深度学习）准确识别和解读来 …
GPT-2
Definition
生成式预训练 Transformer 2（GPT-2）是一个自回归语言模型，它利用 Transformer 架构来生成类人文本。它在海量的互联网文本数据集上进行了训练。 …
GPT-5.6
Definition
GPT-5.6指的是OpenAI大型语言模型谱系中一个推测性的或即将推出的版本。虽然具体细节可能因开发时间线的不同而有所差异，但此类迭代通常体现了技术的进一步演进。 …
掩码填充
Definition
掩码填充是 BERT 等基于 Transformer 模型中使用的一种基本预训练目标。该过程涉及掩盖文本序列中的随机标记，并训练模型预测被掩盖的原始标记，从而学习语言的深层语义表 …
ExBERT
Definition
ExBERT通过分析不同层中单个注意力头的重要性，为BERT Transformer模型提供可解释性。它使用基于梯度的归因或其他技术来量化每个组件对最终预测的贡献，从而帮助理解模 …
ELMo
Definition
ELMo通过将输入文本通过在大型语料库上训练的双向LSTM进行处理，生成上下文敏感的词嵌入。与Word2Vec等静态嵌入不同，ELMo通过产生不同的向量表示来捕捉一词多义现象。 …
文档分类
Definition
文档分类是一项基本的自然语言处理任务，算法在此过程中为无结构文本数据分配标签。它涉及从文档中提取特征，并将它们映射到特定的类别中。
Summary
根据内容将文本文档归类到预定义 …
数据集：TriviaQA
Definition
TriviaQA 是一个专为开放域问答设计的数据集，包含超过一百万个问题及其对应的答案。该数据集旨在通过要求模型进行多步推理和知识整合来挑战现有模型的性能。
Summary
一个 …
数据集：WikiHow
Definition
WikiHow 数据集包含从 WikiHow 网站收集的约 60,000 篇操作指南文章。它广泛应用于自然语言处理研究中，用于抽象式文本摘要、步骤提取等任务。
Summary
一 …
数据集：Wikipedia
Definition
维基百科是可用文本格式的人类知识最大且最全面的集合之一。在人工智能领域，它是预训练大型语言模型的主要来源，提供了丰富的语言模式和事实知识。
Summary
来自维基百科的海量文本 …
数据集：Yahoo Answers Topics
Definition
Yahoo Answers Topics 数据集是更大的雅虎问答档案的子集，专注于组织成不同主题类别的问题和答案。它常用于文本分类、语义相似性分析和非正式语言模式研究。 …
数据集：S2ORC
Definition
S2ORC 是从 Semantic Scholar 派生的学术文章综合语料库。它包括数百万篇跨各个科学领域的论文的全文本内容、元数据和引用关系。
Summary
Semantic …
数据集：嵌入数据/Altlex
Definition
Altlex 数据集由共享相同底层含义但使用不同词汇或句法结构的句子对组成。它主要用于训练嵌入模型，以捕捉语义上的等价关系。
Summary
包含用于训练模型进行语义等价和同义句 …
数据集：嵌入数据/QQP
Definition
Quora 问题对（QQP）是一个二元分类数据集，包含来自 Quora 平台的超过 40 万个问题对。其任务是确定两个问题是否具有相同的意图或含义。
Summary
Quora …
数据集：嵌入数据/句子压缩
Definition
句子压缩数据集由成对的句子组成，其中目标句子是源句子的缩短版本，在去除冗余信息的同时保留核心含义。这些数据集常用于训练能够理解信息密度的模型。
Summary
包含原始句子及其压 …
数据集：BookCorpus
Definition
BookCorpus 是从互联网上爬取的来自 10,000 多本未出版书籍的文本集合。它是训练和评估自然语言处理（NLP）模型的基础资源。
Summary …
条件随机场
Definition
条件随机场（CRF）是一类判别式模型，常用于自然语言处理和生物信息学。与生成模型不同，CRF直接对给定输入序列下标签序列的条件概率进行建模。
Summary
条件随机场是一种判别 …
计算幽默
Definition
计算幽默研究机器如何产生或解读笑话、双关语和机智言论。它通常依赖自然语言处理来检测不协调、语义转换或未预期的结果。
Summary
专注于通过计算方法生成、理解和欣赏幽默内容 …
常识知识
Definition
常识知识指的是人类自然获得的关于日常生活、物理学、社会规范和因果关系的庞大隐性信息库。在人工智能领域，获取这种知识是实现真正智能的关键挑战，因为机器往往难以像人类一样理解隐含的情 …
字符计算
Definition
这一概念侧重于文本操作，其中计算的基本单位是单个字符。它通常用于需要细粒度文本分析的任务，例如拼写检查。
Summary
字符计算涉及在单个字符层面而非单词或句子层面处理、生成或 …
Bloom
Definition
虽然历史上指本杰明·布鲁姆的教育分类法，但在现代人工智能语境中，它通常指由BigScience开发的Bloom文本嵌入模型。该模型生成高质量的……
Summary
在机器学习 …
BERT
Definition
BERT（Bidirectional Encoder Representations from Transformers）是由Google开发的一种基于Transformer的机 …
词袋模型
Definition
这种自然语言处理技术将文本表示为单词的多重集， disregarding 句法和序列。它根据词频或存在性将文档转换为数值向量。
Summary
词袋模型是一种简化的文本表示方法， …
自动化医疗文书录入员
Definition
自动化医疗文书录入员利用自然语言处理和语音识别技术，聆听医生与患者的对话，并创建结构化的电子健康记录。该技术旨在减轻医护人员的行政负担，提高数据记录的准确性和效率。 …
ASR-complete
Definition
术语“ASR-complete”表示自动语音识别系统在特定且定义明确的任务和数据集上，其性能已达到与人类转录员相当的水平。这是一个重要的里程碑，标志着系统在特定领域内的识别精度已 …
视觉语言模型
Definition
视觉语言模型通常被称为多模态大语言模型（MLLMs），它们整合了计算机视觉和自然语言处理技术。这些模型使AI能够理解图像并生成相应的文本描述或回答。
Summary
视觉语言模型 …
Translation
Definition
AI中的翻译指的是神经机器翻译，其中深度学习模型映射语言之间的语义表示。与基于规则的系统不同，现代方法学习上下文细微差别
Summary
将文本从源自然语言转换为目标自然语言，同 …
文本摘要
Definition
文本摘要将大量文本缩减为较短版本，而不丢失核心含义。它可以是抽取式的，即从源文本中选择重要句子；也可以是抽象式的，即生成新的概括性语句。
Summary
一项自然语言处理任务，生 …
语义搜索
Definition
语义搜索解释查询背后的意图和上下文含义，超越了简单的关键词匹配。它使用嵌入将文本表示为高维空间中的向量，从而允许…
Summary
一种理解查询词含义而非仅匹配关键 …
位置编码
Definition
由于 Transformer 并行处理所有令牌，而不是像循环神经网络（RNN）那样按顺序处理，因此它缺乏对令牌顺序的固有认知。位置编码通过向输入嵌入添加特定的向量来保留这种顺序信 …
问答
Definition
问答（QA）涉及从给定上下文或知识库中检索或生成对用户查询的准确响应。它包括依赖特定文档的封闭领域问答，以及基于通用知识的开放领域问答。
Summary
一项自然语言处理任务，系 …
命名实体识别
Definition
命名实体识别（NER）是信息抽取的一个子任务，用于在文本中定位并将命名实体分类为预定义的类别，如人名、组织机构名、地名、医疗术语等。
Summary
一项自然语言处理任务，旨在将 …
Embedding Model
Definition
这些模型将高维数据映射到低维连续向量空间中，其中相似的项目彼此靠得更近。这种转换捕捉了语义关系，使得…（原文截断）
Summary
嵌入模型将文本或图像等原始数据转 …
解码器
Definition
在序列到序列（Seq2Seq）模型中，解码器接收由编码器生成的上下文向量，并逐步生成目标输出。它利用注意力机制来关注输入序列的相关部分，从而准确预测下一个输出元素。 …
字节对编码 (BPE)
Definition
字节对编码（BPE）是一种数据压缩技术，经过调整后应用于自然语言处理中，以处理未登录词（Out-of-Vocabulary）。它从单个字符的词汇表开始，并迭代地合并最频繁出现的字 …
自监督
Definition
自监督学习是机器学习的一个子集，其监督信号自动从数据本身派生，消除了手动标注的需求。模型通常通过解决预设的代理任务来学习数据的内在结构和表示。
Summary
自监督学习是一种技 …
少样本
Definition
少样本学习使机器学习模型能够从极其有限的数据中进行泛化，通常每个类别仅需一到十个示例。与需要数千个示例的传统监督学习不同，少样本学习利用预训练模型中提取的通用特征，使其能够在新任 …
Transformer
Definition
Transformer架构在《Attention Is All You Need》论文中被提出，彻底革新了自然语言处理及更多领域。它使用多头自注意力机制来权衡输入序列中不同部分的 …
词元
Definition
Summary
词元是文本或数据的离散单元，作为自然语言处理模型的基本输入元素。
Key Concepts
- 离散单元
- 词汇表
- 嵌入
- 上下文窗口
Use Cases
- LLM中 …
分词
Definition
分词是自然语言处理（NLP）中的关键预处理步骤，它将非结构化文本转换为适合模型输入的结构化数据。该过程涉及将句子分解为更小的单元，如单词、子词或字符，以便模型能够有效理解语义。 …
语义
Definition
AI中的语义分析侧重于理解输入的底层含义，而不仅仅是其表面模式。这涉及将单词或符号映射到概念，捕捉关系等。
Summary
与语言或数据中的意义相关，区别于句法结构或形式。 …
提示词
Definition
提示词是与大型语言模型及其他生成式AI系统进行交互的主要接口。它定义了模型输出的上下文、语气和约束。有效的提示……
Summary
提供给生成式AI模型的输入文本或指令，以引发特 …
帖子
Definition
在数字通信和AI数据语境中，“帖子”指在线分享的离散内容单元。它是训练自然语言处理模型、情感分析以及理解用户交互模式的主要数据来源。
Summary
发布的内容片段，通常位于博 …
预训练
Definition
预训练是深度学习中的一种基础技术，模型从海量数据中学习广泛的特征和模式，通常无需标签。这一过程使模型能够发展出通用的知识表示，从而在后续针对特定下游任务进行微调时，仅需少量数据即 …
自然语言处理
Definition
自然语言处理（NLP）是人工智能的一个子领域，它将计算语言学与统计、机器学习和深度学习模型相结合。它使机器能够
Summary
人工智能的一个分支，专注于使计算机能够理解、解释和 …
多头注意力
Definition
多头注意力通过并行运行多次标准注意力机制（使用不同的学习到的线性投影）来扩展标准注意力机制。这使得模型能够联合关注来自不同位置的不同表示子空间的信息。
Summary …
长上下文
Definition
在人工智能语境中，“长”通常描述处理大量输入的能力，如长文档或冗长的视频流。对于大语言模型而言，这涉及管理长上下文窗口，以保持对完整输入的理解和一致性。
Summary
通常指扩 …
大语言模型
Definition
大语言模型（LLM）是基于Transformer架构的高级人工智能系统，在包含大量文本和代码的数据集上进行训练。它们学习语言中的统计模式，
Summary
一种在海量文本语料库上 …
代替 / 反而
Definition
虽然 ‘instead’ 不是一个技术性的 AI 算法术语，但在提示工程（Prompt Engineering）和自然语言理解中至关重要。它指示子句之间的 …
分层
Definition
分层AI系统将信息或控制组织成嵌套层的树状结构。在强化学习中，分层强化学习（Hierarchical RL）将复杂任务分解为由高层管理的子目标…
Summary
指 …
生成
Definition
在人工智能中，生成是指模型（特别是生成对抗网络 GAN 和基于 Transformer 的大语言模型）产生文本、图像等新颖内容的能力。
Summary
生成式模型创建与训练分布相 …
上下文
Definition
在自然语言处理中，上下文对于消除歧义至关重要，例如根据前文理解代词或习语。现代架构（如Transformer）利用注意力机制来捕捉长距离依赖关系，从而更好地处理上下文信息。 …
嵌入
Definition
嵌入是数据的稠密向量表示，其中语义关系在几何空间中得以保留。通过将分类或高维输入转换为固定长度的向量，模型能够捕捉数据背后的深层含义。
Summary
一种将单词或图像等离散对象 …
注意力机制
Definition
注意力机制使模型能够动态地权衡输入序列中不同元素的重要性。与平等对待所有输入数据不同，它会根据上下文分配不同的权重，从而让模型聚焦于最相关的信息部分，显著提升了对长序列数据的处理 …