Unsloth
Definition
Unsloth 是一款专为优化大语言模型（LLM）的微调和部署而设计的工具。它通过替换标准的 PyTorch 操作，实现了显著的速度提升和内存占用减少。
LLM
Token最大化
Definition
Token最大化涉及精心构造输入内容，以充分利用模型的上下文窗口容量，或通过优化Token的语义密度来提升性能。实践者可能会填充无关文本以占满上下文空间（Padding），或者极 …
自洽性
Definition
该技术主要用于大型语言模型（LLM），通过采样生成针对同一提示的多个多样化响应来提高准确性。与依赖贪婪解码不同，它聚合
Summary
自洽性是一种解码策略，其中采样多个推理路 …
反思
Definition
在人工智能中，反思是一种范式，模型在最终确定输出之前会暂停并评估其生成过程或输出结果。这可能涉及检查逻辑一致性、事实准确性或遵循特定约束。
Summary
一种机制，允许AI模型 …
推理模型
Definition
与专注于流畅性的标准生成模型不同，推理模型优先考虑数学、编码和逻辑谜题等多步骤任务的准确性。它们通常采用思维链 (Chain-of-Thought) 等技术来增强逻辑推理能力。 …
Pythia
Definition
Pythia 是由 EleutherAI 创建的一系列开源大型语言模型（LLM），旨在促进对神经网络可解释性和行为的研究。该套件包括模
Summary
Pythia …
提示微调
Definition
提示微调涉及在预训练语言模型的输入层添加可训练的软提示（连续向量），同时保持底层模型参数冻结。这种方法允许在几乎不增加计算成本的情况下，使模型适应特定任务或领域，特别适用于资源受 …
Phi
Definition
Phi（基于教学学习范式的基座模型）是微软创建的一系列紧凑型大型语言模型家族。与传统在海量网络语料上训练的LLM不同，Phi主要通过合成数据进行训练，旨在以更小的参数量实现更高的 …
神经缩放定律
Definition
神经缩放定律描述了模型性能与其规模（包括数据集大小、参数量和计算预算）之间的可预测的幂律关系。这些定律表明，随着规模的扩大，模型性能会按特定规律提升。
Summary
基于数据、 …
Mistral
Definition
Mistral指的是由法国初创公司Mistral AI创建的强大开源权重LLM系列。像Mistral 7B和Mistral Large这样的模型利用了先进的滑动窗口注意力机制等技 …
虚假信息
Definition
虚假信息是指在没有故意造成伤害或欺骗意图的情况下分享的错误或误导性信息。它与蓄意捏造的“恶意谣言”（disinformation）不同。在人工智能语境下
Summary
无论是否 …
Llama 2
Definition
Llama 2 由 Meta AI 于 2023 年 7 月发布，代表了开源权重大型语言模型的显著进化。它提供了从 70 亿到 700 亿参数的预训练和微调变体，
Summary …
Llama 3
Definition
Llama 3 于 2024 年 4 月推出，建立在 Llama 2 的成功之上，在性能和能力方面有了实质性提升。该模型系列包括 80 亿和 700 亿参数的版本， …
Llama 3.1
Definition
Llama 3.1 于 2024 年 8 月发布，将 Llama 家族扩展至包含一个庞大的 4050 亿参数模型以及较小的 80 亿和 700 亿变体。其突出特点是扩展的上下文窗 …
Llama
Definition
Llama（Large Language Model Meta AI）是 Meta 发布的一系列基础大型语言模型。与许多专有模型不同，Llama 模型通常以开放权重的形式发布，允 …
Kimi K2
Definition
Kimi K2 代表了月之暗面大型语言模型系列的一次重大迭代。其特点在于增强了复杂逻辑推理和数学问题解决能力。
Summary
Kimi K2 是由月之暗面（Moonshot …
Kimi K25
Definition
Kimi K25 是月之暗面 Kimi 模型家族中的一个先进迭代版本。它在 Kimi K2 等先前版本的基础上，提供了推理速度等方面的改进。
Summary
Kimi K25 是 …
指令遵循
Definition
指令遵循是指大型语言模型及其他AI系统理解细微的人类指令并在提示词中遵守明确约束的能力。这一范式转变
Summary
AI模型准确解释并执行特定人类命令或约束的能力。
Key …
护栏
Definition
护栏指的是一组集成在人工智能应用（特别是大型语言模型）中的软件控制和策略执行层，以确保安全且合规的行为。它们充当过滤器，拦截不当输入并规范输出结果，从而降低风险。
Summary …
GLM
Definition
在统计建模中，GLM 代表广义线性模型（Generalized Linear Models），它将线性回归扩展到允许响应变量具有正态分布以外的误差分布模型。在人工智能领域，GLM …
GLM MoE DSA
Definition
不存在单一的标准术语“GLM MoE DSA”。然而，它很可能结合了 GLM（一种特定的大型语言模型架构）、MoE（混合专家，一种通过仅激活部分专家来高效扩展模型规模的技术） …
GPT-5.6
Definition
GPT-5.6指的是OpenAI大型语言模型谱系中一个推测性的或即将推出的版本。虽然具体细节可能因开发时间线的不同而有所差异，但此类迭代通常体现了技术的进一步演进。 …
Falcon
Definition
Falcon指的是由技术创新研究所（TII）创建的一系列强大大型语言模型（LLM）。这些模型（如Falcon-40B和Falcon-180B）旨在与专有模型竞争。
Summary …
Eagle
Definition
Eagle代表了在大语言模型领域内的一种特定架构和工程框架，主要侧重于训练效率和可扩展性的优化。它通过改进底层实现和分布式策略，帮助研究人员和企业更快速地训练和部署大规模语言模 …
DeepSeek
Definition
DeepSeek指的是由深度求索公司创建的人工智能模型家族。这些模型旨在处理复杂的自然语言处理任务，包括代码生成、逻辑推理和多轮对话，并在开源社区中提供了高权重的模型版本供开发者 …
数据集：Tiiuae/Falcon Refinedweb
Definition
RefinedWeb 是一个经过过滤的网页大规模数据集，专为预训练基础模型而设计。它处理数十亿个网页，以去除低质量内容、重复项和有害材料。
Summary
由技术创新研究 …
Token Limit
Definition
令牌限制定义了大型语言模型的上下文窗口大小约束，限制了同时可以分析或生成的文本量。这一架构边界影响内存管理、
Summary
AI模型在单个输入或输出序列中可处理的最大令牌数量。 …
监督微调
Definition
监督微调（SFT）涉及采用大型预训练模型（如语言模型），并在较小的高质量、针对特定下游任务标注的数据集上继续训练该模型。
Summary
在特定数据集上进一步训练预训练模型，使其 …
提示注入
Definition
提示注入利用大语言模型解释用户指令的方式，通过在输入文本中嵌入隐藏或冲突的指令来 exploit 这一特性。这可能导致模型忽略其原始的系统设定或安全限制。
Summary
一种对 …
函数调用
Definition
函数调用使大型语言模型能够通过生成指定执行哪个函数及其参数的结构化输出（如 JSON 对象）来与外部工具和 API 进行交互。
Summary
一种允许大语言模型输出结构化数据以 …
少样本提示
Definition
这种方法利用大型语言模型的上下文学习能力，直接在提示词中提供几个说明性示例。与需要更新模型权重的微调不同，少样本提示通过展示期望的输出格式或逻辑，让模型在不重新训练的情况下适应新 …
零样本
Definition
零样本学习使模型能够泛化到新的类别或任务，而这些类别或任务在初始训练阶段没有提供标记的训练数据。这通常是通过利用语义嵌入或预训练知识来实现的。
Summary
在没有先前训练示例 …
后训练
Definition
后训练是机器学习生命周期中的一个关键阶段，发生在模型基于大规模通用数据进行初始预训练之后。在此阶段，模型会经历进一步的调整和优化，以更好地服务于特定应用场景。
Summary
后 …
指令微调
Definition
这一过程弥合了通用预训练与特定任务表现之间的差距。通过让模型接触多样化的指令-响应对，它学会了泛化到未见过的任务，而无需针对每个新任务进行额外的调整（注：原文截断，此处补全语 …
思维链
Definition
思维链（Chain-of-Thought, CoT）提示是一种策略，引导大型语言模型在得出最终答案之前，逐步生成推理解释。通过将复杂问题分解为中间步骤，这种方法显著提高了模型在处 …
提示工程
Definition
提示工程涉及制作特定的输入（即提示），以从生成式 AI 模型中获取准确、相关且高质量的响应。它要求理解模型如何解释指令、上下文及约束条件，从而通过调整提示词的结构和措辞来最大化模 …