AI术语词典

Definition

Summary

词元是文本或数据的离散单元，作为自然语言处理模型的基本输入元素。

Key Concepts

• 离散单元
• 词汇表
• 嵌入
• 上下文窗口

Use Cases

• LLM中的文本生成
• 机器翻译预处理
• 情感分析输入格式化

Related Terms

• Tokenization (分词)
• Embedding (嵌入)
• Vocabulary (词汇表)
• Subword (子词)