Definition
多模态表示学习涉及训练模型以处理和整合来自不同类型数据源(如文本、图像、音频和视频)的信息,将其映射到共享的潜在空间中。
Summary
一种同时从多个数据模态中学习统一特征表示的技术。
Key Concepts
- 跨模态对齐
- 共享潜在空间
- 特征融合
- 模态特定编码器
Use Cases
- 图像描述生成
- 视频检索
- 视觉问答
A comprehensive multilingual AI terminology dictionary
多模态表示学习涉及训练模型以处理和整合来自不同类型数据源(如文本、图像、音频和视频)的信息,将其映射到共享的潜在空间中。
一种同时从多个数据模态中学习统一特征表示的技术。