Definition
La latencia mide la capacidad de respuesta de un servicio de IA, expresada típicamente en milisegundos. Incluye el tiempo de inferencia, los retrasos en la transmisión de red y la sobrecarga de procesamiento. Una baja latencia es crítica para aplicaciones en tiempo real donde la interacción inmediata es esencial para la experiencia del usuario.
Summary
El retraso de tiempo entre el inicio de una solicitud y el comienzo de la respuesta en un sistema de IA.
Key Concepts
- Tiempo de Inferencia
- Tiempo de Respuesta
- Procesamiento en Tiempo Real
- Optimización
Use Cases
- Sistemas de reconocimiento de voz
- Control de vehículos autónomos
- Servicios de traducción en vivo