Tema
Serving de LLMs
Servir el modelo uno mismo: vLLM, batching, presupuestos de throughput y latencia, y la aritmética detrás de las sorpresas.
1 artículo · ← todos los artículos
Temperatura cero no es determinista
Mismo prompt, mismo modelo, respuesta distinta. El mecanismo del no determinismo, la aritmética que mata los pilotos de agentes y qué hacer al respecto.