Phase 19: Capstone Projects

Capstone 14 Servidor de inferencia de descodación especulativa

Type: Capstone

Languages: Python (serving), C++ / CUDA (kernel inspection), YAML (configs)

Prerequisites: Phase 3 (deep learning), Phase 7 (transformers), Phase 10 (LLMs from scratch), Phase 17 (infrastructure)

Phases exercised:P3 · P7 · P10 · P17

Time: 30 hours

El problema

La descifrado especulativo se convirtió en una mercancía en 2026. EAGLE-3 los jefes de proyección entrenan en los estados ocultos del modelo objetivo y predicen N tokens hacia adelante; el modelo objetivo se verifica en un solo pase. Las tasas de aceptación del 60-80% se traducen en 2-3 veces el rendimiento de extremo a extremo. vLLM 0.7 integra esto de forma nativa. SGLang + SpecForge le proporciona la línea de entrenamiento. Red Hat's Speculators publica proyectos alineados para Llama 3.3 70B, Qwen3-Coder-30B MoE, GPT-OSS-120B.

La nave está en las operaciones de servicio, no el modelo. La tasa de aceptación deriva con la distribución del tráfico (ShareGPT vs código vs datos de dominio). La latencia de cola bajo rechazo es peor que sin especulación debe reportar p99 en múltiples tamaños de lotes, no solo tokens de estado estacionario / segundo. El costo por 1M tokens vs Anthropic / OpenAI API es la palanca de credibilidad.

Concepto

La descifrado especulativo tiene dos capas.draftEl modelo (capítulo de la aguja-3, ngram o modelo más pequeño alineado con el objetivo) propone k tokens candidatos por paso.targetEl modelo verifica todos los k en un solo paso; cualquier prefijo aceptado reemplaza el camino codicioso.

EAGLE-3 supera los proyectos ngram en la mayoría del tráfico. P-EAGLE realiza especulaciones paralelas para los proyectos más profundos. La compensación: la latencia P99 en el rechazo es mayor porque el pase de verificación es mayor. La configuración de servicio debe informar la latencia de tamaño de lote para supervivir esto.

La implementación es Kubernetes. vLLM 0.7 ejecuta una réplica por GPU o fragmento paralelo tensor. HPA autoscales en fila de espera en lugar de CPU. FP8 (Marlin) e INT4 (AWQ) cuantes mantienen la memoria de GPU dentro de un envase H100 / H200. El informe de extremo a extremo es rendimiento, tasa de aceptación, p50/p99 en lote 1/8/32, y tokens de $/1M.

Arquitectura

Copyrequest ingress
    |
    v
vLLM server (0.7) or SGLang (0.4)
    |
    +-- draft: EAGLE-3 heads | P-EAGLE parallel | ngram fallback
    +-- target: Llama 3.3 70B | Qwen3-Coder-30B | GPT-OSS-120B
    |     quantized FP8-Marlin or INT4-AWQ
    |
    v
verify pass: batch k draft tokens through target
    |
    v (accept prefix; resample for rejected suffix)
    v
token stream back to client
    |
    v
Prometheus metrics: throughput, acceptance rate, queue wait, latency p50/p99
    |
    v
HPA on queue-wait metric

El establo

• Servidores: vLLM 0,7 o SGLang 0,4
• Métodos especulativos: cabezas de proyecto EAGLE-3, especulación paralela P-EAGLE, regreso de gramos
• Formación de proyectos: SpecForge (SGLang) o Red Hat Speculators
• Modelos objetivo: Llama 3.3 70B, Qwen3-Coder-30B MoE, GPT-OSS-120B
• Cuantificación: FP8 (Marlin), INT4 AWQ
• Despliegue: Kubernetes + NVIDIA dispositivo de complemento; HPA en la métrica de espera de cola
• Eval: ShareGPT, MT-Bench-v2, GSM8K, HumanEval para la medición de aceptación de dominio
• Referencia: Descodage especulativo TensorRT-LLM para una línea de base del proveedor

Construye el mismo

1. Target model prep.Seleccione Llama 3.3 70B. Cuantice a FP8 a través de Marlin. Despliegue bajo vLLM 0.7 en 1xH100 (o 2x tensor paralelo).

1. Draft source.Extraer un eje de proyecto de EAGLE-3 alineado de Red Hat Speculators (o entrenar uno a través de SpecForge). Cargar en la configuración de decodificación especulativa de vLLM.

1. Baseline numbers.Antes de la especulación: tokens/s en lote 1/8/32, p50/p99 latencia, utilización de GPU.

1. Enable EAGLE-3.Configuración de cambio; repite el mismo índice de referencia. Raporte de aceleración, tasa de aceptación, delta de latencia de cola p99.

1. P-EAGLE.Habilitar especulación paralela; medir árbol de proyección más profundo vs. EAGLE-3 en serie. Informar la inflexión donde P-EAGLE ayuda vs. duele.

1. Domain traffic.Ejecutar ShareGPT vs HumanEval vs tráfico específico de dominio a través del mismo servidor. Medir la tasa de aceptación por distribución. Identificar cuando los borrados se deriva.

1. Second target model.Ejecutar la misma tubería en Qwen3-Coder-30B MoE. El borrador es más complicado (ruido de enrutamiento de MoE).

1. K8s HPA.Despliegue bajo K8s con seguimiento de HPA queue_wait_ms- Demostrar escalabilidad cuando la carga se triplica.

1. Cost comparison.Compute $ 1M tokens vs. Antropic Claude Sonnet 4.7 y OpenAI GPT-5.4 en la misma evaluación.

Usalo

Copy$ curl https://infer.example.com/v1/chat/completions -d '{"messages":[...]}'
[serve]     vLLM 0.7, Llama 3.3 70B FP8, EAGLE-3 active
[decode]    bs=8, accepted_tokens_per_step=3.2, acceptance_rate=0.76
[latency]   first-token 42ms, full-response 980ms (620 tokens)
[cost]      $0.34 per 1M output tokens at sustained throughput

Envío

outputs/skill-inference-server.mdUna pila de servicio medida con descifrado especulativo, un informe completo de referencia y un despliegue de K8.

Los ejercicios

1. Medir la degradación de la tasa de aceptación cuando el borrador esté una versión detrás del objetivo (por ejemplo, Llama 3.3 -> 3.4 deriva).

1. Implementar la retroceso de los gramos: si la aceptación de EAGLE-3 cae por debajo de un umbral, cambiar a los proyectos de gramos.

1. Ejecutar un experimento controlado de MoE: el mismo Qwen3-Coder-30B con ruido de enrutamiento inyectado vs. fuera. Medir la sensibilidad de aceptación del borrador.

1. Extenda a H200 (141 GB). Informar el tamaño del modelo por réplica de la cabina ganada y si puede servir un Llama 3.3 70B no cuantificado.

1. Descifrado especulativo de TensorRT-LLM en el mismo hardware H100.

Términos clave

Leer más

• vLLM EAGLE and P-EAGLE documentation la pila de servicio de referencia
• P-EAGLE (AWS 2026) papel paralelo de decodificación especulativa + integración
• SGLang SpecForge Línea de formación de la cabeza de proyecto
• Red Hat Speculators centro de proyección alineado
• TensorRT-LLM speculative decoding Alternativa de proveedor
• Fireworks.ai serving architecture Referencia comercial
• EAGLE-3 paper (arXiv:2503.01840) el papel de método
• vLLM repository código y valores de referencia

This free lesson is part of the AI Engineering from Scratch curriculum. Read the full explanation, run the lesson code, and verify the result in the interactive reader or from the repository source.

Browse the complete course catalog or open this lesson on GitHub.