Naveo

STEP 17 / 22

A5 TASK

TU PROMPT · 1 CASOS

Echo entra al track. Te pide diseñar el schema de trazas de tu sistema multi-step: qué campos guardar por cada ejecución para poder debuggear un fallo seis horas después sin tener que re-ejecutar todo.

Tu trabajo: escribir el JSON-Schema (o estructura JSON ejemplificada) de un trace con sus spans. Un trace representa UNA ejecución completa del sistema; cada span representa UN paso (LLM call, tool call, decisión del router, etc.).

Cubrí:

Campos del trace nivel raíz (trace_id, user_id, started_at, duration_ms, status, input_summary).
Campos por cada span (span_id, parent_span_id, name, kind, started_at, duration_ms, status, input, output, error, model, tokens_used, cost_usd).
Cómo modelás el orden y la anidación (parent → child).
Qué redactar (PII, secrets) y qué guardar literal.

Donde el goal del usuario va, usá {{input}}. Tu output es el JSON del schema o un ejemplo concreto de trace bien formado.

648 chars

usa {{input}} donde vaya la entrada

RUBRIC · 1 CASOS · 7 CRITERIOS

"evaluación-meta"

CASO 1

MODO INVITADO

Estás viendo esta lección como invitado. Para guardar tu progreso, ganar XP y mantener tu racha, inicia sesión cuando estés listo para comprobar.

Cuesta 1 vida

Tu sistema sin trazas es una caja negra

Echo aparece al final del track porque la última habilidad de un ingeniero de sistemas LLM no es construir; es saber qué pasó cuando algo falla. Sin observabilidad, un bug en producción es un misterio: el usuario reporta "el sistema dijo algo raro", y vos no podés ni reproducirlo ni explicarlo.

La solución es vieja: trazas distribuidas, importadas desde el mundo de microservicios pero adaptadas a LLMs.

Trace y span

Trace = una ejecución completa del sistema. Un trace_id por request.
Span = un paso individual dentro del trace. Cada llamada LLM, cada tool call, cada decisión del router es un span.

Los spans se anidan: un agent_loop es un span padre que contiene N spans hijos (uno por tool call). El router es un span padre que contiene un span hijo (el flow que eligió). La forma del trace es un árbol.

Qué guardar por span

Mínimo viable:

json

{
  "span_id": "spn_042",
  "parent_span_id": "spn_001",
  "name": "rag.retrieve",
  "kind": "retrieval",
  "started_at": "2026-05-24T12:34:56.123Z",
  "duration_ms": 187,
  "status": "success",
  "input": "¿cuál es el protocolo de coolant?",
  "output": "[3 snippets]",
  "model": null,
  "tokens_used": null,
  "cost_usd": null,
  "metadata": { "vector_store": "primary", "top_k": 3 }
}

Para spans LLM, agregás model, tokens_used (in/out separados), y cost_usd. Para spans de tool, agregás el tool_name y los args.

Por qué importan los campos "obvios"

parent_span_id: convierte el array de spans en un árbol. Sin esto no podés ver "el router invocó al agent_loop, que invocó tool X". Es la diferencia entre debugging visual y leer 500 líneas de log a mano.
duration_ms: el primer filtro de debugging. "¿Qué span tardó más?" responde el 80% de los issues de latencia.
cost_usd y tokens_used: agregables. "¿Cuánto costó este request? ¿Cuánto costó este flow en promedio?" no responde sin esto.
status con partial: cuando degradás gracefully (step 14), el status del trace no es ni success ni error. es partial. Sin este valor, perdés visibilidad de la degradación.

Redaction: lo que NO guardás literal

Las trazas viven en sistemas de observabilidad (Datadog, Honeycomb, OpenTelemetry). Cualquier cosa que pongas ahí es potencialmente leíble por todo tu equipo + el proveedor. Reglas:

PII (emails, IDs, nombres): hash o token. Recuperable si tenés acceso al lookup table.
Secrets (API keys, tokens): [REDACTED]. Nunca recuperable.
Outputs grandes: truncar a 2KB y guardar referencia al storage frío si necesitás el blob completo.

Una traza que filtra PII en logs es una historia real de violación de datos. Documentá la política de redaction en el schema, no en un wiki que nadie lee.

Tu task

Escribí el schema (o un ejemplo concreto) de una traza para tu sistema. El judge evalúa 7 criterios sobre la cobertura del schema. trace root, spans, anidación, costo, status, redaction.