Naveo

STEP 21 / 22

A5 TASK

TU PROMPT · 1 CASOS

Capstone del onboarding completo. Atlas te asigna un sistema real:

El "Watch Officer Assistant". un sistema que recibe mensajes del comms canal de la nave durante un turno y los procesa en pipeline completo, manteniendo el log del turno limpio y accionable.

Tu trabajo: diseñar la arquitectura completa del sistema en YAML, integrando todo lo que aprendiste en Track 4:

Router (step 03). decide a qué sub-flujo va cada mensaje. Rutas: incident_report, shift_info, crewmate_lookup, escalate_to_human.
Chain por ruta (step 02). cada ruta tiene su sub-chain. La de incident_report clasifica severity, extrae fields, genera el ticket. La de shift_info consulta tools (Track 3). La de crewmate_lookup consulta tools. La de escalate_to_human solo arma un mensaje para humano.
Agent loop (step 04). para incident_report, después del ticket, el sistema puede decidir si necesita ejecutar acciones follow-up (notificar oncall, paginar maintenance) usando tools. Loop con stop conditions.
RAG (step 05). opcional, integrado en shift_info cuando la pregunta no se contesta solo con tools (ej: "¿cuál es el procedimiento si el coolant cae 30%?". consulta el manual).
Eval criteria (step 06, step 07). al final del YAML, definí qué evals corre el sistema para validar comportamiento. No escribís los casos completos. solo qué categorías de tests querés y qué LLM-judge usás para evaluar el comportamiento end-to-end.

Donde el mensaje del usuario va, usá {{input}}. Tu output es el YAML completo de configuración del sistema.

926 chars

usa {{input}} donde vaya la entrada

RUBRIC · 1 CASOS · 9 CRITERIOS

"evaluación-meta"

CASO 1

MODO INVITADO

Estás viendo esta lección como invitado. Para guardar tu progreso, ganar XP y mantener tu racha, inicia sesión cuando estés listo para comprobar.

Cuesta 1 vida

Tu sistema completo.

Atlas no firma el capstone hasta que tu sistema demuestra todas las habilidades del track integradas:

Unidad	Cómo aparece en este capstone
A · Sistema vs prompt	Decidiste que esto vale como sistema (router + chains), no como un prompt monolítico
B · Diseño de cadenas	Cada `flow` tiene 2-4 steps focales, con estado pasado explícitamente entre pasos. Pensá caching donde el mismo input se repita.
C · Routing dinámico	`router` con 4 rutas + fallback seguro `escalate_to_human`. Decidí: ¿router por reglas o por LLM? ¿Clasificador barato adelante?
D · Agentes con presupuestos	`incident_report` puede entrar en loop. Definí presupuesto (max steps / max tokens) y política de retries por tipo de error. Pensá degradación graceful si un sub-paso falla.
E · RAG honesto	`shift_info` integra retrieval para preguntas procedimentales
F · Observabilidad + evals	Sección final con eval categories + judge. Declará qué trazás (spans por step, costo, redacción de PII).

El sistema en una imagen

code

[mensaje del comms]
        ↓
   [ROUTER]  → 4 rutas + fallback
   ↙ ↓ ↓ ↘
incident   shift   lookup   escalate
chain     (RAG)   chain    chain
   ↓
[agent_loop opcional con stops]
   ↓
[resultado al log del turno]
        ↓
   [EVALS: control + edge + adversarial, juzgado por LLM]

Qué tiene que estar en tu YAML

No te pedimos los prompts completos de cada step. el judge va a evaluar la estructura y la composición, no las palabras exactas de cada prompt. Lo que tiene que estar:

El router con 4 rutas y default seguro.
4 flows definidos, cada uno con steps lógicos.
incident_report incluye agent_loop con stops.
shift_info integra RAG (al menos en parte).
escalate_to_human es conservador.
Sección evals declarando qué se mide.

El capstone, no las palabras

Atlas firma cuando ve el sistema entero funcionando como pieza única. No le importa que tu YAML sea perfecto en cada bullet. le importa que las piezas estén ahí, conectadas, y que el sistema sea diseñable, evaluable y mantenible.

Cuando pase

El sistema lo registra como Track 4 completado. Pasás de "alumno con onboarding" a ingeniero de sistemas con LLMs. La crew te puede asignar problemas reales. no a resolverlos, a diseñar la arquitectura para resolverlos.

Suerte en el turno.