Una tool es un agujero que perforaste en el casco

Forge cableó esta tool la semana pasada. Atlas la flaggeó antes de que se desplegara. Encontrá lo mismo que encontró Atlas.

Cada tool que le das a un LLM es una capacidad que el LLM puede invocar sin más autorización. Si esa capacidad es destructiva. archivos borrados, cuentas creadas, plata movida, navegación re-ruteada. tenés que diseñar la tool para que el peor caso de invocación sea sobrevivible.

El modelo decide cuándo llamar a una tool y qué args pasar. Vos decidís qué puede hacer la tool sin importar qué args lleguen. Donde se cruzan esos dos está tu radio de explosión.

Checklist de radio de explosión

Antes de que cualquier tool se despliegue, pasala por estas cuatro preguntas:

1. ¿Puede el modelo construir verbos destructivos desde texto libre? Si la tool toma un string que se convierte en parte de un comando, query, URL o path. tu radio de explosión es "cualquier cosa que el modelo pueda imaginar".
2. ¿Cuál es el peor outcome de una sola llamada? Imaginate que el modelo es hostil. ¿Qué hace? Si "drop the table" está en la lista, escribiste SQL injection con pasos extra.
3. ¿La destrucción es reversible? Soft-delete con ventana de undo > hard-delete. Confirm en dos fases > ejecutar en una.
4. ¿Quién es la autoridad sobre si esta llamada está permitida? NO puede ser el modelo. Tiene que ser tu capa de auth, contra la sesión del usuario.

A la derecha tenés un spec de tool con una falla fatal. Elegila.