Inicia una ejecución, sigue sus Step Actions en directo y lee su resultado y su evidencia.

Una ejecución es una pasada de un caso de prueba en un entorno. La página de la ejecución muestra lo que hizo el agente en cada paso, lo que vio y el resultado, para que puedas decidir rápido si un fallo es real y quién debe actuar.

Iniciar una ejecución

Haz clic en Run en un caso de prueba, o abre New run en un proyecto:

What to run: un caso de prueba o un plan de pruebas completo (una ejecución por caso de prueba).
Where: el entorno. Se elige primero el entorno predeterminado del proyecto.
Signs in as: las cuentas que adjuntan los pasos y si cada una está configurada en ese entorno.

Una ejecución usa todas las plataformas de su caso de prueba. Las ejecuciones también se inician desde programaciones, pull requests, despliegues, Slack, la API y los asistentes de IA.

Cada ejecución empieza sin sesión iniciada, con un navegador, una instalación de la app o un cliente HTTP nuevos. Mientras espera un runner muestra Queued; antes del primer paso muestra Getting ready mientras Autonomy abre la app, crea la bandeja de entrada y carga los inicios de sesión.

Qué comprobamos

La página de la ejecución lista todos los pasos del caso de prueba con su resultado. Bajo cada paso ves:

Sus adjuntos: la cuenta, la bandeja de entrada, los valores y los archivos que usó. Los valores Exact llevan un candado.
Sus Step Actions: todas las acciones que el agente realizó para alcanzar el resultado esperado, en orden y a medida que ocurren: abrir una página, rellenar un campo, leer la bandeja de entrada, esperar un correo. Los valores que la ejecución creó o recibió se muestran tal como eran. Un valor que guardaste como secreto aparece con un candado: se rellena por referencia y el agente nunca lo ve.
Su Final check: la comprobación nueva que hace el agente del producto al final del paso. El resultado del paso debe coincidir con ella.
Su resultado esperado: una línea sobre lo que muestra la evidencia.

Si una parte más difícil de un paso se pasa a un modelo de IA más potente, ese traspaso también es una Step Action. Nada de lo que hace el agente queda oculto.

En un caso de prueba con varias plataformas, cambia de plataforma encima de los pasos. Cada plataforma tiene sus propios pasos y resultados.

Resultados

Cada paso termina como Passed o Failed. El resultado de la ejecución se deriva de sus pasos:

Resultado	Cuándo
Passed	Todos los pasos alcanzaron su resultado esperado. flaky significa que un paso necesitó un reintento.
Failed	Un paso no alcanzó su resultado esperado, o el agente no pudo demostrar que lo alcanzó.
Couldn't start	No se pudo probar el entorno, así que no se ejecutó ningún paso.
Cancelled	Alguien detuvo la ejecución.

Un paso fallido indica el motivo con palabras sencillas. Además de cuando no se alcanza el resultado esperado, un paso también falla cuando el agente no pudo demostrar el resultado esperado con evidencia nueva, por ejemplo:

El paso se quedó sin tiempo antes de poder confirmar su resultado esperado.
El agente se interrumpió antes de poder confirmar el resultado esperado.
No se pudo leer la evidencia de este paso.
Un Final check no coincidió con el resultado.
Una cuenta que necesitaba este paso no pudo iniciar sesión.

Lee el motivo antes de tratar un fallo como un bug: un paso que se quedó sin tiempo puede hacer demasiado y necesitar dividirse, y una cuenta que no pudo iniciar sesión muestra Needs you. Consulta Solución de problemas.

Runner problem. Si una ejecución falla porque algo se rompió del lado de Autonomy, por ejemplo que el modelo de IA no estaba disponible, que el runner se bloqueó o que su navegador o dispositivo se detuvo, Autonomy la vuelve a ejecutar una vez, de forma automática. Si el segundo intento falla de la misma forma, la ejecución queda como Failed con una etiqueta Runner problem. Los intentos con Runner problem no se facturan.

Las ejecuciones anteriores a este cambio que no pudieron demostrar un paso ahora se muestran como Failed, con el motivo que registraron.

Una ejecución que no pudo empezar indica el motivo, por ejemplo "The app didn't open, so the run couldn't start." o "The app blocked the test browser as a bot, so the run couldn't start." Las ejecuciones Couldn't start no se facturan y quedan fuera de la tasa de éxito.

Incidencias detectadas

Los problemas que detectó el agente o una comprobación automática se listan en Issues found, junto al resultado. Una incidencia nunca cambia el resultado: una ejecución superada puede notificar un error de consola o una petición fallida. Cada incidencia muestra su tipo (Bug o Risk), quién la detectó ("Seen by the agent", "Automatic check" o "Added by a person"), el paso y lo que se esperaba. Consulta Incidencias.

Haz clic en Add issue para notificar una tú mismo desde la ejecución. En una ejecución fallida, o en una con incidencias, Copy prompt to fix copia un prompt para tu agente de programación.

Evidencia

El panel de evidencia bajo los pasos contiene:

Pestaña	Qué muestra
Replay	El vídeo de la ejecución, con una marca por cada paso. En directo mientras la ejecución está en curso.
Screenshots	Una captura tomada al final de cada paso, más las que los pasos pidieron conservar.
Network	Todas las peticiones que hicieron la página, sus frames y sus workers, con cabeceras, cookies, cuerpos de petición y respuesta (los primeros 256 KB de cada uno), estado, tiempos y un diagrama en cascada, separadas por paso.
Console	Todos los mensajes de consola de todos los niveles, los errores no capturados y los rechazos de promesas no gestionados, y los mensajes del propio navegador, separados por paso. Logs en móvil, con los registros de la app de todos los niveles.
Credentials	Las cuentas que creó la ejecución, que puedes conservar como inicios de sesión guardados.
Email previews	Los correos que recibieron las bandejas de entrada de la ejecución, como HTML, texto y cabeceras.

Las ejecuciones de API muestran Requests y Console en su lugar.

La evidencia muestra lo que vio la ejecución, tal como lo vio: los códigos y enlaces recibidos, las contraseñas generadas, los tokens en URL y los cuerpos de las peticiones se muestran en claro. Solo los valores que guardaste como secretos (secretos del entorno, contraseñas de inicios de sesión, secretos de autenticador y sesiones guardadas) se enmascaran en todas partes: en las Step Actions, las capturas, el vídeo, los detalles de red, los registros y los correos.

Cuentas que creó la ejecución

Cuando un paso registra una cuenta nueva, la pestaña Credentials la lista junto con su forma de iniciar sesión. Haz clic en Keep as saved sign-in para guardarla en los inicios de sesión del proyecto: la contraseña que creó el agente viene con ella. La pestaña muestra la contraseña generada hasta que conservas la cuenta; a partir de entonces es un secreto guardado. Una cuenta de enlace mágico conserva su dirección como bandeja de entrada del proyecto.

Puedes conservar una cuenta mientras tu plan conserve el historial de ejecuciones, hasta 90 días. Las cuentas que iniciaron sesión con un número de teléfono alquilado no se pueden conservar, porque el número se devuelve cuando termina la ejecución.

Also created lista las bandejas de entrada, los números de teléfono y los archivos que creó la ejecución, y si cada uno se limpió.

Volver a ejecutar, cancelar y eliminar

Rerun inicia una nueva ejecución del mismo caso de prueba en el mismo entorno.
Cancel run detiene una ejecución en curso. Una ejecución cancelada paga lo que haya usado.
Delete run elimina la ejecución y su repetición, sus capturas y sus registros. Las incidencias que la citan conservan un marcador de posición.

Las ejecuciones anteriores a v0.5 usaban el formato antiguo de pasos. Siguen siendo legibles, pero no se pueden volver a ejecutar: inicia en su lugar una nueva ejecución del caso de prueba.

Ejecuciones y resultados