Proyectos, entornos, casos de prueba, pasos, ejecuciones, resultados, incidencias y memoria.

Autonomy usa un conjunto reducido de términos en todas partes: en el panel, en las notificaciones, en la API y en los asistentes de IA. Esta página los define.

Proyectos

Un proyecto es un producto que pruebas, como una app web, una app móvil o una API. Todo lo que pruebas vive en un proyecto: sus casos de prueba, planes de pruebas, entornos, inicios de sesión, incidencias, resúmenes, memoria y archivos.

Tu organización está por encima de sus proyectos. Los miembros, la facturación, el crédito de ejecución y las integraciones pertenecen a la organización y los comparten todos los proyectos. Consulta Proyectos.

Entornos

Un entorno es un lugar donde se ejecuta un proyecto, como Production, Staging o un despliegue de previsualización. Tiene un objetivo de plataforma por cada plataforma que pruebas: una URL para web y API, y un build de la app para Android. Las pruebas en iOS llegarán pronto.

Toda ejecución ocurre en un entorno. El mismo caso de prueba se ejecuta contra cualquier entorno de su proyecto, porque el entorno aporta la URL, el build y los valores.

Los valores del entorno son valores con nombre que se usan en los pasos como {{env.NAME}}. Cada ejecución los rellena a partir del entorno en el que se ejecuta. Marca un valor como secreto para contraseñas y tokens: nadie puede volver a verlo después de guardarlo y solo lo reciben las ejecuciones. Consulta Entornos.

Casos de prueba y pasos

Un caso de prueba es un recorrido que quieres demostrar que funciona, escrito como una lista corta de pasos. Cada paso es un resultado esperado en palabras sencillas: algo que una persona podría comprobar cuando el paso termina.

Existe una cuenta de agricultor nueva para un correo nuevo.
El perfil muestra Maíz como preferencia de cultivo.
Llega el correo del recibo con el total del pedido.

Los pasos no dicen dónde hacer clic. El agente averigua cómo alcanzar cada resultado esperado en el producto real, igual que lo haría un tester cuidadoso, y muestra todo lo que hizo.

Un paso puede llevar adjuntos: elementos que el agente usa para alcanzar el resultado esperado.

Adjunto	Qué le da al agente
Account	Un inicio de sesión guardado que usar.
Inbox	Una bandeja de entrada nueva para la ejecución, para recibir códigos, enlaces y recibos.
Phone	Un número de teléfono que puede recibir códigos por SMS.
File	Un archivo que subir.
Screenshot	Una captura del resultado esperado que se conserva como evidencia.
Data	Un valor que usar, un valor que generar (como una contraseña segura) o un valor oculto.

Los adjuntos son datos de prueba salvo que los marques como Exact. Si el producto rechaza un valor de datos de prueba solo porque ya está en uso, el agente usa un valor nuevo del mismo tipo y lo indica. Un valor Exact se usa tal como está escrito: si el producto lo rechaza, ese rechazo es lo que se evalúa en el paso. Consulta Creación.

Planes de pruebas

Un plan de pruebas es una selección con nombre de casos de prueba de un proyecto. Ejecutar un plan inicia una ejecución por cada caso de prueba, agrupadas. Un caso de prueba no necesita un plan, y el mismo caso de prueba puede estar en varios planes. Consulta Planes de pruebas y programaciones.

Ejecuciones

Una ejecución es una pasada de un caso de prueba en un entorno. Es la única fuente de evidencia en Autonomy: no se afirma nada sobre tu producto que una ejecución no haya visto.

El agente recorre los pasos en orden. Bajo cada paso ves sus Step Actions: todas las acciones que el agente realizó para alcanzar el resultado esperado, a medida que ocurren. Los valores que la ejecución creó o recibió, como una contraseña generada o un código de un correo, se muestran tal como eran. Solo los valores que guardaste como secretos se rellenan por referencia: el agente nunca los ve y nunca aparecen en la evidencia.

Cada paso termina con un Final check: una comprobación nueva del producto al final del paso. El resultado de un paso debe coincidir con su Final check, y sin evidencia nueva un paso nunca se marca como superado.

Resultados de ejecución

Cada paso obtiene un resultado: superado o fallido. El resultado de la ejecución se deriva de sus pasos.

Resultado	Significado
Queued	Esperando un runner libre.
Running	En curso. Antes del primer paso, la ejecución muestra Getting ready.
Passed	Todos los pasos alcanzaron su resultado esperado y cada Final check coincide. flaky significa que un paso necesitó un reintento.
Failed	Un paso no alcanzó su resultado esperado, o el agente no pudo demostrar que lo alcanzó: por ejemplo, el paso se quedó sin tiempo o una cuenta no pudo iniciar sesión. Cada paso fallido indica el motivo con palabras sencillas.
Couldn't start	No se pudo probar el entorno, así que no se ejecutó ningún paso: por ejemplo, la app no se abrió o bloqueó el navegador de prueba como si fuera un bot. No se factura.
Cancelled	Alguien detuvo la ejecución.

Una ejecución es Failed si algún paso falló, y Passed cuando todos los pasos se superaron. Un paso solo se supera cuando la evidencia nueva muestra su resultado esperado, así que un paso que el agente no pudo demostrar es Failed, con su motivo. La tasa de éxito excluye las ejecuciones Couldn't start.

Runner problem. Si una ejecución falla porque algo se rompió del lado de Autonomy, por ejemplo que el modelo de IA no estaba disponible, que el runner se bloqueó o que su navegador o dispositivo se detuvo, Autonomy la vuelve a ejecutar una vez, de forma automática. Si el segundo intento falla de la misma forma, la ejecución queda como Failed con una etiqueta Runner problem. Los intentos con Runner problem no se facturan.

Consulta Ejecuciones y resultados para ver qué muestra la página de una ejecución.

Incidencias

Una incidencia es un problema en tu producto, notificado por una persona o detectado por Autonomy. Su tipo es Bug (algo está roto) o Risk (una carencia o un motivo de preocupación; todavía no hay nada roto).

Las incidencias se mantienen aparte de los resultados. Una ejecución superada puede notificar una incidencia, como un error de consola o una petición fallida que vio por el camino, y una incidencia nunca cambia el resultado de un paso ni de una ejecución. Puedes convertir una incidencia en un ticket de Linear o Jira. Consulta Incidencias.

Memoria

La memoria es lo que el agente sabe sobre cómo llegar a las cosas en tu proyecto: adónde se movió una página, qué correo tarda en llegar, qué hay que esperar. Las ejecuciones sugieren memorias y las personas pueden añadirlas. La memoria nunca añade pasos, registra bugs ni cambia un resultado. El conocimiento del producto es un briefing que escribes para el agente, como el que le darías a un tester nuevo. Consulta Memoria.

Dónde se realizan las ejecuciones

Las ejecuciones se realizan en los runners de Autonomy: las máquinas que alojan el navegador, el dispositivo o el cliente HTTP que usa una ejecución. Cada ejecución empieza sin sesión iniciada, con una sesión nueva de navegador o de app. Los planes Enterprise también pueden ejecutarse en sus propias máquinas. Consulta Runners.

Una nota sobre los nombres

El panel, la API y esta documentación dicen caso de prueba para el recorrido que se ejecuta y plan de pruebas para una selección de casos de prueba. Algunos identificadores de la API todavía llevan nombres antiguos; cuando importa, la página lo indica.

Conceptos