Lancez une exécution, suivez ses Step Actions en direct, et lisez son résultat et ses preuves.

Une exécution est le passage d'un cas de test dans un environnement. La page d'exécution montre ce que l'agent a fait à chaque étape, ce qu'il a vu et le résultat, pour que vous puissiez décider rapidement si un échec est réel et qui doit agir.

Lancer une exécution

Cliquez sur Run sur un cas de test, ou ouvrez New run dans un projet :

What to run : un cas de test, ou tout un plan de test (une exécution par cas de test).
Where : l'environnement. L'environnement par défaut du projet est présélectionné.
Signs in as : les comptes joints aux étapes, et si chacun est configuré dans cet environnement.

Une exécution couvre toutes les plateformes de son cas de test. Les exécutions démarrent aussi depuis les planifications, les pull requests, les déploiements, Slack, l'API et les assistants IA.

Chaque exécution démarre déconnectée, avec un navigateur, une installation d'application ou un client HTTP vierge. Tant qu'elle attend un runner, elle affiche Queued ; avant la première étape, elle affiche Getting ready pendant qu'Autonomy ouvre l'application, crée la boîte de réception et charge les connexions.

Étapes vérifiées

La section What we checked de la page d'exécution liste chaque étape du cas de test avec son résultat. Sous chaque étape, vous voyez :

Ses pièces jointes : le compte, la boîte de réception, les valeurs et les fichiers utilisés. Les valeurs Exact portent un cadenas.
Ses Step Actions : chaque action effectuée par l'agent pour atteindre le résultat attendu, dans l'ordre et en temps réel : ouvrir une page, remplir un champ, lire la boîte de réception, attendre un e-mail. Les valeurs que l'exécution a produites ou reçues sont affichées telles quelles. Une valeur que vous avez enregistrée comme secret apparaît sous forme de cadenas : elle est renseignée par référence, et l'agent ne la voit jamais.
Sa Final check : le nouveau regard que l'agent porte sur le produit à la fin de l'étape. Le résultat de l'étape doit concorder avec elle.
Son constat : une ligne qui résume ce que montrent les preuves.

Si une partie plus difficile d'une étape est confiée à un modèle d'IA plus puissant, ce passage de relais est lui aussi une Step Action. Rien de ce que fait l'agent n'est caché.

Pour un cas de test sur plusieurs plateformes, changez de plateforme au-dessus des étapes. Chaque plateforme a ses propres étapes et résultats.

Résultats

Chaque étape se termine en Passed ou Failed. Le résultat de l'exécution découle de celui de ses étapes :

Résultat	Quand
Passed	Chaque étape a atteint son résultat attendu. flaky signifie qu'une étape a dû être relancée.
Failed	Une étape n'a pas atteint son résultat attendu, ou l'agent n'a pas pu montrer qu'elle l'avait atteint.
Couldn't start	L'environnement n'a pas pu être testé, donc aucune étape ne s'est exécutée.
Cancelled	Quelqu'un a arrêté l'exécution.

Une étape échouée en donne la raison, en termes simples. Outre un résultat attendu qui n'a pas été atteint, une étape échoue aussi quand l'agent n'a pas pu montrer le résultat attendu par des preuves récentes, par exemple :

L'étape a manqué de temps avant que son résultat attendu puisse être confirmé.
L'agent a été interrompu avant de pouvoir confirmer le résultat attendu.
Les preuves de cette étape n'ont pas pu être lues.
Une vérification finale ne concordait pas avec le résultat.
Un compte nécessaire à cette étape n'a pas pu se connecter.

Lisez la raison avant de traiter un échec comme un bug : une étape qui a manqué de temps en fait peut-être trop et doit être scindée, et un compte qui n'a pas pu se connecter affiche Needs you. Voir Dépannage.

Runner problem. Si une exécution échoue parce que quelque chose a cassé du côté d'Autonomy, par exemple le modèle d'IA était indisponible, le runner a planté ou son navigateur ou son appareil s'est arrêté, Autonomy la relance une fois, automatiquement. Si la seconde tentative casse de la même façon, l'exécution est Failed avec une étiquette Runner problem. Les tentatives en Runner problem ne sont pas facturées.

Les exécutions antérieures à ce changement qui n'avaient pas pu prouver une étape s'affichent désormais en Failed, avec la raison qu'elles avaient enregistrée.

Une exécution qui n'a pas pu démarrer en donne la raison, par exemple « L'application ne s'est pas ouverte, l'exécution n'a donc pas pu démarrer. » ou « L'application a bloqué le navigateur de test comme un robot, l'exécution n'a donc pas pu démarrer. » Les exécutions Couldn't start ne sont pas facturées et sont exclues du taux de réussite.

Problèmes trouvés

Les problèmes remarqués par l'agent ou par un contrôle automatique sont listés sous Issues found, à côté du résultat. Un problème ne modifie jamais le résultat : une exécution réussie peut tout de même signaler une erreur de console ou une requête en erreur. Chaque problème indique son type (Bug ou Risk), qui l'a trouvé (« Seen by the agent », « Automatic check » ou « Added by a person »), l'étape concernée et ce qui était attendu. Voir Problèmes.

Cliquez sur Add issue pour en signaler un vous-même depuis l'exécution. Sur une exécution échouée, ou qui comporte des problèmes, Copy prompt to fix copie un prompt destiné à votre agent de code.

Preuves

Le panneau de preuves, sous les étapes, contient :

Onglet	Contenu
Replay	La vidéo de l'exécution, avec un repère pour chaque étape. En direct pendant l'exécution.
Screenshots	Une capture d'écran prise à la fin de chaque étape, plus celles que les étapes ont demandé de conserver.
Network	Chaque requête effectuée par la page, ses frames et ses workers, avec les en-têtes, les cookies, les corps de requête et de réponse (les premiers 256 KB de chacun), le statut, la durée et une cascade, le tout réparti par étape.
Console	Chaque message de console, à tous les niveaux, les erreurs non interceptées et les rejets de promesse non gérés, ainsi que les messages du navigateur lui-même, répartis par étape. Logs sur mobile, avec les journaux de l'application à tous les niveaux.
Credentials	Les comptes créés par l'exécution, que vous pouvez conserver comme connexions enregistrées.
Email previews	Les e-mails reçus par les boîtes de réception de l'exécution, en HTML, en texte et avec leurs en-têtes.

Les exécutions API affichent plutôt Requests et Console.

Les preuves montrent ce que l'exécution a vu, tel qu'elle l'a vu : les codes et les liens reçus, les mots de passe générés, les jetons dans les URL et les corps de requête sont tous affichés en clair. Seules les valeurs que vous avez enregistrées comme secrets (secrets d'environnement, mots de passe des connexions, secrets d'authentification et sessions enregistrées) sont masquées partout : dans les Step Actions, les captures d'écran, la vidéo, les détails réseau, les journaux et les e-mails.

Comptes créés par l'exécution

Quand une étape inscrit un nouveau compte, l'onglet Credentials le liste avec sa méthode de connexion. Cliquez sur Keep as saved sign-in pour l'enregistrer dans les connexions du projet : le mot de passe créé par l'agent l'accompagne. L'onglet affiche un mot de passe généré jusqu'à ce que vous conserviez le compte ; dès lors, c'est un secret enregistré. Un compte à lien magique rapporte son adresse sous forme de boîte de réception du projet.

Vous pouvez conserver un compte tant que votre offre conserve l'historique des exécutions, jusqu'à 90 jours. Les comptes qui se sont connectés avec un numéro de téléphone loué ne peuvent pas être conservés, car le numéro est restitué à la fin de l'exécution.

Also created liste les boîtes de réception, numéros de téléphone et fichiers créés par l'exécution, et indique si chacun a été nettoyé.

Relancer, annuler et supprimer

Rerun lance une nouvelle exécution du même cas de test dans le même environnement.
Cancel run arrête une exécution en cours. Une exécution annulée paie ce qu'elle a consommé.
Delete run supprime l'exécution ainsi que son replay, ses captures d'écran et ses journaux. Les problèmes qui la citent conservent un emplacement réservé.

Les exécutions antérieures à la v0.5 utilisaient l'ancien format d'étapes. Elles restent consultables, mais ne peuvent pas être relancées : lancez plutôt une nouvelle exécution du cas de test.

Exécutions et résultats