Käivitused ja tulemused

Käivitus on ühe testjuhtumi üks täitmine ühes keskkonnas. Käivituse leht näitab, mida agent iga sammu jaoks tegi, mida ta nägi ja milline on tulemus, et saaksid kiiresti otsustada, kas läbikukkumine on päris ja kes peaks tegutsema.

Alusta käivitust

Klõpsa testjuhtumil Run või ava projektis New run:

• What to run: testjuhtum või terve testiplaan (üks käivitus testjuhtumi kohta).
• Where: keskkond. Esimesena on valitud projekti vaikekeskkond.
• Signs in as: kontod, mis sammudele on manustatud, ja kas igaüks neist on selles keskkonnas seadistatud.

Käivitus kasutab kõiki oma testjuhtumi platvorme. Käivitused algavad ka ajakavadest, pull request'idest, juurutustest, Slackist, API-st ja AI-assistentidest.

Iga käivitus algab väljalogituna, värske brauseri, rakenduse paigalduse või HTTP-kliendiga. Kui käivitus ootab runnerit, näitab see olekut Queued; enne esimest sammu näitab see olekut Getting ready, kuni Autonomy avab rakenduse, loob postkasti ja laadib sisselogimised.

Mida me kontrollisime

Käivituse leht loetleb testjuhtumi kõik sammud koos nende tulemustega. Iga sammu all näed:

• Manuseid: kontot, postkasti, väärtusi ja faile, mida samm kasutas. Exact-väärtustel on lukuikoon.
• Tegevusi (Step Actions): iga tegevust, mille agent oodatud tulemuseni jõudmiseks tegi, järjekorras ja nende toimumise hetkel: lehe avamine, välja täitmine, postkasti lugemine, e-kirja ootamine. Väärtused, mille käivitus lõi või sai, on näidatud sellisena, nagu need olid. Väärtus, mille salvestasid saladusena, on näidatud lukuna: see täidetakse viitena ja agent ei näe seda kunagi.
• Lõppkontrolli (Final check): agendi värsket pilku tootele sammu lõpus. Sammu tulemus peab olema sellega kooskõlas.
• Oodatud tulemust: üht rida selle kohta, mida tõendid näitavad.

Kui sammu keerulisem osa antakse üle võimekamale AI-mudelile, on ka see üleandmine üks sammu tegevustest. Midagi, mida agent teeb, ei peideta.

Mitme platvormiga testjuhtumi puhul vaheta platvormi sammude kohal. Igal platvormil on oma sammud ja tulemused.

Tulemused

Iga samm lõpeb tulemusega Passed või Failed. Käivituse tulemus tuleneb selle sammudest:

Läbikukkunud samm ütleb lihtsate sõnadega, miks. Lisaks oodatud tulemusele, milleni ei jõutud, kukub samm läbi ka siis, kui agent ei suutnud oodatud tulemust värskete tõenditega näidata, näiteks:

• Sammul sai aeg otsa enne, kui oodatud tulemust sai kinnitada.
• Agent katkestati enne, kui ta jõudis oodatud tulemust kinnitada.
• Selle sammu tõendeid ei saanud lugeda.
• Lõppkontroll ei olnud tulemusega kooskõlas.
• Konto, mida see samm vajas, ei saanud sisse logida.

Loe põhjust, enne kui käsitled läbikukkumist veana: samm, millel sai aeg otsa, võib teha liiga palju ja vajada jagamist ning konto, mis ei saanud sisse logida, näitab olekut Needs you. Vaata Tõrkeotsing.

Runner problem. Kui käivitus kukub läbi, sest midagi läks katki Autonomy poolel, näiteks AI-mudel polnud saadaval, runner jooksis kokku või selle brauser või seade peatus, käivitab Autonomy selle automaatselt ühe korra uuesti. Kui teine katse läheb samamoodi katki, on käivitus Failed sildiga Runner problem. Runneri probleemiga katsete eest arvet ei esitata.

Enne seda muudatust tehtud käivitused, mis ei suutnud mõnda sammu tõestada, näitavad nüüd tulemust Failed koos põhjusega, mille need salvestasid.

Käivitus, mis ei saanud alata, ütleb põhjuse, näiteks „The app didn't open, so the run couldn't start.“ või „The app blocked the test browser as a bot, so the run couldn't start.“ Couldn't start käivituste eest arvet ei esitata ja need jäetakse õnnestumismäärast välja.

Leitud probleemid

Vead ja riskid, mida agent või automaatne kontroll märkas, on loetletud jaotises Issues found tulemuse kõrval. Probleem ei muuda kunagi tulemust: ka läbinud käivitus võib teatada konsooliveast või nurjunud päringust. Iga probleem näitab oma liiki (Bug või Risk), seda, kes selle leidis („Seen by the agent“, „Automatic check“ või „Added by a person“), sammu ja seda, mida oodati. Vaata Probleemid.

Klõpsa Add issue, et käivitusest ise probleemist teatada. Läbikukkunud või probleemidega käivituse puhul kopeerib Copy prompt to fix sinu kodeerimisagendile mõeldud viiba.

Tõendid

Sammude all oleval tõendipaneelil on:

API-käivitused näitavad selle asemel vahekaarte Requests ja Console.

Tõendid näitavad seda, mida käivitus nägi, nii nagu ta seda nägi: saabunud koodid ja lingid, genereeritud paroolid, URL-ides olevad tokenid ja päringukehad on kõik nähtavad avatekstina. Ainult väärtused, mille salvestasid saladustena (keskkonna saladused, sisselogimiste paroolid, autentimisrakenduse saladused ja salvestatud seansid), on kõikjal maskeeritud: Step Actions'is, ekraanipiltidel, videos, võrgu üksikasjades, logides ja e-kirjades.

Käivituse loodud kontod

Kui samm registreerib uue konto, loetleb vahekaart Credentials selle koos sisselogimisviisiga. Klõpsa Keep as saved sign-in, et salvestada see projekti sisselogimiste hulka: agendi loodud parool tuleb kaasa. Vahekaart näitab genereeritud parooli, kuni konto alles jätad; sellest hetkest on see salvestatud saladus. Maagilise lingiga konto toob oma aadressi tagasi projekti postkastina.

Kontot saad alles jätta nii kaua, kui sinu pakett käivituste ajalugu säilitab, kuni 90 päeva. Rendinumbriga sisse loginud kontosid ei saa alles jätta, sest number tagastatakse käivituse lõppedes.

Also created loetleb postkastid, telefoninumbrid ja failid, mille käivitus lõi, ning selle, kas igaüks neist koristati.

Uuesti käivitamine, tühistamine ja kustutamine

• Rerun alustab sama testjuhtumi uut käivitust samas keskkonnas.
• Cancel run peatab pooleli oleva käivituse. Tühistatud käivitus maksab selle eest, mida see kasutas.
• Delete run eemaldab käivituse ning selle taasesituse, ekraanipildid ja logid. Probleemid, mis sellele viitavad, säilitavad kohatäite.

Enne v0.5 tehtud käivitused kasutasid vana sammuvormingut. Need jäävad loetavaks, kuid neid ei saa uuesti käivitada: alusta selle asemel testjuhtumi uut käivitust.