Projektid, keskkonnad, testjuhtumid, sammud, käivitused, tulemused, probleemid ja mälu.

Autonomy kasutab kõikjal väikest hulka mõisteid: töölaual, teavitustes, API-s ja AI-assistentides. See leht selgitab neid.

Projektid

Projekt on üks toode, mida testid, näiteks veebirakendus, mobiilirakendus või API. Kõik, mida testid, asub projektis: selle testjuhtumid, testiplaanid, keskkonnad, sisselogimised, probleemid, kokkuvõtted, mälu ja failid.

Projektide kohal on sinu organisatsioon. Liikmed, arveldus, käivituskrediit ja integratsioonid kuuluvad organisatsioonile ning on kõigi projektide vahel jagatud. Vaata Projektid.

Keskkonnad

Keskkond on üks koht, kus projekt käivitub, näiteks Production, Staging või eelvaate juurutus. Sellel on iga testitava platvormi jaoks üks platvormi sihtmärk: veebi ja API jaoks URL, Androidi jaoks rakenduse build. iOS-i testimine tuleb peagi.

Iga käivitus toimub mingis keskkonnas. Sama testjuhtum käivitub projekti mis tahes keskkonnas, sest URL-i, buildi ja väärtused annab keskkond.

Keskkonna väärtused on nimetatud väärtused, mida sammudes kasutatakse kujul {{env.NAME}}. Iga käivitus täidab need selle keskkonna põhjal, kus see toimub. Paroolide ja tokenite puhul märgi väärtus saladuseks: pärast salvestamist ei saa keegi seda enam vaadata ja selle saavad ainult käivitused. Vaata Keskkonnad.

Testjuhtumid ja sammud

Testjuhtum on üks teekond, mille toimimist soovid tõestada, kirja pandud lühikese sammude loendina. Iga samm on lihtsas keeles kirjutatud oodatud tulemus: midagi, mida inimene saaks pärast sammu lõppu kontrollida.

Värske e-posti aadressi jaoks on loodud uus kasvataja konto.
Profiil näitab põllumajanduseelistusena maisi.
Kviitungi e-kiri saabub koos tellimuse kogusummaga.

Sammud ei ütle, kuhu klõpsata. Agent mõtleb ise välja, kuidas päris tootes iga oodatud tulemuseni jõuda, täpselt nagu hoolikas testija, ja näitab kõike, mida ta tegi.

Sammul võivad olla manused: asjad, mida agent oodatud tulemuseni jõudmiseks kasutab.

Manus	Mida see agendile annab
Konto	Salvestatud sisselogimise, mida kasutada.
Postkast	Käivitusele värske postkasti koodide, linkide ja kviitungite vastuvõtmiseks.
Telefon	Telefoninumbri, mis saab SMS-koode vastu võtta.
Fail	Faili, mida üles laadida.
Ekraanipilt	Oodatud tulemuse ekraanipildi, mis jäetakse tõendina alles.
Andmed	Väärtuse, mida kasutada, väärtuse, mida genereerida (näiteks tugeva parooli), või peidetud väärtuse.

Manused on testandmed, kui sa ei märgi neid Exact-väärtuseks. Kui toode lükkab testandmete väärtuse tagasi ainult seetõttu, et see on juba kasutusel, kasutab agent sama liiki värsket väärtust ja ütleb seda. Exact-väärtust kasutatakse täpselt nii, nagu see on kirjas: kui toode selle tagasi lükkab, hinnatakse sammu just selle tagasilükkamise põhjal. Vaata Koostamine.

Testiplaanid

Testiplaan on testjuhtumite nimetatud valik ühes projektis. Plaani käivitamine alustab iga testjuhtumi kohta ühe käivituse ja need on koondatud kokku. Testjuhtum ei vaja plaani ja sama testjuhtum võib kuuluda mitmesse plaani. Vaata Testiplaanid ja ajakavad.

Käivitused

Käivitus on ühe testjuhtumi üks täitmine ühes keskkonnas. See on Autonomys ainus tõendite allikas: sinu toote kohta ei väideta midagi, mida käivitus ei näinud.

Agent läbib sammud järjekorras. Iga sammu all näed selle tegevusi (Step Actions): iga tegevust, mille agent oodatud tulemuseni jõudmiseks tegi, nende toimumise hetkel. Väärtused, mille käivitus lõi või sai, näiteks genereeritud parool või e-kirjast saadud kood, on näidatud sellisena, nagu need olid. Viitena täidetakse ainult väärtused, mille salvestasid saladustena: agent ei näe neid kunagi ja need ei ilmu kunagi tõenditesse.

Iga samm lõpeb lõppkontrolliga (Final check): värske pilguga tootele sammu lõpus. Sammu tulemus peab olema oma Final check'iga kooskõlas ja ilma värskete tõenditeta ei märgita sammu kunagi läbituks.

Käivituse tulemused

Iga samm saab tulemuse: läbitud või läbi kukkunud. Käivituse tulemus tuleneb selle sammudest.

Tulemus	Tähendus
Queued	Ootab vaba runnerit.
Running	Käimas. Enne esimest sammu näitab käivitus olekut Getting ready.
Passed	Iga samm jõudis oma oodatud tulemuseni ja iga Final check on sellega kooskõlas. flaky tähendab, et mõni samm vajas kordust.
Failed	Mõni samm ei jõudnud oma oodatud tulemuseni või agent ei suutnud näidata, et see jõudis: näiteks sai sammul aeg otsa või konto ei saanud sisse logida. Iga läbikukkunud samm ütleb lihtsate sõnadega, miks.
Couldn't start	Keskkonda ei saanud testida, seega ühtegi sammu ei käivitatud: näiteks rakendus ei avanenud või blokeeris testbrauseri kui boti. Selle eest arvet ei esitata.
Cancelled	Keegi peatas käivituse.

Käivitus on Failed, kui mõni samm kukkus läbi, ja Passed, kui kõik sammud läbisid. Samm läbib ainult siis, kui värsked tõendid näitavad selle oodatud tulemust, nii et samm, mida agent ei suutnud tõestada, on Failed koos põhjusega. Õnnestumismäär jätab Couldn't start käivitused välja.

Runner problem. Kui käivitus kukub läbi, sest midagi läks katki Autonomy poolel, näiteks AI-mudel polnud saadaval, runner jooksis kokku või selle brauser või seade peatus, käivitab Autonomy selle automaatselt ühe korra uuesti. Kui teine katse läheb samamoodi katki, on käivitus Failed sildiga Runner problem. Runneri probleemiga katsete eest arvet ei esitata.

Mida käivituse leht näitab, loe lehelt Käivitused ja tulemused.

Probleemid

Probleem on viga või mure sinu tootes, millest teatas inimene või mille leidis Autonomy. Selle liik on Bug (midagi on katki) või Risk (lünk või mure; midagi pole veel katki).

Probleeme hoitakse tulemustest eraldi. Ka läbinud käivitus võib teatada probleemist, näiteks konsooliveast või nurjunud päringust, mida see teel nägi, ja probleem ei muuda kunagi sammu ega käivituse tulemust. Probleemist saad teha pileti Linearis või Jiras. Vaata Probleemid.

Mälu

Mälu on see, mida agent teab sinu projektis asjadeni jõudmise kohta: kuhu leht kolis, milline e-kiri on aeglane, mida oodata. Käivitused pakuvad mälukirjeid välja ja inimesed saavad neid lisada. Mälu ei lisa kunagi samme, ei registreeri vigu ega muuda tulemust. Tooteteadmised on ülevaade, mille kirjutad agendile nagu uuele testijale. Vaata Mälu.

Kus käivitused toimuvad

Käivitused toimuvad Autonomy runneritel: masinatel, mis majutavad käivituse kasutatavat brauserit, seadet või HTTP-klienti. Iga käivitus algab väljalogituna, värske brauseri- või rakenduseseansiga. Enterprise-paketi puhul saavad käivitused toimuda ka sinu enda masinates. Vaata Runnerid.

Nimetamisest

Töölaud, API ja see dokumentatsioon kasutavad käivitatava teekonna kohta mõistet testjuhtum ja testjuhtumite valiku kohta mõistet testiplaan. Mõned API identifikaatorid kannavad veel vanemaid nimesid; kus see on oluline, on lehel see eraldi kirjas.

Mõisted