Käivituse tõendid

Iga Autonomy käivitus loob ülevaadatava tõendite tööruumi. See on loodud hetkeks pärast käivituse lõppu, kui ülevaataja peab otsustama, kas toode on liitmiseks ohutu, kas tõrge on reaalne ja kes peab tegutsema.

Esmalt kokkuvõte

Alusta käivituse kokkuvõttest. See näitab testjuhtumit, sihtkeskkonda, olekut, tõrkepunkti ja kõige kasulikumaid artefaktide linke. Õnnestunud käivitused peaksid olema kiiresti skanneeritavad. Ebaõnnestunud käivitused peaksid tegema järgmise tegevuse ilmseks.

Käivituse reaalajas jälgimine

Veebikäivituse ajal edastab tööruum seda reaalajas. Vaateakna kohal olev märk ütleb, millise transpordiga oled ühendatud:

Tagavaraks langemine ei ole veaolek. Kui ühendus ei õnnestu või halveneb käivituse ajal, jätkab tööruum kaadritõendite kuvamist ja käivitus ei ole mõjutatud. Reaalajas video on saadaval veebikäivituste jaoks; mobiilsed käivitused kasutavad kaadri tsüklit.

Edastus toimib ainult siis, kui keegi vaatab, nii et lehe lahti jätmine ei ole käivituse lõpuleviimiseks vajalik.

Ajajoon ja taasesitus

Ajajoon näitab iga sammu, mida Autonomy üritas, ja mida ta vaatles. Brauseri- ja mobiilsete käivituste puhul aitavad ekraanipildid ja taasesitus kinnitada, kas probleem on kasutajale nähtav. API-, postkasti- ja SMS-kontrollide puhul salvestab ajajoon päringu, vastuse, sõnumi või ootamistingimuse, mis tulemust tõestas.

Kanaliteülesed artefaktid

Autonomy saab samale teekonnale lisada mitu tõenditüüpi:

• Brauseri taasesitus ja ekraanipildid.
• Mobiilsed ekraanipildid ja seadmeoleku hetkeseisud.
• API päringu- ja vastusekontrollid.
• Võrgu koormisgraafik ja HAR-eksport.
• E-posti postkast ja OTP-sõnumid.
• SMS-sõnumid ja kinnituskoodid.
• Visuaalsed võrdlused Figma kaadri või üleslaaditud viitega, koos erinevuste ja ülevaataja leidudega.
• Genereeritud kontrollid, hoiatused ja taastekitamise märkmed.

API-vastavus

Kui testjuhtumile on lisatud OpenAPI dokument, näitab tööruum ka käivituse lepinguotsust: värava olekut, mitut dokumenteeritud operatsiooni teekond vaatles, deterministlikke lepingutõrkeid ja määramatuid tulemusi ning leidude arvu. Järeldatud OpenAPI Overlay paigad on loetletud oma põhjendusega ja need saab alla laadida. Vaata API-vastavus.

Tõrgete ülevaatus

Ebaõnnestunud käivituse puhul ava ebaõnnestunud kontroll, võrdle seda toorartefaktiga, seejärel kasuta seotud taasesitust, ekraanipilti, päringut või sõnumit käitumise kinnitamiseks. Kui tõrge kuulub pull request'i, peaks Autonomy PR-kommentaar osutama samadele tõenditele, mitte looma teist kokkuvõtet.

Soovitatud täpsustused

Pärast käivituse lõppu loeb Autonomy selle tõendid uuesti läbi ja otsib samme, mille ebaõnnestumise põhjus on sammu sõnastus, mitte toode: sihtmärk, mida ekraan ei suuda eristada, identiteet, mis sellel ekraanil nähtav pole, avatekstina sisestatud mandaat, mitteidempotentsed testandmed, aegunud baas, proosas kirjeldatud väide, millel on kontrollitav leping, või ootetingimus, mis on lõpetamise tõestamiseks liiga nõrk.

Kui selline samm leitakse, ilmub ajajoonel sammu kõrvale märgis. Selle avamisel kuvatakse praegune samm, pakutud samm, põhjendus ning täpsed jäljekirjed ja ekraanipilt, mis soovituse ajendasid. Sina kiidad heaks või lükkad tagasi; enne seda ei muutu midagi.

Soovitus võib sammu täpsustada, kuid mitte kunagi nõrgendada: see ei saa väidet eemaldada ega leevendada, tegevust muuta, sammu kustutada ega saladust lisada. Heakskiitmine loob tavalise testjuhtumi redaktsiooni, mis salvestab lähtekäivituse ja tõendid. Kui sammu vahepeal muudetakse, märgitakse soovitus aegunuks ja seda ei saa rakendada. Andmete või keskkonna nõuanded (aegunud fixture'id, dubleeritud üleslaadimised) sammu muudatust ei sisalda; nende märkimine salvestab järeltegevuse juhtumit puutumata. Käivituse enda tulemus ei muutu kunagi.

Ligipääs ja säilitus

Tõendid on seotud käivitust omava organisatsiooniga. Säilitus, jagamine ja keskkonna ligipääs sõltuvad sinu organisatsiooni seadetest ja juurutusrežiimist.