Mõisted

Autonomy kasutab väikest hulka mõisteid veebi, mobiili, API ja sõnumite kontrollide jaoks. Sama mudel kehtib olenemata sellest, kas käivitus algab töölaualt, pull request'ist, Slackist, integratsioonist või AI-assistendist.

Testjuhtumid

Testjuhtum on defineerimise ja täitmise ühik: üks nimetatud teekond järjestatud sammude loendiga. See on see, mida QA-praktikas nimetatakse testjuhtumiks, ja just see ongi see, mis tegelikult käivitatakse.

Sammud kirjeldavad kavatsust — Navigate, Type, Tap/Click, Scroll, Wait, Assert, Visual Compare, Validate Network — ja agent lahendab need reaalajas toote vastu käivitamise hetkel. Testjuhtum võib katta brauseriseansse, mobiiliseansse, otseseid API-kontrolle, postkasti ootamisi, SMS-kontrolle ja visuaalseid võrdlusi.

Testjuhtumi saad koostada samme kirjutades, voogu lihtsas keeles kirjeldades või seda ühe korra salvestades. Vaata Koostamine.

Testiplaanid

Testiplaan on testjuhtumite nimetatud valik — mitu-mitmele, nagu esitusloend. Testjuhtumid on iseseisvad; testiplaan viitab neile, nii et sama testjuhtum saab kuuluda smoke-testiplaani ja väljalaskeplaani ilma dubleerimata.

Testjuhtum ei vaja testiplaani. Üksiku testjuhtumi otse käivitamine on täisväärtuslik töövoog. Vaata Testiplaanid.

Käivitused

Käivitus on ühe testjuhtumi üks käivitamine ühe sihtkeskkonna vastu. Igal käivitusel on olek, ajajoon, artefaktid, jälgimisandmed, genereeritud kontrollid ja ülevaatuslink.

Käivitus on tõendite aatomüksus — kõik allavoolu viitab sellele. Testiplaani käivitamine loob ühe käivituse iga liikmestestjuhtumi kohta, mis on grupeeritud plaani käivituse alla, mille olek tuletatakse liikmetest, mitte ei salvestata eraldi.

Käivitused on see, mida seod pull request'ide, Slacki sõnumite, väljalaskemärkmete ja intsidentide järelmeetmetega.

Keskkonnad

Keskkond ütleb Autonomyle, kus ja millise konfiguratsiooniga käivitada: eelvaate URL, staging-rakendus, tootmise smoke-testi pind, mobiiliartefakt või privaatne sihtmärk, mis on ligipääsetav sinu taristu kaudu. Keskkondi hallatakse töölaual Environments alt ja need valitakse testjuhtumi koostamisel.

Keskkonna väärtusi viidatakse sammudest kujul {{env.VAR_NAME}}, mitte ei kleebita otse sisse, nii et sama testjuhtum töötab iga sihtmärgi vastu, kuhu selle suunad.

Kasuta selgeid keskkonnanimesid. Ülevaatajad peavad teadma, kas tõendid pärinevad eelvaatest, staging'ust, tootmisest või privaatsest käivituskeskkonnast.

Tõendid

Tõendid on käivituse ülevaatuspind. Need ühendavad reaalajas vaate, taasesituse video, ekraanipildid, API-vastused, võrgu ajastuse, postkasti ja SMS-sõnumid, logid, genereeritud kontrollid, visuaalsed võrdlused ja jälgimispöörded üheks ajajooneks.

Tõendid peaksid kiiresti vastama kolmele küsimusele:

• Mida Autonomy üritas teha?
• Kus teekond õnnestus või ebaõnnestus?
• Milline artefakt tõestab tulemust?

Kontrollid

Kontrollid on kinnitused, mida Autonomy hindab käivituse ajal või pärast seda. Mõned pärinevad testjuhtumist. Teised genereeritakse vaadeldud käitumise, võrguvastuste, sõnumite või visuaalse oleku põhjal.

Lepingukontrollid on eraldiseisev klass: kui testjuhtumile on lisatud OpenAPI dokument, on vastuste valideerimine deterministlik ja seda ei saa mudelipõhise kinnitusega üle kirjutada. Vaata API-vastavus.

Käivituskeskkonnad

Autonomy saab käivitada avalike eelvaate-URL-ide, staging-rakenduste, üleslaaditud mobiiliartefaktide ja privaatsete keskkondade vastu. Kasuta esimese käivituse jaoks lihtsaimat ligipääsetavat keskkonda ning vii privaatsed või vastavusnõuetele tundlikud vood vajadusel oma taristusse.

Nimetamisest

Töölaud, API-liides ja see dokumentatsioon kasutavad käivitatava ühiku kohta mõistet testjuhtum ja testjuhtumite valiku kohta mõistet testiplaan. Mõned vanemad API-väljad ja identifikaatorid kasutavad endiselt plan selle kohta, mis on nüüd testjuhtum; kus see oluline on, märgitakse lehel eraldi.