Pull request'ide testimine
Käivita testiplaan igal pull request'il selle eelvaate vastu ja saa tulemus GitHubi kontrollina.
Pull request'ide testimine käivitab sinu teekonnad enne koodi liitmist. Kui pull request avatakse või seda uuendatakse, ootab Autonomy selle eelvaate juurutust, käivitab selle vastu projekti pull request'i plaani ja teatab tulemuse GitHubi kontrollina.
Kasuta seda teekondade jaoks, mis on ülevaatajatele olulised, kuid mida nad build-logidest kontrollida ei saa: registreerumine, ost, sisseelamine, õigused, kviitungid.
Kolm viisi käivituse alustamiseks
| Päästik | Mis juhtub |
|---|---|
| Iga pull request | Iga uus commit avatud pull request'il käivitab projekti pull request'i plaani. Seadista see allpool. |
Kommentaar: @autonomy test the checkout flow against the preview | Ülevaataja küsib käivitust nõudmisel. Vaata GitHubi rakendus. |
| Sinu pipeline | CI-samm kutsub Autonomy API-t, kui eelvaate URL on teada. Vaata GitHub Actions. |
Seadistamine
Enne alustamist
- Paigalda Autonomy GitHubi rakendus hoidlasse.
- Sul peab olema testiplaan, mille käivitused läbivad eelvaate- või staging-keskkonnas.
- Sinu majutusteenus peab teatama eelvaate juurutustest GitHubile, nagu teevad Vercel ja Netlify, või anna hoidlale testimiseks hoopis keskkond.
- Ühenda lehel Organization → Integrations → GitHub GitHub ja vali hoidlale projekt. Ainult administraatoritele.
- Ava projekti Settings → Integrations. Vali jaotises Pull requests testiplaan ja lülita sisse Run a test plan on every pull request.
- Ava pull request. Kontroll ilmub kohe, kui commit on üles lükatud.
Mustandina avatud pull request'id ja forkidest tulevad pull request'id automaatselt ei käivitu. Kui lükatakse üles uuem commit, käivitab Autonomy kõige uuema.
Kuidas pull request'i käivitus toimib
- Pull request avatakse, seda uuendatakse, see avatakse uuesti või märgitakse ülevaatuseks valmis.
- Autonomy ootab selle commit'i eelvaate juurutust kuni 10 minutit. Seni on kontrollis kirjas „Waiting for the preview deployment of this commit.“
- Plaan käivitub eelvaate vastu. Kui eelvaadet ei ilmu, käivitub see hoopis hoidla keskkonnas ja kontroll ütleb seda.
- Kontroll uueneb käivituste lõppedes ja sisaldab linki igale käivitusele.
Automaatsed käivitused teatavad tulemusest ainult kontrolli kaudu. Kommentaaris küsitud käivitused hoiavad lisaks ajakohasena ühte kommentaari pull request'il.
Kontroll
Kontrolli nimi on Autonomy QA ja selle lõpptulemus on üks järgmistest:
| Lõpptulemus | Millal |
|---|---|
success | Iga käivitus läbis. |
failure | Mõni käivitus kukkus läbi. |
neutral | Mõni käivitus ei saanud alata, kommentaari ei saanud käivitada või tulemused kustutati. |
timed_out | Mõni käivitus kestis kauem kui selle ajalimiit. |
cancelled | Käivitused tühistati. |
Läbikukkunud käivitus kukutab kontrolli läbi, olgu selle oodatud tulemuseni jõudmata jäänud või agent ei suutnud näidata, et jõuti. Kontroll annab iga käivituse põhjuse, näiteks „the step ran out of time“. Ka käivitus sildiga Runner problem kukutab selle läbi, pärast seda, kui Autonomy on selle juba ühe korra uuesti käivitanud; käivita kontroll hiljem uuesti.
Käivitus, mis ei saanud alata, jätab kontrolli olekusse neutral: keskkonda ei saanud testida, nii et pole midagi hinnata.
Kontrollil on nupud Re-run failed ja Re-run all. Toimib ka GitHubi enda uuesti käivitamine.
Kontrolli läbikukkumine probleemide korral
Probleemid ei muuda kunagi käivituse tulemust, nii et vaikimisi läbib läbinud käivitus kontrolli ka siis, kui see teatas probleemist. Kui soovid, et vead blokeeriksid liitmise, lülita projekti seadetes jaotises Pull requests sisse Fail the check on issues. Vaikimisi väljas.
Kui see on sees, muudab avatud Bug, mille kontrolli käivitus leidis või uuesti avas, läbiva kontrolli olekuks failure: „Failed: a bug was found“. Riskid, märkmed ning vead, mille oled lahendanud või eiranud, ei loe. Vaata Probleemid.
Kaitstud eelvaated
Kui sinu eelvaated on kaitstud, salvesta möödapääsutoken või eelvaate parool selle keskkonna saladusena, mida käivitused kasutavad. Ära pane möödapääsu väärtusi testjuhtumitesse ega pull request'i kommentaaridesse.
Tõrkeotsing
Kontrolli ei ilmu
Kontrolli, et GitHubi rakendus on hoidlasse paigaldatud, et hoidlal on lehel Organization → Integrations → GitHub projekt ning et projektil on pull request'i plaan ja lüliti on sees. Mustandi- ja forkide pull request'id automaatselt ei käivitu.
Käivitused läksid hoidla keskkonda, mitte eelvaatesse
Selle commit'i eelvaate juurutusest ei teatatud GitHubile 10 minuti jooksul. Kontrolli, et sinu majutusteenus teatab eelvaate juurutustest GitHubile ja ehitab eelvaate iga commit'i jaoks.
Kontroll kukkus läbi, kuigi iga käivitus läbis
Fail the check on issues on sees ja mõni käivitus leidis vea. Ava käivituse Issues found.
Ei leidnud?