Labāko Selēna automatizācijas testēšanas rīku apskats: Robot Framework vs Katalon Studio

Nesen man bija iespēja strādāt ar vairākām programmatūras testēšanas komandām, lai palīdzētu tām sākt darbu pie saviem testēšanas automatizācijas centieniem. Komandas sastāv galvenokārt no manuāliem testētājiem, un dažiem, kuriem jau iepriekš bija pieredze ar testa automatizāciju, taču neviens no viņiem nebija pazīstams ar tādu programmēšanu kā izstrādātāji. Lietojumprogrammas galvenokārt ir balstītas uz tīmekli, un tām ir pievienotas mobilās lietotnes. Mēs izveidojām īsu sarakstu ar vairākiem testēšanas rīkiem, ieskaitot bezmaksas un bezmaksas, un pēc tam nāca klajā ar diviem labākajiem - Robot Framework un Katalon Studio. Tās kopumā ir diezgan labas izvēles, tāpēc es domāju, ka būtu interesanti veikt salīdzinājumu blakus un redzēt, kā viņi veiksies nākotnē.

Tehnoloģijas

Abi ir veidoti uz Selēna bāzes - automatizācijas ietvars, kuru pašlaik atbalsta labākie tīmekļa pārlūku izstrādātāji (Google, Microsoft, Apple, Mozilla). Var droši teikt, ka šobrīd Selēns ir labākais veids, kā automatizēt savu interneta pārlūku.

Selēnu var arī izmantot, lai automatizētu mobilās lietotnes, izmantojot Appium. Piešķirot, ka gan Google, gan Apple izdomā savu veidu, kā veikt automatizāciju, izmantojot Selēns un Appium nozīmē, ka mēs varam atkārtoti izmantot avota kodu un zināšanas vairākās platformās - iemācīties vienreiz, rakstīt visur.

Tātad tehnoloģijai tas ir kaklasaite. Robotu ietvars - Katalon Studio: 1. – 1.

Cena

Abas ir brīvas, bez saistībām. Novecojušas “uzņēmuma” programmatūras, piemēram, UFT, darbināšana mums tikai samazina izmaksas.

Robotu ietvars - Katalon Studio: 1. – 1.

Instalācija un komponenti

Robotu pamatprogrammai ir divi atsevišķi komponenti: testa skrējējs un IDE. Šo komponentu uzstādīšana ir nedaudz sarežģīta, bet, kad lietas ir paveiktas, jums ir vērts iet. Pirmkārt, datorā jāinstalē Python. Pēc tam palaidiet dažas komandrindas. Ja izmantojat operētājsistēmu Windows, jūs varētu saskarties ar problēmām, jo ​​šī operētājsistēma nav Python pirmās klases iedzīvotājs, taču tās reti notiek, un risinājumus var viegli googlēt.

Faktiski ir trešā “neoficiālā” sastāvdaļa, kuru es pieminēšu vēlāk.

Katalon Studio, manuprāt, šī ir viena no labākajām instalēšanas pieredzēm. Ja esat instalējis Eclipse, tad jūs to zināt. Operētājsistēmai Windows jums būs jālejupielādē ZIP fails un tā izraksts. MacOS ir pieejams DMG fails. Diezgan glīti.

Robotu ietvars - Katalon Studio: 0.5–1.

Testa dizains

Ierakstīšana (bez koda testa automatizācija)

Ja godīgi, es kā programmētājs neesmu liels ierakstu un atskaņošanas ventilators. Man šķiet, ka vienkāršāk un ātrāk ir vienkārši ievadīt kodu. Tomēr tiem, kam ir maza pieredze ar kodēšanu, spēja ierakstīt savu darbību un ģenerēt testa gadījumus ir milzīgs produktivitātes ieguvums.

Diemžēl Robot Framework nenodrošina ierakstītāju - un tur parādās trešais komponents. Selēna projektā ir iekļauts draņķīgs Firefox papildinājums ar nosaukumu Selēns IDE, kas būtībā ir testa ierakstu un atskaņošanas rīks. Selēna IDE var būt papildinājumi (tas ir papildinājums papildinājumam!), Un kāds laipni uzrakstīja papildinājumu, kas palīdz Selēna IDE ģenerēt Robot Framework kodu. Vēl jāveic daži instalācijas darbi, taču tas darbojas.

Negatīvie ir tas, ka Selēna IDE izstrāde kādu laiku nav bijusi aktīva, un tā ir balstīta uz Firefox veco papildinājumu sistēmu, kuru viņi ir nolēmuši atvienot 2017. gada beigās. Jā, Selēna IDE tajā laikā pārstās darboties. jaunākām Firefox versijām.

Katalon Studio nāk ar saviem papildinājumiem pārlūkam Chrome, Firefox un pat Internet Explorer. Instalēšana ir tikpat vienkārša kā apmeklēšana attiecīgajos tīmekļa pārlūka papildinājumu veikalos un noklikšķiniet uz instalēt.

Katalon Studio šeit palielina savu vadību. Robotu ietvars - Katalon Studio: 0.5–1.

Kodēšana (skriptu veidošana)

Robotu sistēmai ir sava domēna valoda (DSL). Pielāgotus atslēgvārdus var rakstīt Python un Java, taču, runājot par lietu pārbaudi, jums ir jārunā ar šo DSL. Kāpēc tas imitē cilvēku valodas vienkāršiem testa gadījumiem, sarežģīti ir diezgan roboti. Es personīgi uzskatu, ka tas ir mazāk aprakstošs nekā parastās programmēšanas valodas:

*** Iestatījumi ***
Bibliotēkas stīga
*** Pārbaudes gadījumi ***
Diapazona diapazons
 : PAR {INDEX} USD 1 3
 \ Žurnāls $ {INDEX}
 \ $ {RANDOM_STRING} = Izveidot izlases virkni $ {INDEX}
 \ Log $ {RANDOM_STRING}
For-Loop-Elements
 @ {ITEMS} Izveidojiet sarakstu ar Star Trek Zvaigžņu kariem Periju Rodanu
 : PAR {ELEMENT} ASV dolāriem @ {ITEMS}
 \ Žurnāls $ {ELEMENT}
 \ $ {ELEMENT} Aizstāt virkni $ {ELEMENT} $ {SPACE} $ {EMPTY}
 \ Žurnāls $ {ELEMENT}
For-Loop-Exiting
 @ {ITEMS} Izveidojiet saraksta 1. labo elementu
 : PAR {ELEMENT} ASV dolāriem @ {ITEMS}
 \ Žurnāls $ {ELEMENT}
 \ Palaist atslēgvārdu, ja '$ {ELEMENT}' == 'Break On Me' iziet no cilpas
 \ Log Veiciet citas darbības šeit ...
Atkārtot darbību
 Atkārtojiet 2. atslēgvārda žurnālu Atkārtojot šo ...

Bet Robot Framework IDE ar sintakse izcelšanu ir labs, tāpēc es domāju, ka jebkurā gadījumā es varu ātri pie tā pierast.

Savukārt Katalon Studio atbalsta Groovy un, protams, Java (Groovy balstās uz Java). Kāpēc tā nav tik populāra kā vispārizglītojošās programmēšanas valodas, piemēram, Java, C # vai JavaScript - tai ir līdzīgas produktīvās struktūras kā Ruby, Python vai JavaScript. Vēl viena laba lieta ir tā, ka ir ļoti daudz bezmaksas Java bibliotēku, kuras var darīt tikai visu, tāpēc mums nevajadzēja pārrakstīt visu.

Bet stilīgākais Katalon Studio ir tas, ka mēs jebkurā laikā varam pārslēgties starp manuālo režīmu (ar ierakstītāju un point-and-click GUI) un skripta režīmu (ar Groovy redaktoru). Mēs to izmantojām, lai izglītotu manuālos testētājus koda rakstīšanai. Sākumā viņi izstrādā savus pārbaudes gadījumus, izmantojot point-and-click darbības un elementus, pēc tam pārslēdzas uz skripta režīmu, lai redzētu līdzvērtīgu Groovy kodu. Ļoti jauka īpašība.

Robotu ietvars - Katalon Studio: 0.5–1.

Testa dati

Abi ir labi. Testa gadījumu datus var iegūt no Excel failiem, datu bāzēm utt. Mēs saņēmām to, kas mums vajadzīgs, tāpēc pagaidām nav par ko sūdzēties.

Robotu ietvars - Katalon Studio: 1. – 1.

Atslēgvārdu paplašināmība

Pielāgotus atslēgvārdus var rakstīt gan Robot Framework, gan Katalon Studio. Viņiem bija nepieciešama atkārtota svinīga sintakse, taču testētāji var rakstīt paši savus atslēgvārdus bez programmētāju palīdzības. Dokumentācija un apmācība ir pietiekami laba, tāpēc es to atstāšu kā neizšķirtu. Robotu ietvars - Katalon Studio: 1. – 1.

Izpilde, ziņošana un integrācija

Mēs sagaidām, ka mūsdienu testa automatizācijas rīki spēs izpildīt testa gadījumus, izmantojot komandrindu un CI, piemēram, Jenkins. Mums arī ir jābūt ziņojumiem lietotnē, lai būtu viegli izpētīt kļūdas. Pārskati jāsagatavo arī arhivējamā formātā (HTML, CSV, PDF), lai vēlāk tos varētu meklēt.

Liekas, ka Katalon Studio eksperimentē ar dabiskāku JIRA integrāciju, kas man izklausās labi, jo mēs arī izmantojam JIRA, bet ļaujiet man redzēt, cik labi tas darbosies.

Viena lieta, kas pietrūkst abās, ir attēls, lai samazinātu CI ieviešanas un konfigurēšanas laiku, bet varbūt tas ir tikai mans slinkums.

Vēl viena kaklasaite man. Robotu ietvars - Katalon Studio: 1. – 1.

Kopiena un atbalsts

Abi produkti tiek aktīvi attīstīti, un tos labi atbalsta to īpašnieki, kā arī sabiedrība. Uz jautājumiem tiek atbildēts ļoti īsā laikā. Turklāt, tā kā Robot Framework un Katalon Studio ir balstīti uz selēnu, sarežģītu scenāriju gadījumā mēs diezgan daudz varam ķerties pie vaniļas selēna un WebDriver.

Liekas, ka Katalon Studio ir izveidojis uzņēmums, kas sniedz programmatūras testēšanas pakalpojumus, kas nozīmē, ka viņi zina, kādas funkcijas ir praktiskas un vajadzīgas. Robotu ietvars ir populārs atvērtā koda projekts vietnē GitHub, tāpēc es sagaidu to pašu.

Pēdējā kaklasaite šeit. Robotu ietvars - Katalon Studio: 1. – 1.

Secinājums

Robotu ietvars: 7,5 / 9 - Katalon Studio: 9/9.

Abi rīki ir lieliska izvēle testēšanas automatizācijas komandām, un Katalon Studio ir lielāka pieredze lietotāju pieredzē, un tāpēc tie ir labāki nekā Robot Framework testētāju testēšanas automatizācijas komandai. Konkurence vienmēr ir izdevīga patērētājiem, un es ceru nākotnē redzēt vairāk spēlētāju sasniegumu.

Mana emuāra ziņa: Robot Framework vs Katalon Studio