comprehensive guide choose best test management software
Sprievodca kupujúceho softvérom na správu testov:
Dnešný tutoriál bude taký, ktorý by ste si chceli uložiť ako záložku a ponechať si ho ako referenciu, ktorá vám poslúži, keď a kedy budete potrebovať vyhodnotiť svoje možnosti nástroja na správu testov.
Začneme rýchlym úvodom do správy testov a pri výbere najlepšieho softvéru na správu testov sa budeme venovať podrobnejším informáciám o krokoch, ktoré je potrebné dodržať.
Tento tutoriál o správe testov a rôznych nástrojoch vám poskytne kompletný prehľad o jeho význame, potrebe, parametroch a vlastnostiach spolu so zoznamom najlepších nástrojov na správu testov dostupných na trhu v jednoduchých termínoch pre ľahké pochopenie každého, kto chce vedieť a vybrať najlepší nástroj.
Čo sa dozviete:
ako spustiť súbor jar
- Úvod do správy testov
- Čo je nástroj na správu testov?
- Potreba nástrojov na správu testov
- Zoznam nástrojov na správu testov
- Open Source vs. Funkčne bohaté obchodné nástroje
- Parametre pri výbere najlepšieho nástroja
- 9 kritérií kvality pre najlepší produkt na správu testov
- Povinné funkcie
- Užitočné tipy a metriky na hodnotenie a porovnanie rôznych nástrojov
- Parametre pre porovnanie nástrojov
- Matica a grafy porovnania nástrojov
- Záver
- Odporúčané čítanie
Úvod do správy testov
Na trhu je k dispozícii niekoľko nástrojov na správu testov. Pri výbere nástroja by ste preto mali venovať nesmiernu pozornosť. Pri výbere nástroja treba brať do úvahy predovšetkým faktory ako náklady, produktivita, podpora mobilných zariadení atď.
Tu je rýchly obnovovací diagram STLC pre nás všetkých:
Pýtate sa, prečo s tým začíname, len nám chceme pripomenúť, že celú činnosť riadenia máme životný cyklus testovania softvéru je to, čo nazývame ako Správa testov.
Správa testov je proces organizovania a kontroly testovacích procesov, testovacích prostriedkov a artefaktov pre projekty manuálneho alebo automatizovaného testovania. Cieľom správy testov je zlepšiť úspešnosť testov a tým zvýšiť kvalitu softvéru.
Na nasledujúcom obrázku je znázornený manažment testov, ktorý riadi všetky organizačné aspekty a fázy testovania.
Ďalej sú uvedené úlohy a činnosti, ktoré sú zahrnuté:
- Príprava testovacieho prípadu.
- Plánovanie vykonania testu.
- Monitorovanie vykonania testu.
- Hlásenie výsledkov skúšky.
- Analýza výsledkov skúšky.
- Kontrola úloh testovania a úplnosti výsledkov skúšky.
- Identifikácia rozsahu vylepšenia v Testovaní aplikácií.
- Vedenie testovacieho tímu a testerov.
- Riadenie vonkajších a vnútorných vzťahov.
- Tvorba dokumentácie súvisiacej s testovacími činnosťami.
- Odhad testovacieho úsilia.
- Plánovanie testu.
- Meranie a sledovanie testovacích cyklov.
- Organizácia testovacích prípadov.
- Správa testovacích prostriedkov a artefaktov.
Čo je nástroj na správu testov?
Nástroje na správu testov sledujú, ako sa testovanie vykonáva / plánuje, generujú / hlásia stav aktivít QA a systematicky organizujú aktíva / artefakty. Tieto nástroje sa používajú na správu a sledovanie procesu testovania softvéru - automatizovaného aj manuálneho.
Spravidla tieto nástroje obsahujú správu nehôd, správu problémov, správu testovacieho tovaru, sledovanie chýb , plánovanie a monitorovanie testov, zaznamenávanie výsledkov, protokoly o testoch atď. Nástroje na správu testovacích prípadov obsahujú rôzne moduly, ktoré sa používajú na správu rôznych fáz STLC.
Zvyčajne sa používajú na podporu manuálneho testovania, zhromažďovanie údajov o vykonávaní automatizovanými testami, generovanie matice vysledovateľnosti požiadaviek ( RTM ), spracúvajú viaceré platformy a prostredia a poskytujú informácie o zistených chybách v softvéri.
Potreba nástrojov na správu testov
Podľa prieskumov sa v rámci zabezpečenia kvality softvéru využíva viac ako 50 percent celkových nákladov na softvér a toto číslo je u kritického softvéru ešte vyššie. Je preto veľmi dôležité vo vašom projekte použiť nástroj na správu testovacích prípadov, ktorý môže zlepšiť vaše testovacie procesy a kontrolovať celkové náklady na testovanie.
Mnoho prípadových štúdií dokázalo, že manuálne riadenie testov má niekoľko nevýhod, ktoré je možné vyriešiť použitím nástroja na správu testov.
Body, ktoré sú uvedené nižšie, definujú jeho potrebu:
- Kvôli vysokej miere zložitosti testovacích aktivít je efektívny a škálovateľný softvér na správu testov nevyhnutnosťou pre organizáciu.
- Tieto nástroje pomáhajú pri zisťovaní stavu testovaného systému (SUT), čím koordinujú rôzne testovacie činnosti a udržiavajú celkový testovací proces na dobrej ceste.
- Tieto nástroje podporujú víziu racionalizácie a reformy procesu testovania, aby umožnili okamžitý prístup k analýze údajov, nástrojom spolupráce a hladkej a efektívnej komunikácii medzi viacerými projektovými tímami.
- Mnoho nástrojov obsahuje možnosti správy požiadaviek, ktoré umožňujú zosúladiť návrh testovacieho prípadu s požiadavkami.
- Sledovanie chýb a projektové úlohy sa vykonávajú v jednej aplikácii, aby sa zjednodušil proces testovania.
Zoznam nástrojov na správu testov
Na trhu je veľa komerčných a málo nástrojov otvoreného zdroja. Môžete sa obrátiť na našu stránku tu získať zoznam dostupných najlepších systémov riadenia testov.
V tomto zozname bolo skontrolovaných asi 30+ nástrojov a je medzi nimi spomenutých aj 15 najlepších. Kontrola nástrojov vám určite pomôže pri výbere vhodného nástroja pre váš projekt.
Odporúčané nástroje:
# 1) TestRail
TestRail poskytuje komplexné webové riešenie správa testovacích prípadov pomôcť tímom zorganizovať testovacie úsilie a získať prehľad o testovacej činnosti v reálnom čase. Poskytujte rýchlu spätnú väzbu o kvalite aplikácií pomocou výkonných prehľadov a metrík spoločnosti TestRail.
Pomocou TestRail môžete ľahko sledovať stav jednotlivých testov. Merajte pokrok pomocou informatívnych informačných panelov a správ o činnosti. Porovnajte výsledky viacerých testovacích cyklov, konfigurácií a míľnikov. Sledujte pracovné zaťaženie tímu, upravte priradenia a zdroje a zvýšte svoju produktivitu testovania pomocou prispôsobených zoznamov úloh, filtrov a e-mailových upozornení.
TestRail je vysoko prispôsobiteľný s možnosťami inštalácie v cloude alebo na mieste. Integrácia s riešeniami na sledovanie defektov a spoluprácu, ako sú Atlassian Jira, FogBugz, Bugzilla, Gemini, Axosoft, GitHub a TFS; s nástrojmi na automatizáciu testov, ako je Ranorex Studio, a mnohými ďalšími.
=> Zaregistrujte sa a vyskúšajte bezplatnú skúšobnú verziu TestRail Dnes sa nevyžaduje kreditná karta!
# 2) TestCaseLab
TestCaseLab vám pomôže ľahko spravovať vaše testovacie prípady a integrovať ich so sledovačmi chýb.
TestCaseLab vám umožňuje sledovať väčšinu testovacích aktivít: vytvárať testovacie prípady, kategorizovať ich, zhromažďovať ich v plánoch testov a spúšťať testovacie chody, hlásiť výsledky skupine Jira atď. Najlacnejší plán začína od 40 dolárov mesačne pre 500 testovacích prípadov a vy nebudete musieť platiť ďalšie poplatky za používateľa!
Ako vedúci pracovník v pozícii CEO, CTO, PM alebo QA pravdepodobne budete chcieť, aby QA fungovali efektívnejšie a rýchlejšie, šetrili rozpočet a platili iba za testovacie prípady, ktoré používatelia neobmedzujú. Okrem toho nasaďte ľahko použiteľný a užívateľsky prívetivý nástroj, aby váš tím sabotoval jeho používanie.
Alebo ak ste technikom QA, chceli by ste začať testovať rýchlejšie a tráviť menej času rutinnými úlohami, ušetrite si čas tým, že urobíte menej interakcií pomocou hromadných úprav. Aktualizujte testovacie prípady za behu a netrávte veky času zmätením nových systémov. Oplatí sa to vyskúšať, nie?
Kľúčové vlastnosti:
- Neobmedzený počet používateľov a projektov
- 6 rôznych rolí, ktoré zodpovedajú vašim potrebám
- Integrácia s: Jira, Redmine, Pivotal Tracker, Asana, YouTrack, Trello
- Export / Import testovacích prípadov
- Široká škála vlastností testovacích prípadov
- Plány skúšok / požiadavky
- Testovacie chody + priradenie používateľov
- Hlásenie výsledkov testovacieho prípadu v každom kroku testu
- Pokročilé vyhľadávanie
- Základné prehľady / prehľady
- Stream aktivít, denník histórie
- Synchronizácia v reálnom čase
=> Zaregistrujte sa na 30-dňovú bezplatnú skúšobnú verziu TestCaseLab Dnes sa nevyžaduje kreditná karta!
Prečítajte si tiež zoznam ďalších najlepších nástrojov:
Top 20 najlepších nástrojov na správu testov (nové rebríčky do roku 2020)
Open Source vs. Funkčne bohaté obchodné nástroje
Predtým, ako sa rozčleníte na podrobnosti každého nástroja, vyvstáva otázka ako:
Aký nástroj by ste mali hľadať - open-source alebo komerčný?
Máme ich veľmi málo možnosti otvoreného zdroja, napríklad:
- QATraq
- Redmine
- TestLink a
- Tarantula (na agilné riadenie testov).
Komerčné, ako napríklad:
- TestRail
- QTest
- PractiTest
- Zephyr
- Test Collab
- HP Quality Center
- QMetry a TestFLO pre JIRA
Ďalej uvádzame niekoľko rozdielov:
- Nástroje otvoreného zdroja môžu vykonávať veľa úloh dobre a dokonca aj niekoľko úloh lepšie.
- Nástroje otvoreného zdroja poskytujú flexibilitu, ale prispôsobenie vyžaduje veľa úsilia. Budete potrebovať silného technického správcu.
- Nástroje otvoreného zdroja sú vo všeobecnosti pomalšie ako komerčné nástroje, pretože zvyšujú výkonové problémy a spôsobujú, že sú nevhodné pre väčšie organizácie.
- Tiež by mohli chýbať nástroje otvoreného zdroja pri poskytovaní podpory, školení alebo robustných používateľských príručiek.
- Komerčné nástroje majú ľahko použiteľné interaktívne rozhrania.
- Väčšina komerčných nástrojov podporuje integráciu s ďalšími nástrojmi na správu testov, sledovanie chýb a automatizáciu testov. Najlepšie však fungujú, ak sa používajú vo vývojovom balíku, pre ktorý boli pôvodne určené.
- Hlavnou nevýhodou komerčných nástrojov je ich cena. Ich licenčné náklady sú zvyčajne vysoké a ich údržba je nákladná. Aby bolo možné tieto nástroje v projekte použiť, musí organizácia zdôvodniť náklady na zamestnanie licencovaného balíka na správu testov.
Pre malé spoločnosti, kde sa audity, súdne spory atď. Nepovažujú za faktory, sa neoplatí investovať do drahých komerčných nástrojov bohatých na funkcie. V takom prípade môžete ísť s nástrojom otvoreného zdroja alebo s alternatívami s nižšími nákladmi (napríklad JIRA, Redmine, TestLink, PractiTest, QaTrag, Tarantula atď.).
Na druhej strane, pre organizácie, ktoré požadujú vyspelú a dobre vyvinutú testovaciu platformu, ktorá sa neustále zdokonaľuje, kde sú audity, súdne spory atď. Značné faktory, je potrebné vychádzať z komerčných nástrojov bohatých na funkcie (ako QTest, HP Quality Center, Zephyr atď.) “
Parametre pri výbere najlepšieho nástroja
Ďalej je uvedených niekoľko parametrov, ktoré je potrebné zohľadniť pri výbere softvéru na správu testov.
# 1) Náklady
Najskôr odfiltrujte niektoré nástroje zo zoznamu všetkých dostupných nástrojov na základe rozpočtu projektu. Ak to vo veľkej organizácii umožňuje rozpočet, potom je použitie komerčného nástroja dobrou voľbou, pretože organizácia sa ľahko používa a udržuje.
Potom sa musíte rozhodnúť, koľko licenčných nákladov ste ochotní zaplatiť. Bude to závisieť od časového rámca, počas ktorého musíte nástroj používať. Mnoho komerčných nástrojov má tiež prispôsobenú licenciu, pri ktorej platíte podľa funkcií a doby používania, ktoré vyberiete.
# 2) Produktivita
Zvolený softvér na správu testov by mal zvýšiť produktivitu.
kde sú apky uložené v Androide
Keď sa povie „vylepšená produktivita“, malo by to určite pokrývať nasledujúce oblasti:
a) Podrobnosť informácií o teste : Nástroj by mal byť schopný poskytovať podrobné a užitočné informácie počas rôznych fáz procesu testovania.
Protokol o teste vygenerovaný nástrojom by mal byť schopný povedať vám presný krok, kde test zlyhal, aby šetril čas pri vyhľadávaní a replikácii problému.
Okrem toho by mal byť nástroj schopný dokumentovať stratégie testovania, udržiavať verzie testovacích prípadov, zaznamenávať chyby, prepájať príbehy používateľov, plánovať vykonávanie testov a nahrávať videá / obrázky.
b) Sledovanie správy vydania : Tento nástroj by mal byť schopný podrobne sledovať a aktualizovať zoznam testovaných a vydaných aplikačných modulov. Tiež by mal byť schopný poskytnúť úložisko, ktoré predstavuje jedinú verziu pravdy pre všetky zúčastnené strany, aby nedošlo k rozporu s požiadavkami.
c) Podpora spoločnosti Agile : V dnešnej dobe väčšina projektov prijíma agilnú metodiku, takže nástroj, ktorý si vyberáte, by mal byť schopný agilnú podporu tiež podporovať. Zahŕňa podporu funkcií, ako je vytváranie príbehov používateľov, šprinty, skrumáž, rýchlostné mapy, správy atď.
# 3) Integrácia s externými nástrojmi
Tento nástroj by mal ponúkať nepretržitú integráciu a mal by sa ľahko integrovať do nástrojov na automatizáciu a nástrojov na sledovanie chýb, aby bol celkový proces testovania rýchly a ľahký.
# 4) Mobilná podpora
Je naozaj užitočné, ak má nástroj plne funkčnú verziu k dispozícii aj pre mobilné zariadenia. To pomáha synchronizovať tím rozptýlený na rôznych miestach. Pomáha tiež pri monitorovaní 24 * 7.
# 5) Preferovaný kanál podpory
Nástroj, ktorý si vyberiete, by mal byť schopný poskytnúť dobrú podporu pre živý chat, telefónne hovory, zdvíhanie lístkov, helpdesk, vedomostnú základňu, často kladené otázky atď.
9 kritérií kvality pre najlepší produkt na správu testov
Existuje 9 kritérií kvality:
- Funkčnosť
- Použiteľnosť
- Účinnosť
- Prenosnosť
- Spoľahlivosť
- Udržateľnosť
- Všeobecné kvalifikácie dodávateľa
- Podpora predajcu
- Licencie a ceny
Povinné funkcie
Nižšie sú uvedené vysoký stupeň funkcie, ktoré musí mať každý nástroj na správu testov:
- Uľahčuje plánovanie, kontrolu a plánovanie.
- Testovanie zhromažďovania metrík.
- Informácie o vykonávaní záznamu.
- Monitorovacie schopnosti.
- Správa rôznych testovacích prostriedkov a artefaktov.
- Predstavuje vzťah medzi testovanými aktívami.
- Podpora podávania správ.
=> Môžete sa tiež obrátiť na našu stránku, ktorá vám poskytne podrobné vysvetlenie 4 základných vecí funkcie nástrojov na správu testov.
Užitočné tipy a metriky na hodnotenie a porovnanie rôznych nástrojov
Trh je plne nabitý niekoľkými produktmi na správu testov. Hľadanie správneho riešenia pre správu testov pre vašu organizáciu sa tak stáva náročným procesom.
Ďalej sú uvedené kroky, ktoré treba dodržať pri hodnotení nástroja:
# 1) Predtým, ako začnete skúmať tieto nástroje, je veľmi dôležité, aby ste pochopili potreby projektu. Nepokračujte vo výbere nástroja bez toho, aby ste vedeli, čo presne hľadáte a aké funkcie od nástroja očakávate.
#dva) Keď máte jasno v požiadavkách na projekt, začnite hodnotiť nástroje, ktoré zodpovedajú vášmu rozpočtu a majú sadu funkcií podľa vašich potrieb.
# 3) Namiesto toho, aby ste hľadali jeden nástroj, môžete mať tiež možnosť vyhľadať viac kompatibilných nástrojov, ktoré spolu môžu slúžiť ako riešenie správy testov a slúžiť všetkým vašim potrebám.
# 4) Ďalšia vec, ktorá príde do úvahy skôr, ako sa ponoríte do funkcie nástroja, je vaše vývojové prostredie. Otázky týkajúce sa súkromia, bezpečnosti, podpory správy IT, hostenia, nákladov na údržbu atď. S novým nástrojom by sa mali riešiť správne.
# 5) Ďalej musíte vziať do úvahy všetky technické problémy, ktoré musíte vyriešiť, ak budete používať nový nástroj.
# 6) Teraz by ste mali zvážiť funkcie správy testov, ktoré tento nástroj ponúka. Skontrolujte, či nástroj ponúka všetky základné základné funkcie požadované pre správu testov.
# 7) Ak už používate nástroj na správu defektov a chcete v ňom pokračovať, skontrolujte, či je nový nástroj dobre integrovaný do vášho systému správy defektov. Toto je potrebné na správne nahlásenie a sledovanie chýb.
Ak v organizácii nechcete používať žiadny existujúci nástroj na správu defektov a chcete ísť s úplne novým riešením, vyberte nástroj, ktorý má zabudované riešenie pre správu defektov
# 8) Bez ohľadu na to, ktorý nástroj alebo sadu nástrojov si vyberiete, musí byť schopný nadviazať spojenie medzi funkčnými požiadavkami a testovacími prípadmi.
Skúste odpovedať na nasledujúcu sadu otázok na vyhodnotenie nástroja:
- Mám jasno vo všetkých svojich požiadavkách na projekt?
- Čo bude lepšie na základe mojich požiadaviek a rozpočtu - jediný výkonný nástroj alebo viac nástrojov spolu slúžiacich ako kompletné riešenie správy testov?
- Aký je najlepší dizajn nástroja, ktorý dokáže dobre zapadnúť do mojej organizácie a projektu?
- Mám si nástroj kúpiť alebo prenajať?
- Budem sám hostiteľom nástroja alebo si prenajmem službu?
- Ako sa môj nástroj integruje s ostatnými podpornými nástrojmi?
- Potrebujem API alebo akýkoľvek otvorený dizajn?
- Je môj nástroj k dispozícii pre mobilné platformy?
- Sú informácie o teste predstavované podrobnosťou nástroja?
- Dajú sa testovacie behy vykonať v dávkových úlohách?
- Je možné testy usporiadať do hierarchií?
- Dajú sa testovacie chody monitorovať, medzi tým sa pozastaviť a reštartovať?
- Ponúka môj nástroj rozhranie s riešením automatizácie testovania?
- Potrebujem funkcie ako audit trail, správa verzií, kontrola zmien alebo automatické upozornenie? Ak áno, podporuje môj nástroj toto všetko?
- Vyplýva môj nástroj z testu a vykazovania v teste?
- Podporuje môj nástroj prieskumné testovanie?
- Vďaka výberu tohto nástroja budem môcť mať spoločné rozhranie medzi správou požiadaviek, správou testov, správou vydaní a správou chýb?
Parametre pre porovnanie nástrojov
Nástroje môžete navzájom porovnávať na základe nasledujúcich parametrov:
- Prispôsobivosť rôznym vývojovým metodikám.
- Čas nábehu (ako rýchlo bude nástroj prijatý v rámci organizácie).
- Integrácia (s inými nástrojmi podpory a riadenia, platformami atď.).
- Ovládanie verzií
- Schopnosti plánovania
- Náklady
- Bezpečnosť
Matica a grafy porovnania nástrojov
Ďalej uvádzame niekoľko matíc a grafov na porovnanie nástrojov pre lepšie pochopenie:
- Matica 1:
(Poznámka: Kliknite na obrázok pre zväčšenie)
- Matica 2:
- Stĺpcový graf:
Záver
Dúfame, že tento návod pre nástroje na správu testov by pre vás bol rýchlym osviežením.
Som si istý, že to bude zase referenčná príručka pre vás, keď budete musieť vyhodnotiť výber nástrojov.
Pridajte k tomuto obsahu všetko, čo by nám mohlo chýbať, a tiež sa s nami podeľte o svoje bolestivé body v oblasti riadenia testov alebo príbehy o úspechu v sekcii komentárov nižšie !!
Odporúčané čítanie
- Najlepšie nástroje na testovanie softvéru 2021 (QA Test Automation Tools)
- 10 NAJLEPŠÍCH softvérov na správu podnikania v roku 2021 (najlepšie výberové nástroje)
- 11 najlepších nástrojov ITSM (softvér na správu IT služieb) v roku 2021
- Top 15 NAJLEPŠÍCH softvérových nástrojov na správu úloh (najlepší správca úloh v roku 2021)
- 4 základné funkcie, ktoré by nástroje na správu testov mali mať
- 11 NAJLEPŠÍCH nástrojov na správu konfigurácie softvéru (nástroje SCM v roku 2021)
- Recenzia nástroja TestLodge na správu testov
- Top 10 softvérových riešení pre správu zmien v roku 2021