how effectively prepare test bed
Výzvy a osvedčené postupy týkajúce sa nastavenia testovacieho zariadenia / testovacieho prostredia:
Testerom sa pri niekoľkých príležitostiach zistilo, že ich chyby sú odmietnuté z dôvodu problémov so životným prostredím, alebo sa z podobných dôvodov neustále opakujú. Aj keď otvorenie čo najväčšieho počtu defektov musí byť určite jedným z osobných štandardov každého testera, väčšina testerov musí tiež zdôrazniť, že má najväčší počet platných defektov.
Ako je to dosiahnuté?
Okrem ďalších aspektov, ako je plánovanie rôznych testovacích scenárov a dôkladné porozumenie riadkovej položke, a do vytvorenia testovacej základne alebo testovacieho prostredia sa musí investovať dostatočné množstvo času . Po druhé, testéri musia mať aj napriek tomu, že majú odhadovanú sumu na plánovanie testovacích prípadov zamerať svoje energie na vytváranie efektívnych testovacích údajov .
Osobne som ako súčasť procesu auditu pozoroval, že najviac platných chýb sa zistí, keď sa vynaloží veľké úsilie na správne vytvorenie testovacej základne alebo testovacieho prostredia a keď má tester dôkladné znalosti. pochopenie druhu potrebného prostredia.
Druh testovacích údajov dodávaných do testovacieho prostredia môže tiež odhaliť niektoré veľmi závažné chyby v testovanom kóde / funkcii, ktoré môžu vážne ovplyvniť kvalitu produktu.
Tento článok hovorí o tom, čo presne Testovacia posteľ obnáša: Je to dvojstupňový proces nastavenia testovacieho prostredia a nastavenia testovacích údajov:
Časť 1) V predchádzajúcej časti článku sa bude diskutovať o všeobecný proces nastavenia testovacieho prostredia , najčastejšie problémy s nastavením, ktorým čelia testy a ukazovatele, ktoré treba mať na pamäti pri vytváraní testovacieho zariadenia namiesto týchto výziev.
Časť 2) Keď sme v tomto článku už toľko hovorili o testovacom lôžku, stálo za to vrhnúť trochu svetla na Údržba testovacieho prostredia aspekty. Druhá časť článku pojednáva o druhej časti nastavenia testovacej stolice, ktorá zahŕňa testovacie dáta, prístup k jej nastaveniu a niektoré účinné Testovanie postupov správy údajov .
S neustálym „veľkým treskom“ vo vývoji a testovaní softvéru sa čoraz viac zameriava na prijatie rôznych metodík, vďaka ktorým bude celkový proces zabezpečenia kvality transparentný, efektívny a adekvátny.
V rámci organizácií sa vykonávajú rôzne audity kvality, aby sa zabezpečilo, že výkonnosť testovacieho tímu bude možné vhodne vyhodnotiť a bude mať merateľné výsledky s metrikami identifikovanými pri inicializácii testovacieho cyklu. Tieto výsledky umožňujú identifikovať, v čom spočíva konkrétny tím z hľadiska zaistenia optimálnej kvality softvéru, ktorý testuje.
Tieto správy tiež pomáhajú tímu pochopiť príležitosti na zlepšenie na základe pozorovaní vykonaných počas auditu.
Je potrebné spomenúť, že veľmi zrejmou metrikou pre akýkoľvek testovací tím by bola hodnota celkového počtu defektov v porovnaní s počet vád, ktoré sú platné . Jedna z otázok, ktoré sa zjavne objavia, je teda - Aký je základ pokusu o odhalenie nejakej chyby? Inak povedané, na čom sa zakladá vada?
Odpoveď je jednomyseľná - nastavenie testovacieho zariadenia a / alebo testovacieho prostredia. V tímoch sú stanovené štandardy kvality pre znížiť vady, ktoré sú zamietnuté ako chyba nastavenia testu / Chyba používateľa, neplatné konfigurácie alebo v niektorých prípadoch chyby, ktoré vzniknú pri úniku od konkrétneho tímu z dôvodu nedostupných konfigurácií, nevyskúšaných konfigurácií.
Začnime tým, že sa bližšie pozrieme na definíciu toho, čo je testovacie lôžko alebo testovacie prostredie.
Čo sa dozviete:
Čo je testovacie zariadenie a testovacie prostredie?
Vo veľmi všeobecnom zmysle by bolo možné testovacie lôžko definovať ako akési vývojové prostredie, v ktorom majú implementátori kódu alebo modulov slobodu testovania svojich modulov bez akýchkoľvek rušivých vplyvov od testovacieho tímu v absolútnom ohraničení.
Testovacia posteľ však nie je špecifická iba pre vývojový tím. Z pohľadu testovacieho tímu alebo testera, pretože Test Bed nie je nič iné ako platforma určená na testovanie softvéru / produktu, nazýva sa tiež zameniteľne testovacím prostredím.
Akékoľvek testovacie zariadenie alebo testovacie prostredie by bolo potrebné nakonfigurovať tak, aby spĺňalo identifikovaný cieľ testu pre testovanú aplikáciu / produkt / softvér. V určitých situáciách by testovacím lôžkom bolo zhromaždenie testovacieho prostredia a testovacích údajov, s ktorými pracuje.
Súčasti testovacieho prostredia
Akýkoľvek test by mal svoje špecifické požiadavky na testovacie prostredie, ale vo veľmi širokom zmysle slova bude každé testovacie prostredie / testovacie prostredie pozostávať z hardvéru, softvéru a sieťových prvkov, ktoré minimálne podporia požadovanú konfiguráciu potrebnú na uskutočnenie a vykonanie konkrétneho testu. .
Je všeobecne známou skutočnosťou, že primerané množstvo času testera spotrebovávajú problémy s životným prostredím, ktoré následne ovplyvňujú produktivitu a harmonogram testov. Aj keď sa druh výziev líši pre každý testovací tím, niektoré môžu byť bežné.
Niektoré kľúčové výzvy, ktorým bežne čelíme, sú:
# 1) Vzdialené prostredie
Testovacie prostriedky alebo prostredia sú väčšinou umiestnené geograficky na lokalitách, ktoré sú vzdialené tímom. Toto je jedna z najčastejšie kladených výziev testovacích tímov, ako napríklad v prípade akýchkoľvek problémov, ktoré sa môžu vyskytnúť v súvislosti s hardvérom, firmvérom, softvérom, sieťou atď.
Tímy spotrebujúce aktíva by sa museli vo veľkej miere spoliehať na podporné tímy v mieste, kde sa aktíva nachádzajú.
V rovnakých riadkoch, ak niektoré aktívum vyžaduje aktualizáciu firmvéru alebo aktualizáciu zostavy, môže testovací tím opäť potrebovať podporu tímov podpory vlastniacich prostredie otvorením lístkov podpory. To môže tiež zvýšiť značný čas testovania a oneskoriť plány, najmä v prípadoch rozdielov v časových pásmach.
# 2) Kombinované využitie medzi tímami
Vývojové a testovacie tímy najčastejšie používajú rovnaké prostriedky prostredia. Aj keď všeobecná norma definuje, že vývojové, testovacie a produkčné prostredie musia byť oddelené, v skutočnosti sa tento ideálny scenár dosahuje veľmi zriedka. Organizácie sa stávajú mimoriadne nepriaznivými pre obstaranie samostatných zdrojov pre každý tím.
Preto väčšina organizácií vyžaduje spoločné používanie prostredia medzi vývojom a testovaním. K tomu sa pridáva, ak vývojové a testovacie zdroje bojujú o použitie rovnakých aktív v rovnakom čase, čo vedie k chaosu a nezhodám medzi členmi.
# 3) Neúčinné plánovanie využitia zdrojov pre integráciu
V niektorých prípadoch sú potrebné scenáre komplexné testovanie čím dôjde k integrácii dvoch alebo viacerých komponentov, ktoré majú fungovať spoločne, opäť môže existovať požiadavka na spoločné využitie zdrojov medzi testovacími tímami. Neefektívne plánovanie z hľadiska používania okrem konfliktov medzi tímami významne prispieva k nestabilite prostredia.
Najviditeľnejším účinkom je to, že problém, ktorý si všimnete pre konkrétny jeden alebo dvakrát, môže v nasledujúcich cykloch rovnakého scenára spôsobiť úplne odlišné správanie. Ak je chyba už otvorená, existuje veľká šanca, že ju vývoj neprijme ako platného kandidáta na opravu.
# 4) Konfigurácia komplexného testu
Konfigurácia testovacieho zariadenia alebo testovacieho prostredia je niekedy príliš zložitá. To bude predstavovať niekoľko výziev, pretože testovací tím bude potrebovať požadované zručnosti, aby porozumel potrebným konfiguráciám. Skúšobníkovi niekedy chýba vedomostná základňa, aby mohol prísť s požadovanou konfiguráciou.
V takýchto prípadoch môžu testéri sami spôsobiť chybu na skúšobnom stolíku nesprávnou konfiguráciou. To by výrazne ovplyvnilo testovací prípad a výsledky, ktoré prináša.
# 5) Vypracujte čas nastavenia
V určitých iných časoch môže byť nastavenie testu pre každý identifikovaný testovací prípad príliš komplikované. Môže to byť spôsobené širokou škálou súčasne existujúcich technológií, ktoré je potrebné spojiť, alebo viacerými komponentmi, aby mohli spolupracovať v prípadoch integračného testovania.
V týchto prípadoch musí každá zo zložiek pracovať perfektne, aby zabezpečila konzistentné výsledky, pretože jedna zložka môže tvoriť vstup do ďalšej.
Najlepšie postupy pre nastavenie testovacieho prostredia
Pozreli sme sa na širokú škálu výziev, s ktorými sa tester stretáva pred alebo počas začiatku vykonávania testu. Väčšina z nás niekedy v priebehu míľnikov projektu čelila jednému alebo viacerým z týchto problémov. Tieto výzvy existovali a pravdepodobne budú aj naďalej existovať v rôznej miere, pretože idealistická situácia neexistuje.
Vzhľadom na to, že výzvy spojené s nastavením sú neoddeliteľnou súčasťou práce testera a sú nevyhnutné, tu je niekoľko návrhov, ako efektívne pripraviť nastavenie na testovanie. To by mohlo pomôcť minimalizovať chyby, ktoré môžu pochádzať z problémov s nastavením.
Tip č. 1) Pochopte Požiadavky na test dôkladne skontrolujte a vzdelávať sa
previesť ascii na int c ++
Vždy začnite od základov a od tých najzrejmejších! Keď vývojový tím zavedie dokument so špecifikáciami alebo dokument o prípade použitia, nemenným krokom pre testovací tím je porozumieť požiadavkám na riadkovú položku a potom pripraviť dokument o testovacom prípade s podrobnými podrobnosťami o testovacích prípadoch.
Zatiaľ čo sa vykonáva plánovanie testov, je to tak najlepší v praxi je potrebné zahrnúť aj podrobné informácie o testovacom prostredí do dokumentu testovacieho prípadu. Žiadna domnienka, že tester potom strávi nejaký čas analýzou toho, aké testovacie prostredie môže byť potrebné, a podľa toho potrebnými konfiguráciami.
To sa dá dosiahnuť rozhovorom s vývojovým tímom / architektmi, aby sa vytvorila dobrá vedomostná základňa. To by nielen ušetrilo čas v cykle vykonania, ale tiež by pomohlo testerovi efektívne rozdeliť čas vykonania medzi jednoduché a zložité testy.
Osobne je dobrým výsledkom to, že mnohí z nás objavili problémy s nastavením (ktoré by inherentne zabránili konzistentnému vykonaniu testu) na samom začiatku cyklu, čo nám poskytlo čas na usmernenie a získanie potrebnej pomoci na vyriešenie týchto problémov - teda nepredĺženie skúšobného cyklu na neprijateľné obdobia.
Ďalším pozitívnym dopadom, ktorý by to malo, je to, že by sa tým výrazne zlepšili vedomosti testovacieho tímu a zabránilo by sa zbytočným chybám. Aj keď tento postup sumarizuje takmer všetky postupy, ktoré sú nevyhnutne potrebné na zvládnutie vyššie uvedených výziev na nastavenie testu, stále stojí za zmienku spomenúť ďalšie tipy.
Tip č. 2) Prebieha kontrola pripojenia
Ďalším najdôležitejším kontrolným bodom je zabezpečiť, aby zdroje alebo prostriedky, ktoré chcete použiť na testovanie, boli dosiahnuteľné. V prípade, že je potrebné spustiť systém integrovaný s inými strojmi, skontrolujte vzájomné pripojenie pomocou príkazu ping alebo telnet.
Tiež v prípade, že systémy potrebujú vzájomnú interakciu a sú za bránami firewall, uistite sa, že sa môžu autentifikovať prostredníctvom týchto brán firewall pomocou základných možností zabezpečenia (BSO) a skontrolujte tiež prípadné servery proxy. V prípade, že si všimnete, že niektoré stroje nie sú dosiahnuteľné alebo potrebujú autentifikáciu BSO, je možné vzniesť príslušné servisné požiadavky, ktoré splnia požiadavku na tím podpory.
To je obzvlášť užitočné, keď je prostredie na vzdialených miestach a zabráni sa tiež eskalácii v súvislosti so strojmi a systémami. V prípade, že testovací tím vyžaduje prístup k ľubovoľnému zdroju alebo úložisku, pomohlo by to pri proaktívnom určovaní toho istého.
Tip č. 3)Kontrola siete a / alebo úložiska
Jedná sa takmer o rozšírenie predchádzajúceho hrotu a vyžadovalo by to ešte určitú ďalšiu kontrolu s väčšou technickou hĺbkou. Uistite sa, že požadované testovanie má potrebnú šírku pásma a či vaše testovanie vyžaduje pripojenie na internet. Nezabudnite tiež nájsť spôsob, ako overiť, či je topológia siete medzi systémami a prostriedkami správna.
Po druhé, ak váš cieľ testovania naznačuje potrebu akéhokoľvek úložiska, uistite sa, že je k dispozícii úložisko a sieťové pripojenie. Je väčšinou zodpovednosťou správcu, aby ich mal zavedené, je však tiež veľkou pridanou hodnotou, ak majú rovnaké pracovné a funkčné znalosti.
Tip č. 4) Skontrolujte požadovaný hardvér a softvér, licencie
Mnohokrát sa stane, že testeri začnú vykonávať v systémoch bez kontroly potrebného hardvéru a softvéru, ktorý môže byť potrebný. Výsledkom je, že si tester takmer počas testovacieho cyklu uvedomuje, že určitá funkčnosť je k dispozícii iba na vyššej úrovni hardvéru alebo softvéru / firmvéru.
V tom čase tester nahlási blokátora v jeho testovacom úsilí, ktoré zaberá značný testovací čas. Preto je neoceniteľnou praxou mať kontrolný bod, aby ste si poznačili hardvér a softvér, ktorý je predtým potrebný.
Mnohokrát môžu nastať prestoje v aktualizácii hardvéru / softvéru, ktoré sa všetky znižujú Tip 1 kde musí byť tester zapojený do proaktívneho plánovania hardvéru. Niektorý softvér môže vyžadovať licencie, ktoré môžu vyžadovať schválenie a kroky právneho tímu. Toto je procesne riadená akcia, ktorej splnenie môže opäť trvať niekoľko dní, ktoré je potrebné naplánovať.
Tip č. 5)Prehliadače a verzie
Testovanie, ktoré robíte, sa musí zrkadliť čo bude koncový užívateľ vykonávať . Môže testovať na konkrétnom prehliadači najnovšie verzie všetkých prehľadávačov. Preto je povinné identifikovať rôzne druhy prehľadávačov, ktoré sa použijú na testovanie, a nechať si ich nainštalovať vo vašom vlastnom miestnom nastavení testu.
Po druhé, tiež identifikujte, aké verzie prehľadávačov je potrebné na testovanie použiť. Osvedčeným postupom by bolo začať s prehliadačom nižšej verzie, čím by sa zabezpečila spätná kompatibilita, a potom inovovať na najnovšiu verziu.
Tip č. 6)Plánovanie použitia testovacieho prostredia.
Vzhľadom na skutočnosť, že testovací tím nikdy nebude mať situáciu, keď bude mať vlastné testovacie zdroje, systémy a aktíva - je jedným z hlavných míľnikov v plánovaní testov efektívne využitie testovacích zdrojov.
aký je najlepší operačný systém počítača
Toto je obzvlášť potrebné, keď musí mať prístup k tej istej skupine zdrojov viac ako jeden tím, a to buď z dôvodu komplexného scenára, ktorý pozostáva z dvoch alebo viacerých súčastí pracujúcich spoločne, alebo z dôvodu situácie, keď je nastavenie testu príliš komplikované alebo zložité na to, aby sa dalo replikovať. veľmi ľahko a v rovnakom tíme môže byť viac členov, ktorí majú vlastné testovacie ciele s rovnakým nastavením.
Osvedčeným postupom by bolo vypracovať prístup zdieľania času, pri ktorom ho určitý tím alebo osoba použije pre predchádzajúcu polovicu a zvyšní ľudia pre druhú polovicu. Môže to byť niekedy medzi tým, čo bude bežné, keď každý z nich môže vykonať nezávislé testy, ktoré nebudú prekážať tomu druhému.
Týmto sa nielen zníži chaos a konflikty vo vnútri členov, ale sa zabezpečí aj behaviorálna stabilita prostredia na dlhšie obdobie.
Tip č. 7)Automatizačné nástroje a ich konfigurácie
Ako vieme, každá riadková položka v testovaní bude mať niekoľko opakujúcich sa testov, ktoré budú súčasťou regresného cyklu, ktorý bude potrebné automatizovať. Testovací tím musí určiť, aký druh automatizácie by chcel vykonať, a potrebné nástroje.
Aj keď to nevyhnutne nemusí byť súčasťou prípravy prostredia, aj tak by som to uviedol ako najlepší postup pri identifikácii a konfigurácii automatizačných nástrojov. To by úplne záviselo na uvážení testera, keď chce vykonávať túto činnosť, pretože to nie je povinný faktor na zabezpečenie pripravenosti na test.
Záver
Tieto tipy a triky môžu byť dobrým meradlom a stopou na zabezpečenie pripravenosti testovacieho prostredia na testovanie. Každý tím nepochybne čelí svojej jedinečnej výzve a vyššie uvedené tipy je možné prispôsobiť a prispôsobiť ich konkrétnym potrebám.
Zdroj na zaznamenávanie celej tejto kostry tipov v skutočnosti pochádza z jedného z mojich zadaní, kde som čelil veľmi zložitým problémom s nastavením a trvalo mi takmer rok, kým som začal testovať!
Aj keď obmedzenia v testovacom prostredí boli mimo mojej kontroly, cítil som, že veľa z týchto problémov by mohlo byť nahlásených skôr, keby som použil tieto tipy. Odvtedy ho aplikujem na každé zadanie, ktoré mi príde do cesty, a táto kostra mi veľmi pomohla pri proaktívnom hľadaní problémov s nastavením a pri smerovaní môjho úsilia o ich vyriešenie.
O autorovi: Tento článok je autorom Sneha Nadig. Pracuje ako vedúca testu s viac ako 7-ročnými skúsenosťami v projektoch manuálneho a automatizovaného testovania.
V časti 2 tohto článku uvidíme proces nastavenia a údržby testovacieho prostredia a tipy na prípravu a správu testovacích údajov. Medzitým neváhajte a pošlite svoje dotazy na prípravu na testovacie lôžko do komentárov.
Odporúčané čítanie
- Ako efektívne vykonávať testovanie po vydaní a minimalizovať dopad vydania na živých klientov
- Ako rozhodnete, ktoré chyby sú prijateľné pre uvedenie softvéru do prevádzky?
- Ako pripraviť a doručiť tímu vynikajúcu prezentáciu testovania kvality
- Proces správy defektov: Ako efektívne riadiť defekty
- 9 najlepších nápadov pre testerov, ako efektívne využiť svoj skúšobný čas
- Vedenie v testovaní - Zodpovednosti testovacích vedúcich a ako efektívne riadiť testovací tím
- Ako efektívne plánovať a spravovať testovacie projekty (tipy)
- Proces defektného vyhodnotenia a spôsoby riešenia schôdzky s defektom