Menu

Výukový program na testovanie dátových skladov s príkladmi Sprievodca testovaním ETL

  • Hlavná
  • Iné
  • Výukový program na testovanie dátových skladov s príkladmi Sprievodca testovaním ETL

data warehouse testing tutorial with examples etl testing guide

Vyskúšajte Náš Nástroj Na Odstránenie Problémov

Tento výukový program podrobne popisuje ciele a význam testovania dátových skladov, zodpovedností za testovanie ETL, chýb v nasadení DW a ETL:

V tomto Hĺbková školiaca séria dátových skladov , pozreli sme sa na Čo je ET L Proces v dátovom sklade v podrobne v našom predchádzajúcom návode.

Tento tutoriál vám poskytne predstavu o tom, ako je možné v organizácii vykonávať testovanie dátových skladov. Ďalej sa dozviete o cieľoch testovania DW, o tom, ako a aký druh testovania je možné vykonať na backende, kto je do tohto procesu zapojený, podrobne o chybách DW a nasadení ETL.

=> Skontrolujte VŠETKY návody na skladovanie dát tu.

Testovanie ETL dátového skladu

Cieľové publikum

  • Vývojári a testeri Data Warehouse / ETL.
  • Databázoví odborníci so základnými znalosťami databázových konceptov.
  • Správcovia databáz / odborníci na veľké dáta, ktorí chcú porozumieť konceptom Data Warehouse / ETL.
  • Absolventi vysokých škôl / nováčikovia, ktorí hľadajú prácu v Data Warehouse.

Čo sa dozviete:

Testovanie dátového skladu (ETL)

Aký význam má testovanie systémov Data Warehouse a Business Intelligence?

Testovanie zohráva rozhodujúcu úlohu v úspechu ktoréhokoľvek z vyššie uvedených dvoch systémov zabezpečením správnosti údajov, ktoré budujú vieru koncových používateľov.

Všeobecne platí, že chyba zistená v neskorších fázach životného cyklu vývoja softvéru stojí viac. Táto situácia v DW sa môže zhoršiť, pretože nesprávne údaje zistené v neskorších fázach mohli byť už v tom čase použité pri dôležitých obchodných rozhodnutiach.

Oprava v DW je teda nákladnejšia, pokiaľ ide o zmeny procesu, ľudí a technológií. Testovanie DW môžete začať hneď od fázy zhromažďovania požiadaviek.

Je pripravená a skontrolovaná matica sledovateľnosti požiadaviek, ktorá mapuje hlavne vlastnosti DW s ich príslušnými obchodnými požiadavkami. Matica sledovateľnosti slúži ako vstup do plánu testovania DW, ktorý pripravujú testéri. Plán skúšok popisuje skúšky, ktoré sa majú vykonať na validáciu systému DW.

Opisuje tiež typy testov, ktoré sa v systéme vykonajú. Po dokončení plánu testovania budú pripravené všetky podrobné testovacie prípady pre rôzne scenáre DW. Potom sa vykonajú všetky testovacie prípady a chyby sa zaprotokolujú.

V operačnom svete existuje štandard, ktorý udržiava rôzne prostredia pre vývoj, testovanie a výrobu. Vo svete DW sa vývojári aj testeri pred začatím práce ubezpečia, že vývojové a testovacie prostredia sú k dispozícii s replikami produkčných údajov.

Toto sa skopíruje pre zoznam tabuliek s obmedzenými alebo úplnými údajmi v závislosti od potrieb projektu, pretože výrobné údaje sú skutočne veľké. Vývojári vyvíjajú svoj kód v prostredí vývojára a dodávajú ho testerom.

Testeri otestujú kód dodaný v testovacích prostrediach a overia, či všetky systémy fungujú. Potom bude kód zverejnený v produkčných prostrediach. DW kód je tiež udržiavaný v rôznych verziách na základe chýb opravených v každom vydaní. Údržba viacerých prostredí a verzií kódu pomáha budovať kvalitný systém.

c ++ polia vo funkciách

Ciele testovania cieľov dátového skladu (ETL)

Pozrime sa na ciele testovania dátových skladov.

# 1) Úplnosť údajov: Zaistite, aby sa do dátového skladu načítali všetky údaje z rôznych zdrojov. Testovací tím overí, či sú načítané všetky záznamy DW, oproti zdrojovej databáze a plochým súborom, a to podľa nižšie uvedených vzorových stratégií.

  • Celkový počet záznamov nahraných zo zdrojového systému by sa mal zhodovať s celkovým počtom záznamov načítaných do DW. Ak je rozdiel, môžete premýšľať o zamietnutých záznamoch.
  • Porovnajte údaje načítané do každého poľa DW s údajovými poľami zdrojového systému. To spôsobí prípadné chyby v údajoch.

# 2) Transformácia údajov: Počas nahrávania zdrojových údajov do dátového skladu možno niekoľko polí priamo načítať so zdrojovými údajmi, ale len málo polí sa načíta s údajmi, ktoré sa transformujú podľa obchodnej logiky. Toto je komplexná časť testovania DW (ETL).

Ďalej uvádzame ukážky stratégií na testovanie tohto stavu:

  • Môžete otestovať vytvorením a porovnaním údajov v tabuľkách. Načítajte zdrojové transformované údaje a údaje DW do tabuliek a urobte porovnanie. Nemalo by dôjsť k nesúladu.
  • Testéri by mali písať dotazy podľa transformačnej logiky, aby porovnali DW údaje so zdrojovými údajmi. Vykonanie dotazu zaručí, že nechýba overenie údajov pre žiadne z polí.

# 3) Kvalita údajov: Systém dátových skladov (ETL) musí zabezpečiť kvalitu údajov do nich načítaných odmietnutím (alebo) opravou údajov.

DW môže odmietnuť niekoľko údajov o zdrojovom systéme založených na logike obchodných požiadaviek. Napríklad, odmietnuť záznam, ak určité pole obsahuje nečíselné údaje. Všetky odmietnuté záznamy sa načítajú do tabuľky odmietnutia ako referencia.

Odmietnuté údaje sa hlásia klientom, pretože o týchto zmeškaných údajoch nie je šanca dozvedieť sa, pretože sa nenačítajú do systému DW. DW môže správne údaje načítaním nuly namiesto nulových hodnôt atď.

# 4) Škálovateľnosť a výkon: Dátový sklad musí zabezpečiť škálovateľnosť systému s rastúcim zaťažením. S týmto by pri vykonávaní dotazov nemalo dochádzať k žiadnemu zhoršovaniu výkonu s očakávanými výsledkami v konkrétnych časových rámcoch. Testovanie výkonu tak odhalí akékoľvek problémy a opraví ich pred výrobou.

Ďalej uvádzame vzorové stratégie pre testovanie výkonu a škálovateľnosti:

  • Vykonajte testovanie výkonu načítaním objemov výroby údajov a zabezpečte, aby ste nezmeškali časové rámce.
  • Validujte výkonnosť každého dotazu hromadnými údajmi. Vyskúšajte výkon pomocou jednoduchých a viacnásobných spojení.
  • Načítajte dvojnásobok (alebo) trojnásobok k objemom údajov, ktoré sa očakávajú pri výpočte kapacity systému približne.
  • Otestujte spustením úloh pre všetky uvedené prehľady súčasne.

# 5) Testovanie integrácie: Dátový sklad by mal vykonávať testovanie integrácie s inými upstream a downstream aplikáciami. Pokiaľ je to možné, je lepšie skopírovať výrobné údaje do testovacieho prostredia pre Integration Testing.

Do tejto fázy by mali byť zapojené všetky systémové tímy, aby preklenuli medzery a zároveň porozumeli a vyskúšali všetky systémy spoločne.

# 6) Testovanie jednotky: Vykonávajú to jednotliví vývojári na svojich produktoch. Vývojári pripravia scenáre testovania jednotiek na základe ich pochopenia požiadaviek, spustia testy jednotiek a zdokumentujú výsledky. To pomáha vývojárom opraviť chyby, ak sa nájdu, pred doručením kódu testovaciemu tímu.

# 7) Regresné testovanie: Overuje, či systém DW nefunguje správne po odstránení akýchkoľvek chýb. Toto sa vykonáva mnohokrát pri každej novej zmene kódu.

# 8) Testovanie prijatia používateľa: Toto testovanie vykonávajú obchodní používatelia s cieľom overiť funkčnosť systému. Prostredie UAT sa líši od prostredia QA. Odhlásenie z UAT znamená, že sme pripravení presunúť kód do výroby.

čo je regresné testovanie v softvéri

Z pohľadu systémov Data Warehouse a Business Intelligence môžu obchodní používatelia overovať rôzne správy prostredníctvom používateľského rozhrania (UI). Môžu overiť špecifikácie správy podľa požiadaviek, môžu overiť správnosť údajov v správach, môžu overiť, ako rýchlo systém vracia výsledky, atď.

Vývojový diagram testovania DW:

Vývojový diagram testovania dátového skladu

Zodpovednosti za testovanie dátového skladu

Nižšie sú uvedené rôzne tímy zapojené do poskytovania úspešného systému DW:

  • Obchodní analytici: Zhromaždite všetky obchodné požiadavky na systém a zdokumentujte ich podľa svojich preferencií.
  • Tím pre infraštruktúru: Podľa potreby nastavte rôzne prostredia pre vývojárov aj testerov.
  • Vývojári: Vyvinúť kód ETL podľa požiadaviek a vykonať jednotkové testy.
  • QA (Zabezpečenie kvality) / Testéri: Vypracovať plán testov, testovacie prípady atď. Vykonaním testovacích prípadov identifikuje chyby v systéme. Vykonajte rôzne úrovne testovania.
  • DBA: DBA sa starajú o prevod logických scenárov databázy ETL na scenáre fyzickej databázy ETL a tiež sa podieľajú na testovaní výkonu.
  • Firemní používatelia: Zúčastnite sa testovania akceptácie používateľov, spúšťajte dotazy a správy o tabuľkách DW.

Chyby v dátovom sklade

Pri extrakcii, transformácii a načítaní (ETL) údajov z viacerých zdrojov existuje šanca, že získate zlé údaje, ktoré môžu prerušiť dlhodobé úlohy.

Nasledujú kľúčové príčiny porúch v systéme DW:

# 1) Porušenie obchodných pravidiel (logické chyby): Logicky nesprávne údaje porušujú obchodné pravidlá. S takýmito údajmi je možné manipulovať väčšinou počas fáz transformácie alebo načítania.

# 2) Porušenia pravidla údajov (chyby v údajoch): K chybám v údajoch dochádza v databázovom systéme DW, ako sú napríklad nezhody dátových typov, zlyhania obmedzenia údajov atď.

Nasadenie ETL

Toto je fáza, v ktorej je všetko vaše úsilie živé. Mali by byť pripravené všetky dokumenty týkajúce sa podpory výroby.

Dokumentácia informuje ostatných o postupnosti úloh, ktoré sa majú spustiť, scenároch obnovy po zlyhaní, školiacich materiáloch pre tímy podpory DW, ktoré majú monitorovať systém po nasadení, a pre tím podpory pre správu, aby vykonával správy.

Záver

V tomto výučbe sme sa podrobne dozvedeli o cieľoch testovania dátových skladov, zodpovednosti za testovanie ETL, chybách v DW a nasadzovaní ETL.

Dúfame, že ste získali predstavu o tom, ako je možné vykonať podrobné testovanie v systéme Data Warehouse (ETL).

=> Navštívte tu a dozviete sa skladovanie dát od nuly.

Odporúčané čítanie

^