etl testing data warehouse testing tutorial
Proces testovania ETL / dátového skladu a výzvy:
Dnes mi dovoľte, aby som chvíľu vysvetlil svoje testovacie bratstvo o jednej z veľmi žiadaných a pripravovaných zručností mojich priateľov v testovaní, t. J. Testovaní ETL (extrakt, transformácia a načítanie).
Tento tutoriál vám poskytne kompletnú predstavu o testovaní ETL a o tom, čo robíme pri testovaní procesu ETL.
Kompletné výukové programy pre zoznamy v tejto sérii:
- Výukový program č. 1 : Úvodná príručka na testovanie testovania dátových skladov ETL
- Výukový program č. 2 : Testovanie ETL pomocou nástroja Informatica PowerCenter
- Výukový program č. 3 : Testovanie ETL vs. DB
- Výukový program č. 4 : Testovanie Business Intelligence (BI): Ako testovať obchodné údaje
- Výukový program č. 5 : Najlepšie 10 testovacích nástrojov ETL
Zistilo sa, že nezávislé overovanie a overovanie získava obrovský trhový potenciál a mnoho spoločností to teraz považuje za potenciálny obchodný zisk.
Zákazníkom bola ponúknutá iná škála produktov, pokiaľ ide o ponuky služieb, distribuované v mnohých oblastiach na základe technológií, procesov a riešení. ETL alebo dátový sklad je jednou z ponúk, ktoré sa rýchlo a úspešne rozvíjajú.
Prostredníctvom procesu ETL sa údaje načítajú zo zdrojových systémov, transformujú sa podľa obchodných pravidiel a nakoniec sa načítajú do cieľového systému (dátového skladu). Dátový sklad je obchod v rámci celého podniku, ktorý obsahuje integrované údaje, ktoré napomáhajú v procese podnikového rozhodovania. Je súčasťou business inteligencie.
Čo sa dozviete:
- Prečo organizácie potrebujú Data Warehouse?
- Proces ETL
- Techniky testovania ETL
- Proces testovania ETL / dátového skladu
- Rozdiel medzi testovaním databázy a dátového skladu
- Výzvy na testovanie ETL
- Odporúčané čítanie
Prečo organizácie potrebujú Data Warehouse?
Organizácie s organizovanými postupmi v oblasti IT sa tešia na vytvorenie ďalšej úrovne technologickej transformácie. Teraz sa snažia o oveľa väčšiu funkčnosť vďaka ľahko interoperabilným údajom.
Vzhľadom na to, že údaje sú najdôležitejšou súčasťou každej organizácie, môžu to byť údaje z každodenného života alebo historické údaje. Dáta sú chrbticou každej správy a správy sú základom, na ktorom sa prijímajú všetky dôležité rozhodnutia manažmentu.
Väčšina spoločností podniká krok vpred pri budovaní svojho dátového skladu na ukladanie a sledovanie údajov v reálnom čase, ako aj historických údajov. Vytvorenie efektívneho dátového skladu nie je ľahká práca. Mnoho organizácií distribuovalo oddelenia s rôznymi aplikáciami bežiacimi na distribuovanej technológii.
Nástroj ETL sa používa na zabezpečenie bezchybnej integrácie medzi rôznymi zdrojmi údajov z rôznych oddelení. Nástroj ETL bude pracovať ako integrátor, ktorý extrahuje údaje z rôznych zdrojov; transformácia do preferovaného formátu na základe pravidiel transformácie podniku a načítanie do súdržnej databázy DB sú známe ako Data Warehouse.
Dobre naplánovaný, dobre definovaný a efektívny rozsah testovania zaručuje plynulú konverziu projektu do výroby. Podnik získa skutočný vztlak, keď procesy ETL overí a overí nezávislá skupina odborníkov, aby sa ubezpečil, že dátový sklad je konkrétny a robustný.
Testovanie ETL alebo dátového skladu je kategorizované do štyroch rôznych interakcií bez ohľadu na použitú technológiu alebo nástroje ETL:
- Nové testovanie dátového skladu - Nový DW je zostavený a overený úplne od začiatku. Vstup údajov sa preberá z požiadaviek zákazníkov a rôznych zdrojov údajov a pomocou nástrojov ETL sa vytvára a overuje nový dátový sklad.
- Testovanie migrácie - V tomto type projektu bude mať zákazník existujúci DW a ETL vykonávajúci prácu, ale hľadá nový nástroj na zvýšenie efektívnosti.
- Žiadosť o zmenu - V tomto type projektu sa k existujúcemu DW pridávajú nové údaje z rôznych zdrojov. Môže tiež existovať podmienka, keď zákazník musí zmeniť svoje existujúce obchodné pravidlo alebo môže integrovať nové pravidlo.
- Správa testovania - Správa je konečným výsledkom každého dátového skladu a základným návrhom, pre ktorý DW stavia. Správa musí byť testovaná overením rozloženia, údajov v správe a výpočtu.
Proces ETL
( Poznámka : Kliknite na obrázok pre zväčšenie)
Techniky testovania ETL
1) Testovanie transformácie údajov : Overte, či sa údaje správne transformujú podľa rôznych obchodných požiadaviek a pravidiel.
2) Testovanie počtu zdrojov od cieľovej hodnoty : Zaistite, aby sa počet záznamov načítaných v cieli zhodoval s očakávaným počtom.
3) Testovanie údajov od zdroja k cieľu : Skontrolujte, či sú všetky projektované údaje načítané do dátového skladu bez straty a skrátenia údajov.
4) Testovanie kvality údajov : Zaistite, aby aplikácia ETL vhodne odmietla, nahradila predvolenými hodnotami a nahlásila neplatné údaje.
5) Testovanie výkonu : Uistite sa, že sa dáta načítajú v dátovom sklade v predpísaných a očakávaných časových rámcoch, aby ste potvrdili zlepšený výkon a škálovateľnosť.
aký je najlepší web na stiahnutie mp3 zadarmo
6) Testovanie validácie výroby: Overte údaje v produkčnom systéme a porovnajte ich so zdrojovými údajmi.
7) Testovanie integrácie údajov : Skontrolujte, či boli údaje z rôznych zdrojov správne načítané do cieľového systému a či sú skontrolované všetky prahové hodnoty.
8) Testovanie migrácie aplikácií : Pri tomto testovaní je zaistené, že aplikácia ETL funguje dobre pri prechode na nový box alebo platformu.
9) Kontrola údajov a obmedzení : V tomto prípade sa testuje údajový typ, dĺžka, index, obmedzenia atď.
10) Kontrola duplikátov údajov : Vyskúšajte, či sa v cieľových systémoch nenachádzajú duplicitné údaje. Duplicitné údaje môžu viesť k nesprávnym analytickým správam.
Okrem vyššie uvedených testovacích metód ETL sa tiež vykonávajú ďalšie testovacie metódy, ako je testovanie systémovej integrácie, testovanie prijateľnosti používateľmi, prírastkové testovanie, regresné testovanie, opätovné testovanie a navigačné testovanie, aby sa zabezpečilo, že všetko bude plynulé a spoľahlivé.
ETL / Dátový sklad Proces testovania
Podobne ako akékoľvek iné testovanie, ktoré spadá pod nezávislé overenie a overenie, aj ETL prechádza rovnakou fázou.
- Porozumenie požiadavky
- Validuje sa
- Odhad testu na základe množstva tabuliek, zložitosti pravidiel, objemu údajov a výkonu práce.
- Plánovanie testu na základe vstupov z odhadu testu a obchodných požiadaviek. Musíme tu zistiť, čo je v rozsahu a čo mimo rozsahu. V tejto fáze tiež hľadáme závislosti, riziká a plány zmierňovania.
- Navrhovanie testovacích prípadov a testovacie scenáre zo všetkých dostupných vstupov. Musíme tiež navrhnúť mapovacie dokumenty a skripty SQL.
- Keď sú všetky testovacie prípady pripravené a schválené, testovací tím pokračuje v kontrole pred vykonaním a príprava údajov o teste na testovanie
- Nakoniec sa vykoná, kým nie sú splnené výstupné kritériá. Fáza vykonávania teda zahrnuje spustenie úloh ETL, sledovanie spustenia úloh, vykonávanie skriptov SQL, protokolovanie chýb, opätovné testovanie chýb a regresné testovanie.
- Po úspešnom dokončení sa pripraví súhrnná správa a vykoná sa proces uzávierky. V tejto fáze sa dáva odhlásenie, aby sa úloha alebo kód povýšili do ďalšej fázy.
Prvé dve fázy, tj. Porozumenie a validácia požiadavky, možno považovať za predbežné kroky procesu testovania ETL.
Takže hlavný proces môže byť znázornený nižšie:
Je potrebné definovať stratégiu testovania, ktorá by mala byť vzájomne akceptovaná zainteresovanými stranami pred začatím samotného testovania. Dobre definovaná stratégia testovania zabezpečí, že bol dodržaný správny prístup, ktorý zodpovedá testovacím ašpiráciám.
Testovanie ETL / Data Warehouse môže vyžadovať rozsiahle písanie príkazov SQL testovacím tímom alebo prispôsobenie SQL poskytovaného vývojovým tímom. V každom prípade musí byť testovací tím informovaný o výsledkoch, ktoré sa snažia získať pomocou týchto príkazov SQL.
Rozdiel medzi testovaním databázy a dátového skladu
Existuje populárne nedorozumenie, že testovanie databázy a dátový sklad je podobná, zatiaľ čo v skutočnosti sa obe strany pri testovaní držia odlišným smerom.
- Testovanie databázy sa vykonáva pomocou menšieho rozsahu údajov, zvyčajne s typom databáz OLTP (online spracovanie transakcií), zatiaľ čo testovanie dátového skladu sa vykonáva s veľkým objemom údajov, ktoré zahŕňajú databázy OLAP (online analytické spracovanie).
- Pri testovaní databázy sú dáta obvykle dôsledne vkladané z jednotných zdrojov, zatiaľ čo pri testovaní dátového skladu väčšina dát pochádza z rôznych druhov zdrojov údajov, ktoré sú postupne nekonzistentné.
- Spravidla vykonávame jedinú operáciu CRUD (vytváranie, čítanie, aktualizácia a mazanie) pri testovaní databázy, zatiaľ čo pri testovaní dátového skladu používame operáciu iba na čítanie (výber).
- Normalizované databázy sa používajú pri testovaní databáz, zatiaľ čo demoralizované databázy sa používajú pri testovaní dátových skladov.
Existuje veľké množstvo univerzálnych overení, ktoré je potrebné vykonať pri akomkoľvek testovaní dátového skladu.
Ďalej je uvedený zoznam objektov, ktoré sa pri testovaní považujú za nevyhnutné pre overenie:
- Overte, či transformácia údajov zo zdroja do cieľa funguje podľa očakávania
- Skontrolujte, či sú do cieľového systému pridané očakávané údaje
- Overte, či sú všetky polia DB a údaje poľa načítané bez akéhokoľvek skrátenia
- Overte kontrolný súčet údajov pre zhodu počtu záznamov
- Skontrolujte, či sú pre odmietnuté údaje vygenerované správne protokoly chýb so všetkými podrobnosťami
- Overte polia hodnoty NULL
- Skontrolujte, či nie sú načítané duplicitné údaje
- Overte integritu údajov
=> Poznať rozdiel medzi testovaním ETL / dátového skladu a testovaním databázy .
Výzvy na testovanie ETL
Toto testovanie sa dosť líši od bežného testovania. Pri testovaní dátového skladu sme čelili mnohým výzvam.
Tu je niekoľko výziev, s ktorými som sa stretol pri svojom projekte:
- Nekompatibilné a duplicitné údaje
- Strata údajov počas procesu ETL
- Nedostupnosť inkluzívneho testovacieho lôžka
- Testéri nemajú žiadne oprávnenie na vykonávanie úloh ETL vlastnými silami
- Objem a zložitosť údajov sú veľmi obrovské
- Porucha v obchodnom procese a postupoch
- Problémy so získavaním a vytváraním testovacích údajov
- Nestabilné testovacie prostredie
- Chýbajú informácie o obchodnom toku
Údaje sú pre podniky dôležité pri rozhodovaní o obchodných záležitostiach. Testovanie ETL hrá dôležitú úlohu pri overovaní a zabezpečovaní presnosti, konzistencie a spoľahlivosti obchodných informácií. Tiež minimalizuje riziko straty údajov pri výrobe.
Dúfam, že tieto tipy pomôžu zabezpečiť, aby bol váš proces ETL presný a vybudovanie dátového skladu týmto spôsobom predstavuje konkurenčnú výhodu pre vaše podnikanie.
Kompletný zoznam návodov na testovanie ETL:
- Výukový program č. 1 : Úvodná príručka na testovanie testovania dátových skladov ETL
- Výukový program č. 2 : Testovanie ETL pomocou nástroja Informatica PowerCenter
- Výukový program č. 3 : Testovanie ETL vs. DB
- Výukový program č. 4 : Testovanie Business Intelligence (BI): Ako testovať obchodné údaje
- Výukový program č. 5 : Najlepšie 10 testovacích nástrojov ETL
Toto je príspevok od hosťa Vishala Chhaperiu, ktorý pracuje v MNC v role manažéra testov. Má bohaté skúsenosti s riadením multi-technologických projektov QA, procesov a tímov.
Pracovali ste na testovaní ETL? Nižšie zdieľajte svoje tipy a výzvy na testovanie ETL / DW.
Odporúčané čítanie
- Alfa testovanie a beta testovanie (kompletný sprievodca)
- ETL Testovacie otázky a odpovede na pohovor
- Najlepšie nástroje na testovanie softvéru 2021 [QA Test Automation Tools]
- Najlepšie 10 testovacích nástrojov ETL v roku 2021
- Kompletný sprievodca zostavením Verification Testing (BVT Testing)
- Funkčné testovanie vs. Nefunkčné testovanie
- 4 kroky k testovaniu Business Intelligence (BI): Ako testovať obchodné údaje
- Stiahnutie e-knihy Testing Primer