Ako vykonať testovanie ETL pomocou nástroja Informatica PowerCenter

how perform etl testing using informatica powercenter tool

Je známe, že Testovanie ETL je jedným z rozhodujúcich aspektov každého z nich Business Intelligence (BI). Aplikácia BI by mala byť vopred dobre otestovaná, aby sa zaistilo zaistenie kvality a akceptácia pre spustenie podnikania.

Hlavným cieľom testovania ETL je zabezpečiť, aby: JE extrakt, T vyplieniť & Ľ oad funkčnosť funguje podľa obchodných požiadaviek a synchronizuje sa s výkonovými štandardmi.

Predtým, ako sa pustíme do testovania ETL pomocou Výpočtový , je nevyhnutné vedieť, čo sú ETL a Informatica.

Čo sa dozviete:

• Čo sa dozviete v tomto výučbe ETL:
• Testovací nástroj ETL Informatica PowerCenter:
• Pochopenie testovania ETL špecifického pre Informatica:
• Klasifikácia testovania ETL v Informatica:
• Výhody použitia Informatica ako nástroja ETL:
• Niekoľko užitočných rád, ktoré vám pomôžu pri testovaní ETL Informatica:
• Záver:
• Odporúčané čítanie

Čo sa dozviete v tomto výučbe ETL:

• Základy testovania ETL, Informatica a ETL.
• Pochopenie testovania ETL špecifického pre Informatica.
• Klasifikácia testovania ETL v Informatica.
• Ukážkové testovacie prípady na testovanie ETL produktu Informatica.
• Výhody použitia Informatica ako Nástroj ETL .
• Tipy a triky, ktoré vám pomôžu pri testovaní.

Extract, Transform, Load (ETL) vo výpočtoch označuje proces využívania databázy a najmä v dátových skladoch, ktorý vykonáva:

• Extrakcia dát - Extrahuje údaje z homogénnych alebo heterogénnych zdrojov údajov.
• Transformácia údajov - Naformátuje údaje do požadovaného typu.
• Načítanie údajov - Presuňte a uložte údaje na trvalé miesto pre dlhodobé použitie.

Testovací nástroj ETL Informatica PowerCenter:

Informatica PowerCenter je výkonný nástroj ETL od spoločnosti Informatica Corporation. Je to jednotná zjednotená platforma pre integráciu podnikových údajov pre prístup, objavovanie a integráciu údajov z prakticky ľubovoľného podnikového systému v akomkoľvek

Jedná sa o jednotnú zjednotenú platformu pre integráciu podnikových údajov pre prístup, objavovanie a integráciu údajov z prakticky ľubovoľného podnikového systému v akomkoľvek formáte a na poskytovanie týchto údajov v celom podniku pri akejkoľvek rýchlosti. Skrz Informatica PowerCenter , vytvárame pracovné toky, ktoré vykonávajú operácie ETL typu end to end.

Stiahnite si a nainštalujte Informatica PowerCenter:

Na inštaláciu a konfiguráciu produktu Informatica PowerCenter 9.x použite odkaz uvedený nižšie, ktorý obsahuje podrobné pokyny:
=> Sprievodca inštaláciou a konfiguráciou Informatica PowerCenter 9

Pochopenie testovania ETL špecifického pre Informatica:

Testéri ETL majú často príslušné otázky, čo majú testovať v službe Informatica a koľko testovacieho pokrytia je potrebné?

Dovoľte mi, aby som vás prešiel prehliadkou, ako vykonať testovanie ETL špecifické pre Informatica.

Hlavné aspekty, ktoré by mali byť v zásade zahrnuté do testovania ETL Informatica, sú:

• Testovanie funkčnosti pracovného toku Informatica a jeho komponentov; všetky transformácie použité v podkladových mapovaniach.
• Ak chcete skontrolovať úplnosť údajov (t. J. Zabezpečiť, aby sa projektované údaje načítali do cieľa bez akéhokoľvek skrátenia a straty údajov),
• Overenie, či sa údaje načítajú do cieľa v odhadovaných časových limitoch (t. J. Vyhodnotenie výkonu pracovného toku),
• Zaistenie, že pracovný tok neumožňuje načítanie neplatných alebo nežiaducich údajov do cieľa.

Klasifikácia testovania ETL v Informatica:

Pre lepšie pochopenie a uľahčenie testera je možné testovanie ETL v službe Informatica rozdeliť na dve hlavné časti -

otázky týkajúce sa rozhovoru s webovou službou v jave

# 1) Testovanie na vysokej úrovni
# 2) Podrobné testovanie

Po prvé, pri testovaní na vysokej úrovni:

• Môžete skontrolovať, či je pracovný tok Informatica a súvisiace objekty platné alebo nie.
• Skontrolujte, či sa pracovný tok po dokončení úspešne dokončuje.
• Potvrďte, či sa v pracovnom toku vykonávajú všetky požadované relácie / úlohy.
• Overte, či sa údaje načítavajú do požadovaného cieľového adresára as očakávaným názvom súboru (v prípade, že pracovný tok vytvára súbor) atď.

Stručne povedané, môžete povedať, že testovanie na vysokej úrovni obsahuje všetky základné kontroly zdravého rozumu.

Príchod k ďalšej časti t.j. podrobné testovanie v Informatica , pôjdete do hĺbky overiť, či logika implementovaná v Informatice funguje podľa očakávania, pokiaľ ide o jej výsledky a výkon.

• Musíte vykonať overenie výstupných údajov na úrovni poľa, čo potvrdí, že každá transformácia funguje dobre
• Overte, či sa počet záznamov počíta na každej úrovni spracovania a nakoniec, či je cieľ podľa očakávania.
• V štatistikách zdroja / cieľa relácie dôkladne sledujte prvky, ako je kvalifikátor zdroja a cieľ
• Zaistite, aby trvanie pracovného toku Informatica bolo na rovnakej úrovni ako odhadovaný čas spustenia.

Ak to zhrnieme, môžeme povedať, že podrobné testovanie zahŕňa dôkladnú end-to-end validáciu pracovného toku Informatica a súvisiaceho toku údajov.

Zoberme si príklad:

Máme plochý súbor, ktorý obsahuje údaje o rôznych produktoch. Ukladá podrobnosti ako názov produktu, jeho popis, kategória, dátum exspirácie, cena atď.

Mojou požiadavkou je načítať každý záznam o produkte zo súboru, vygenerovať jedinečné ID produktu zodpovedajúce každému záznamu a načítať ho do tabuľky cieľovej databázy. Musím tiež potlačiť tie výrobky, ktoré patria do kategórie „C“ alebo ktorých dátum exspirácie je menší ako súčasný dátum.

Povedzme, môj plochý súbor (zdroj) vyzerá takto:

(Poznámka:Pre zväčšenie kliknite na ktorýkoľvek obrázok)

Na základe mojich požiadaviek uvedených vyššie by mala moja databázová tabuľka (Target) vyzerať takto:

Názov tabuľky: Tbl_Product

Teraz povedzme, že sme vyvinuli pracovný tok Informatica, aby sme dostali riešenie pre moje požiadavky ETL.

Základné mapovanie Informatica načíta údaje z plochého súboru a údaje odovzdá transformáciou smerovača, ktorá zahodí riadky, ktoré majú buď kategóriu produktu „C“, alebo dátum vypršania platnosti, a potom pomocou generovania sekvencie vytvorím jedinečný primárny kľúč. hodnoty pre stĺpec Prod_ID v tabuľke produktov.

Nakoniec sa záznamy načítajú do tabuľky produktov, ktorá je cieľom môjho mapovania Informatica.

Príklady:

Ďalej uvádzame vzorové testovacie prípady pre scenár vysvetlený vyššie.

Tieto testovacie prípady môžete použiť ako šablónu vo svojom testovacom projekte Informatica a pridať / odobrať podobné testovacie prípady v závislosti od funkčnosti vášho pracovného toku.

# 1) ID testovacieho prípadu: T001

Účel testovacieho prípadu: Overiť pracovný tok - (workflow_name)

Skúšobný postup:

• Prejdite do správcu pracovného toku
• Otvorte pracovný tok
• Ponuka pracovných tokov -> kliknite na overiť

Vstupná hodnota / testovacie údaje: Zdroje a ciele sú dostupné a prepojené
Zdroje: (názov všetkých inštancií zdroja)
Mapovania: (názov všetkých mapovaní)
Ciele: (názov všetkých cieľových inštancií)
Relácia: (názov všetkých relácií)

Očakávané výsledky: Správa v stavovom riadku správcu pracovných tokov: „Pracovný tok (názov_pracovného toku) je platný“

Aktuálne výsledky: Správa v stavovom riadku správcu pracovných tokov: „Pracovný tok (názov_pracovného toku) je platný“

Poznámky:Prejdite

Poznámky testera:

# 2) ID testovacieho prípadu: T002

Účel testovacieho prípadu: Zaistenie úspešného fungovania pracovného toku

Skúšobný postup:

• Prejdite do správcu pracovného toku
• Otvorte pracovný tok
• Kliknite pravým tlačidlom myši na návrhára pracovných postupov a vyberte možnosť Spustiť pracovný tok
• Skontrolujte stav v aplikácii Workflow Monitor

Vstupná hodnota / testovacie údaje: Rovnaké ako testovacie údaje pre T001

Očakávané výsledky: Správa vo výstupnom okne v správcovi pracovných tokov: Aktualizácia úlohy: (názov_pracovného toku) (úspešné)

Aktuálne výsledky: Správa vo výstupnom okne v správcovi pracovných tokov: Aktualizácia úlohy: (názov_pracovného toku) (úspešné)

Poznámky:Prejdite

Poznámky testera: Pracovný postup bol úspešný

Poznámka: Stav spustenia pracovného toku (neúspešný / úspešný) môžete ľahko vidieť na monitore pracovného toku, ako je uvedené v nasledujúcom príklade. Po dokončení pracovného toku sa stav automaticky prejaví na monitore pracovného toku.

Na snímke vyššie môžete vidieť začiatočný a konečný čas pracovného toku, ako aj stav, ktorý bol úspešný.

# 3) ID testovacieho prípadu: T003

Účel testovacieho prípadu: Overiť, či sa požadovaný počet záznamov načítava do cieľa

Skúšobný postup: Po úspešnom spustení pracovného postupu prejdite na cieľovú tabuľku v databáze
Skontrolujte počet riadkov v tabuľke cieľovej databázy

Vstupná hodnota / testovacie údaje: 5 riadkov v zdrojovom súbore
Cieľ: databázová tabuľka - (Tbl_Product)
Dotaz na spustenie na serveri SQL: Vyberte počet (1) z (Tbl_Product)

Očakávané výsledky: Boli vybraté 3 riadky

Aktuálne výsledky: Boli vybraté 3 riadky

Poznámky:Prejdite

Poznámky testera:

# 4) ID testovacieho prípadu: T004

Účel testovacieho prípadu: Ak chcete skontrolovať, či generátor sekvencií v mapovaní Informatica funguje dobre na vyplnenie (primárny_kľúč_sloupec_názov, napr. Stĺpec Prod_ID)

vzorka testovacieho plánu pre webovú aplikáciu

Skúšobný postup: Po úspešnom spustení pracovného postupu prejdite na cieľovú tabuľku v databáze
Skontrolujte jedinečnú sekvenciu vygenerovanú v stĺpci Prod_ID

Vstupná hodnota / testovacie údaje: hodnota pre Prod_ID ponechaná prázdna pre každý riadok v zdrojovom súbore
Generátor sekvencie mapovaný na stĺpec Prod_ID v mapovaní
Počiatočná hodnota generátora sekvencie bola nastavená na 1001
Cieľ: databázová tabuľka - (Tbl_Product) otvorená na serveri SQL Server

Očakávané výsledky: Hodnota od 1001 do 1003 vyplnená proti každému riadku pre stĺpec Prod_ID

Aktuálne výsledky: Hodnota od 1001 do 1003 vyplnená proti každému riadku pre stĺpec Prod_ID

Poznámky:Prejdite

Poznámky testera:

# 5) ID testovacieho prípadu: T005

ako napísať testovacie prípady z požiadaviek

Účel testovacieho prípadu: Na overenie, či transformácia smerovača funguje dobre, aby sa potlačili záznamy v prípade, že je kategória produktu „C“ alebo platnosť produktu vypršala.

Skúšobný postup: Po úspešnom spustení pracovného postupu prejdite na cieľovú tabuľku v databáze
Spustite dotaz v cieľovej tabuľke a skontrolujte, či sa požadované záznamy potlačili.

Vstupná hodnota / testovacie údaje: 5 riadkov v zdrojovom súbore
Cieľ: databázová tabuľka - (Tbl_Product)
Dotaz na spustenie na serveri SQL: Vyberte * z Produktu, kde Prod_category = „C“ alebo Prod_expiry_date< sysdate ;

Očakávané výsledky: nie sú vybraté žiadne riadky

Aktuálne výsledky: nie sú vybraté žiadne riadky

Poznámky:Prejdite

Poznámky testera: (Ak nejaký)

# 6) ID testovacieho prípadu: T006

Účel testovacieho prípadu: Ak chcete skontrolovať výkonnosť pracovného toku zaznamenaním behu pracovného toku.

Skúšobný postup:

• Otvorte monitor pracovného toku a pokračujte v behu, ktorý bol vykonaný ako súčasť T001.
• Zaznamenajte si začiatočný a konečný čas pracovného toku.
• Vypočítajte celkový čas chodu odpočítaním času začiatku od času konca.

Vstupná hodnota / testovacie údaje: Pracovný tok bol úspešne spustený
Čas začiatku pracovného toku na monitore
Čas ukončenia pracovného toku na monitore.

Očakávané výsledky: 2 min 30 s

Aktuálne výsledky: 2 min. 15 s

Poznámky:Prejdite

Poznámky testera: Test sa považuje za vyhovujúci v prípade, že skutočné trvanie chodu je +/- 10% z predpokladaného trvania chodu.

# 7) ID testovacieho prípadu: T007

Účel testovacieho prípadu: Overiť údaje na úrovni stĺpca cieľovej tabuľky, aby sa zabezpečilo, že nedôjde k ich strate.

Skúšobný postup: Po úspešnom spustení pracovného toku prejdite na server SQL Server.
Spustite dopyt v cieľovej tabuľke a skontrolujte, či nedošlo k strate údajov.

Vstupná hodnota / testovacie údaje: Pracovný tok bol úspešne spustený
Jeden vzorový záznam zo zdrojového plochého súboru.
SQL dotaz: Vyberte Top 1 * z Tbl_Patient;

Očakávané výsledky:
Vrátil sa 1 riadok

Aktuálne výsledky:
Vrátil sa 1 riadok.

Poznámky:Prejdite

Poznámky testera: Test sa považuje za vyhovujúci v prípade, že skutočné trvanie chodu je +/- 10% z predpokladaného trvania chodu.

Výhody použitia Informatica ako nástroja ETL:

Informatica je populárny a úspešný nástroj ETL, pretože:

• Má vysokú úspešnosť „spustiť“ (takmer 100%)
• Informatica je schopná umožniť štíhlu integráciu.
• Je to nástroj za miernu cenu v porovnaní s inými nástrojmi ETL.
• Dodáva sa s interným plánovačom úloh. Nie je teda potrebné používať plánovač tretej strany osobitne, ako to robia niektoré iné nástroje ETL.
• Vďaka ľahkému zaškoleniu a dostupnosti nástrojov sa Informatica stala populárnejšou.

Niekoľko užitočných rád, ktoré vám pomôžu pri testovaní ETL Informatica:

• Pred vykonaním testovacích scenárov vygenerujte údaje o teste.
• Údaje o teste by mali byť synchronizované s testovacím prípadom, pre ktorý sa používajú.
• Uistite sa, že ste pokryli všetky 3 scenáre - nezadajú sa žiadne údaje, zadajú sa neplatné údaje a platné údaje sa zadajú ako vstup do pracovného toku Informatica.
• Nezabudnite vyskúšať, či sa načítavajú všetky požadované údaje, aby ste mohli úplne zacieliť. K tomu môžete použiť testovací prípad - T003 opísaný vyššie ako ukážku.
• Je veľmi dôležité vyskúšať, či pracovný tok vykonáva všetky transformácie údajov správne podľa obchodných pravidiel.
• Navrhujem, aby ste pre každú transformáciu použitú vo vašom mapovaní Informatica mali kontrolný zoznam na overenie výstupných údajov. Týmto spôsobom môžete ľahko hlásiť chyby, ak transformácia nefunguje dobre.

Záver:

Takže sme videli podrobne niektoré zo vzorových testovacích prípadov, ktoré je možné použiť ako šablónu na pokrytie testovania ETL v Informatice. Ako som už spomínal, tieto testovacie prípady môžete pridať / odstrániť / upraviť v závislosti od scenára, ktorý máte vo svojom projekte.

Ako som už spomínal, tieto testovacie prípady môžete pridať / odstrániť / upraviť v závislosti od scenára, ktorý máte vo svojom projekte.

Informatica PowerCenter je základom všetkých aktivít integrácie údajov.

Môžete ľahko vykonať automatizované testovanie dát kopírovaných do testovacieho, vývojového alebo produkčného prostredia bez skriptov, a to je dôvod, prečo je PowerCenter v dnešnej dobe najpopulárnejším nástrojom ETL.

Odporúčané čítanie => Testovanie ETL vs. DB - bližší pohľad na potrebu testovania ETL

O autorovi: Toto je hosťovský článok Priyy K. Má viac ako 4 roky skúseností s vývojom a podporou aplikácií Informatica ETL.

Neváhajte a pošlite svoje dotazy / komentáre o tomto nástroji ETL.

Odporúčané čítanie

• Najlepšie nástroje na testovanie softvéru 2021 (QA Test Automation Tools)
• Ako vykonať backendové testovanie
• ETL Testovacie otázky a odpovede na pohovor
• Výukový program na testovanie dátových skladov ETL (kompletný sprievodca)
• Stiahnutie e-knihy Testing Primer
• Testovanie ETL vs. DB - bližší pohľad na potrebu testovania ETL, plánovanie a nástroje ETL
• Testovanie záťaže pomocou LoadUI - bezplatný a otvorený nástroj na testovanie záťaže
• Najlepšie 10 testovacích nástrojov ETL v roku 2021