Testovanie ETL vs. DB - bližší pohľad na potrebu testovania ETL, plánovanie a nástroje ETL

etl vs db testing closer look etl testing need

Testovanie softvéru má množstvo oblastí, ktoré je potrebné sústrediť. Hlavné odrody sú funkčné a nefunkčné skúšky. Funkčné testovanie je procesný spôsob zabezpečenia, aby vyvinutá funkčnosť fungovala podľa očakávania. Nefunkčné testovanie je prístup, ktorým sa dajú zabezpečiť nefunkčné aspekty, ako je vylepšenie alebo výkon na prijateľnej úrovni.

Existuje ešte jedna príchuť testovania, ktorá sa volá DB testovanie . Údaje sú v databáze usporiadané vo forme tabuliek. Pre podnikanie môžu existovať toky kde údaje z viacerých tabuliek je možné zlúčiť alebo spracovať do jednej tabuľky a naopak.

Testovanie ETL je ďalší typ testovania, ktorý sa uprednostňuje v obchodnom prípade, keď klienti požadujú určitý druh vykazovania. Správa sa hľadá s cieľom analyzovať požiadavky, potreby a ponuku, aby klientom, podnikom a koncovým používateľom poskytovali veľmi dobré služby a aby z nich mali úžitok.

Čo sa naučíte v tomto návode?

V tomto tutoriáli sa dozviete, čo je Testovanie databázy, čo je Testovanie ETL, aký je rozdiel medzi Testovaním DB a Testovaním ETL a ďalšie podrobnosti o potrebe, postupe a plánovaní testovania ETL na skutočných príkladoch.

Testovaniu ETL sme sa tiež podrobnejšie venovali na nasledujúcej stránke. Tiež sa na to pozrite.

=> Tipy a techniky na testovanie ETL / testovanie dátových skladov

Čo sa dozviete:

• Testovanie DB vs. Testovanie ETL
  • Porovnávacia štúdia testovania ETL a DB
  • Prečo by malo podnikanie ísť na ETL?
  • Plánovanie testu ETL
  • Kritické potreby ETL
  • Základné problémy pri testovaní ETL
  • Body, ktoré si treba pamätať pri plánovaní a vykonávaní testov ETL
  • Nástroje ETL a ich významné použitie
  • Záver
  • Odporúčané čítanie

Testovanie DB vs. Testovanie ETL

Väčšina z nás je trochu zmätená z toho, že testovanie databázy aj testovanie ETL sú podobné a rovnaké. Faktom je, že sú si podobné, ale nie rovnaké.

Testovanie DB:

DB Testing sa zvyčajne vo veľkej miere používa v obchodných tokoch, kde v aplikácii existuje viac tokov údajov z viacerých zdrojov údajov do jednej tabuľky. Zdrojom údajov môže byť tabuľka, plochý súbor, aplikácia alebo čokoľvek iné, čo môže priniesť niektoré výstupné údaje.

Získané výstupné údaje môžu byť zase použité ako vstup pre postupný obchodný tok. Preto keď vykonávame testovanie DB, najdôležitejšou vecou, ​​ktorú je potrebné zachytiť, je spôsob, akým sa dáta môžu transformovať zo zdroja, a spôsob ich uloženia v cieľovom umiestnení.

Synchronizácia je jednou z hlavných a podstatných vecí, ktoré je potrebné zohľadniť pri vykonávaní testovania DB. Z dôvodu umiestnenia aplikácie v architektonickom toku môže byť niekoľko problémov so synchronizáciou údajov alebo DB. Pri vykonávaní testovania je preto potrebné dbať na to, aby sa neprekonal potenciál neplatné vady alebo chyby.

Príklad č:

Projekt „A“ má integrovanú architektúru, kde konkrétna aplikácia využíva údaje z niekoľkých ďalších heterogénnych zdrojov údajov. Integritu týchto údajov s cieľovým umiestnením je preto potrebné vykonať spolu s overeniami týchto skutočností:

• Overenie primárneho cudzieho kľúča
• Integrita hodnôt stĺpca
• Nulové hodnoty pre všetky stĺpce

Čo je testovanie ETL?

ETL Testovanie je špeciálny typ testovania, ktoré si klient želá nechať vykonať pre svoju prognózu a analýzu svojho podnikania. Väčšinou sa používa na účely nahlasovania. Napríklad, ak klienti potrebujú mať informácie o zákazníkoch, ktorí používajú alebo idú po ich produkte, v deň nákupu, musia využiť správy ETL.

Príspevok analýza a podávanie správ , tieto údaje sú údaje uložené do dátového skladu, kam sa musia presunúť staré historické obchodné údaje.

loadrunner rozhovor otázky a odpovede pre skúsených

Toto je viacúrovňové testovanie, pretože údaje zo zdroja sa transformujú do viacerých prostredí predtým, ako sa dostanú do konečného určeného umiestnenia.

Príklad č:

Zvážime skupinu „A“ podnikajúcu v maloobchode so zákazníkmi prostredníctvom nákupného trhu, kde si zákazník môže kúpiť akékoľvek domáce potreby potrebné na ich každodenné prežitie. Tu majú všetci navštevujúci zákazníci k dispozícii jedinečné ID členstva, pomocou ktorého môžu získavať body zakaždým, keď prídu za nákupom z nákupného trhu.

Predpisy poskytnuté skupinou hovoria, že získané body každý rok strácajú platnosť. A v závislosti na ich použití je možné členstvo buď upgradovať na vyššieho člena, alebo naopak na nižšieho člena, porovnateľne so súčasným stupňom.

Po 5 rokoch založenia nákupného trhu vedenie teraz hľadá rozšírenie svojho podnikania spolu s príjmami.

Preto potrebovali niekoľko obchodných správ, aby mohli propagovať svojich zákazníkov.

Pri testovaní databázy vykonávame nasledovné:

# 1) Validácie na cieľových tabuľkách, ktoré sa vytvárajú pomocou stĺpcov s logickými výpočtami, ako sú opísané v hárku logického mapovania a dokumente smerovania údajov.

#dva) Manipulácie ako vkladanie, aktualizácia a mazanie údajov o zákazníkoch je možné vykonávať na akejkoľvek POS aplikácii koncového používateľa v integrovanom systéme spolu s databázou typu back-end, aby sa rovnaké zmeny prejavili aj v koncovom systéme.

# 3) Testovanie DB musí zabezpečiť, aby neexistovali žiadne údaje o zákazníkoch, ktoré by boli nesprávne interpretované alebo dokonca skrátené. To by mohlo viesť k závažným problémom, ako je nesprávne mapovanie údajov o zákazníkoch s ich lojalitou

Pri testovaní ETL kontrolujeme nasledovné:

# 1) Za predpokladu, že v zdroji je 100 zákazníkov, skontrolujete, či boli všetci títo zákazníci spolu s ich údajmi zo 100 riadkov presunutí zo zdrojového systému do cieľového. Toto sa označuje ako overenie Kontrola úplnosti údajov.

#dva) Kontrola, či boli údaje o zákazníkoch správne manipulované a preukázané v 100 riadkoch. Toto sa jednoducho nazýva overenie Kontrola presnosti údajov .

# 3) Správy pre zákazníkov, ktorí v konkrétnom období získali body viac ako x hodnôt.

Porovnávacia štúdia testovania ETL a DB

Testovanie ETL a DB má niekoľko aspektov, ktoré sa navzájom líšia, a ktoré je pred ich vykonaním nevyhnutné pochopiť. To nám pomáha porozumieť hodnotám a významu testovania a spôsobu, akým pomáha podnikaniu.

Nasleduje tabuľková forma, ktorá popisuje základné správanie oboch testovacích formátov.

Prečo by malo podnikanie ísť na ETL?

Pre zváženie testovania ETL je k dispozícii veľa obchodných potrieb. Každý podnik musí mať svoje jedinečné poslanie a predmet podnikania. Celý podnik má svoj životný cyklus produktu, ktorý má všeobecnú formu:

Je úplne zrejmé, že akýkoľvek nový produkt vstupuje na trh s obrovským rastom predaja a až do fázy nazvanej zrelosť a potom klesá. Táto postupná zmena je svedkom definitívneho poklesu obchodného rastu. Preto je dôležitejšie analyzovať potreby zákazníkov pre obchodný rast a ďalšie faktory potrebné na zvýšenie ziskovosti organizácie.

Takže v skutočnosti chcú klienti analyzovať historické údaje a strategicky navrhnúť niektoré správy.

Plánovanie testu ETL

Jedným z hlavných krokov pri testovaní ETL je plánovanie testu, ktorý sa má vykonať. Bude to podobné ako v Plán testovania testovania systému to sa zvyčajne vykonáva okrem niekoľkých atribútov, ako sú požiadavky a testovacie prípady.

Tu nie sú požiadavky nič iné ako a mapovací list ktoré budú mať akési mapovanie medzi údajmi v rôznych databázach. Ako vieme, testovanie ETL sa vyskytuje na viacerých úrovniach, na jeho overenie sú potrebné rôzne mapovania.

Väčšinou sa údaje nezachytávajú priamo zo zdrojových databáz. Všetky zdrojové údaje budú mať prehľad tabuliek, z ktorých je možné údaje použiť.

Príklad: Nasleduje príklad toho, ako je možné poskytnúť priradenia. Dva stĺpce VIEW_NAME a TABLE_NAME možno použiť na predstavenie zobrazení na načítanie údajov zo zdroja a tabuľky v prostredí ETL.

Je vhodné zachovať konvenciu pomenovania, ktorá nám môže pomôcť pri plánovaní automatizácie. Všeobecná notácia, ktorú je možné použiť, je iba predpona názvu prostredia.

Najdôležitejšou vecou v ETL je identifikácia základných údajov a tabuliek zo zdroja. Ďalším podstatným krokom je mapovanie tabuliek zo zdroja do prostredia ETL.

ako otvoriť xml súbor

Nasleduje príklad toho, ako môže byť mapovanie medzi tabuľkami z rôznych prostredí spojené s účelom ETL.

Vyššie uvedené mapovanie predpokladá údaje zo zdrojovej tabuľky do fázovacej tabuľky. A potom na tabuľky v EDW a potom na OLAP čo je prostredie konečných správ. Z tohto dôvodu je synchronizácia údajov v každom okamihu veľmi dôležitá z dôvodu ETL.

Kritické potreby ETL

Ako chápeme, ETL predstavuje potrebu prognózovania, vykazovania a analýzy podnikania, aby bolo možné postupne zachytiť potreby zákazníkov. Toto umožní podniku mať vyššie požiadavky ako v minulosti.

Tu uvádzame niekoľko kritických potrieb, bez ktorých nie je možné dosiahnuť testovanie ETL:

1. Identifikácia údajov a tabuliek : To je dôležité, pretože môže existovať mnoho ďalších irelevantných a nepotrebných údajov, ktoré môžu mať najmenší význam pri predpovedaní a analýze potrieb zákazníka. Preto je potrebné pred spustením prác ETL zvoliť príslušné údaje a tabuľky.
2. Mapovací list : Toto je jedna z najdôležitejších potrieb pri práci na ETL. Mapovanie pravej tabuľky od zdroja k cieľu je povinné a akékoľvek problémy alebo nesprávne údaje v tomto hárku môžu mať vplyv na celý výstup ETL.
3. Dizajn a údaje tabuľky, typ stĺpca : Toto je ďalší dôležitý krok pri zvažovaní mapovania zdrojových tabuliek na určené tabuľky. Typ stĺpca sa musí zhodovať s tabuľkami na oboch miestach atď.
4. Prístup k databáze : Hlavnou vecou je prístup do databázy, kde pokračuje ETL. Akékoľvek obmedzenia prístupu budú mať rovnaký dopad.

Hlásenie a testovanie ETL

Podávanie správ v ETL je dôležitejšie, pretože vysvetľuje a usmerňuje klientov, ktoré zákazníci potrebujú. Takto môžu predpovedať a analyzovať presné potreby zákazníkov

Príklad č:

Spoločnosť vyrábajúca hodvábne tkaniny chcela analyzovať ich ročný predaj. Po preskúmaní ich ročného predaja zistili, že v priebehu augusta a septembra došlo k obrovskému poklesu tržieb pomocou správy, ktorú vygenerovali.

Preto sa rozhodli zaviesť propagačnú ponuku, ako je burza, zľavy atď., Ktorá zvýšila ich predaj.

Základné problémy pri testovaní ETL

Pri vykonávaní testovania ETL môže nastať niekoľko problémov, ako napríklad:

• Prístup k zdrojovým tabuľkám alebo zobrazeniam nebudú platné.
• Názov stĺpca a dátový typ zo zdroja do nasledujúcej vrstvy sa nemusia zhodovať.
• Počet záznamov od zdrojovej tabuľky po určené tabuľky sa nemusí zhodovať.

A môže ich byť oveľa viac.

Nasleduje ukážka mapovacieho hárka, kde sú stĺpce ako VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE a TRANSFORMATION LOGIC.

Prvé 3 stĺpce predstavujú podrobnosti zdrojovej databázy a ďalšie 3 predstavujú podrobnosti bezprostredne predchádzajúcej databázy. Posledný stĺpec je veľmi dôležitý. Logika transformácie je spôsob, ako sa údaje zo zdroja načítajú a uložia do určenej databázy. Závisí to od podnikania a potrieb ETL.

Body, ktoré si treba pamätať pri plánovaní a vykonávaní testov ETL

Najdôležitejšou vecou pri testovaní ETL je načítanie údajov na základe kritérií extrakcie zo zdrojovej databázy. Ak je toto kritérium neplatné alebo zastarané, v tabuľke nebudú žiadne údaje na vykonanie testovania ETL, ktoré skutočne prinesú ďalšie problémy.

Nasleduje niekoľko bodov, ktoré je potrebné dodržať pri plánovaní a vykonávaní testov ETL:

# 1) Údaje sa získavajú z heterogénnych zdrojov údajov
#dva) Spracovanie procesov ETL v integrovanom prostredí, ktoré majú rôzne:

• DBMS
• VY
• Hardware
• Komunikačné protokoly

# 3) Nevyhnutnosť mať list s mapovaním logických údajov predtým, ako je možné transformovať fyzické údaje
# 4) Pochopenie a preskúmanie zdrojov údajov
# 5) Počiatočné zaťaženie a prírastkové zaťaženie
# 6) Stĺpce auditu
# 7) Načítavajú sa fakty a rozmery

Nástroje ETL a ich významné použitie

Nástroje ETL sa v zásade používajú na zostavenie a konverziu logika transformácie prevzatím údajov zo zdroja do iného použitím transformačnej logiky. Môžete tiež mapovať schémy zo zdroja do cieľového miesta, ktoré sa vyskytujú jedinečnými spôsobmi, transformovať a vyčistiť údaje pred ich presunom do cieľového miesta spolu s efektívnym načítaním do cieľového miesta.

To môže výrazne znížiť manuálne úsilie, pretože je možné vykonať mapovanie, ktoré sa používa takmer pre všetky overovania a overovania ETL.

Nástroje ETL :

1. Informatika - PowerCenter - je jedným z populárnych nástrojov ETL, ktorý zavádza spoločnosť Informatica Corporation. To má veľmi dobrú zákaznícku základňu pokrývajúcu široké oblasti. Hlavnými súčasťami tohto nástroja sú jeho nástroje pre klientov a nástroje úložiska a servery. Ak sa chcete dozvedieť viac informácií o tomto nástroji, kliknite na ikonu tu
2. IBM - Informačný server Infosphere - Spoločnosť IBM, ktorá je lídrom na trhu v oblasti počítačovej technológie, vyvinula v roku 2008 informačný server Infosphere, ktorý sa používa na integráciu a správu informácií. Ďalšie informácie o tomto nástroji získate kliknutím na tu
3. Oracle - integrátor údajov - Spoločnosť Oracle Corporation vyvinula svoj nástroj ETL v mene spoločnosti Oracle - Data Integrator. Vďaka zvyšujúcej sa zákazníckej podpore boli aktualizované svoje nástroje ETL v rôznych verziách. Ak sa chcete dozvedieť viac informácií o tomto nástroji, kliknite na ikonu tu

Ďalšie príklady použitia testovania ETL:

najlepší prevodník z youtube na mp4 online

Zvážte niektoré letecké spoločnosti, ktoré chcú zaviesť propagačné akcie a ponuky na strategické prilákanie zákazníkov. Najskôr sa pokúsia porozumieť požiadavkám a potrebám špecifikácií zákazníka. Na dosiahnutie tohto cieľa budú vyžadovať historické údaje, najlepšie údaje z predchádzajúcich 2 rokov. Pomocou údajov analyzujú a pripravia niektoré správy, ktoré pomôžu porozumieť potrebám zákazníkov.

Môžu to byť tieto správy:

1. Zákazníci z regiónu A, ktorí cestujú do regiónu B v určitých dátumoch
2. Zákazníci so špecifickým vekovým kritériom cestujú do mesta XX

A môže existovať aj veľa ďalších správ.

Analýza týchto správ pomôže klientom identifikovať druh akcií a ponúk, z ktorých budú mať úžitok zákazníci, a zároveň môžu byť prínosom pre podniky, v ktorých sa to môže stať situáciou prospešnou pre obe strany. To sa dá ľahko dosiahnuť testovaním a správami ETL.

Súbežne s tým IT segment čelí vážnemu problému s databázou, ktorý si všimol, že zastavenie viacerých služieb má zase potenciál spôsobiť dopady na podnikanie. Pri vyšetrovaní sa zistilo, že niektoré neplatné údaje poškodili niekoľko databáz, ktoré bolo potrebné opraviť manuálne.

V prvom prípade sa budú vyžadovať správy ETL a testovanie.

Zatiaľ čo druhý prípad je, keď je potrebné správne vykonať testovanie DB, aby sa prekonali problémy s neplatnými údajmi.

Záver

Dúfam, že vyššie uvedený tutoriál poskytol jednoduchý a jasný prehľad o tom, čo je testovanie ETL a prečo sa musí robiť spolu s obchodnými dopadmi alebo výhodami, ktoré prinášajú. Týmto to nekončí, ale môže to viesť až k predvídaniu rastu v podnikaní.

O autorovi: Tento tutoriál je napísaný Nagarajanom. Je testovacím vedúcim s viac ako 6-ročnými skúsenosťami v oblasti testovania softvéru v rôznych funkčných oblastiach, ako sú bankovníctvo, aerolínie a telekomunikácie, pokiaľ ide o manuálnu aj automatizáciu.

Dajte nám prosím vedieť svoje myšlienky / otázky v komentároch nižšie.

Odporúčané čítanie

• ETL Testovacie otázky a odpovede na pohovor
• Výukový program na testovanie dátových skladov ETL (kompletný sprievodca)
• Najlepšie 10 testovacích nástrojov ETL v roku 2021
• Ako vykonať testovanie ETL pomocou nástroja Informatica PowerCenter
• 31 Najlepšie otázky z testovania databázy, otázky a odpovede
• 40+ najlepších nástrojov na testovanie databázy - populárne riešenia na testovanie údajov
• Kompletný sprievodca testovaním databázy (prečo, čo a ako testovať údaje)
• Testovanie databázy selénu (pomocou WebDriver a JDBC API)