Zjednodušené viacrozmerové testovanie a A / B testovanie: Ako testovať techniky optimalizácie webových stránok

multivariate testing

Úvod:

Existuje veľa webových stránok a aplikácií, ktoré často používame. Aj keď ich používame, pravdepodobne nevenujeme veľkú pozornosť tomu, ako sa web stal jeho aktuálnou verziou - na druhej strane, ak sa niečo nezdá v poriadku, pravdepodobne web / aplikáciu už nikdy nenavštívime.

Otázka znie - Čo je potrebné na to, aby ste dosiahli správne „to“?

Čo sa dozviete:

• Multivariačné testovanie a A / B testovanie
• Čo je to testovanie viacerých premenných?
• Typy testovania MVT:
• Ako vykonať testovanie viacerých premenných
• Chyby, ktorým je potrebné sa vyhnúť
• Čo robiť a čo nerobiť
• Klady a zápory
• A / B testovanie
• Výhody a nevýhody A / B testov:
• A / B testovanie vs Multivariačné testovanie vs split testovanie
• Viacrozmerné testovanie
• Nástroje na testovanie A / B / Split / Multivariate
• Odporúčané čítanie

Multivariačné testovanie a A / B testovanie

„To“ je najčastejšie funkčnosť - ktorú máme na testovanie a vyhodnotenie spoľahlivých procesov QA. Ale aj „to“ pozostáva z dizajnu, kombinácie prvkov, umiestnenia obsahu na stránku, niekedy dokonca farby, orientácie atď., ktoré zohrávajú významnú úlohu v celkové prijatie produktu koncovým používateľom.

Odvetvie testovania, ktoré môže v tejto oblasti veľmi pomôcť, je Multivariačné testovanie a A / B testovanie .

V dnešnom článku si povieme Multivariačné (MVT) testovanie a A / B testovanie typy podrobne.

Obidve tieto položky sú zamerané na optimalizáciu webových stránok a zlepšenie konverzného pomeru (rýchlosti, pri ktorej sa návštevníci stávajú zákazníkmi alebo vracajúcimi sa návštevníkmi - zase podnikaním) pre webové stránky.

Čo je to testovanie viacerých premenných?

Začnime s Príklad .

Ak určitá webová stránka pracuje na návrhu / prepracovaní / určení efektívnosti stránky, ktorá by mala mať obrázok a zodpovedajúci text - Po dôkladnom zvážení a zvážení, ak spoločnosť vyberie nasledujúce dva obrázky a dve vety - ich možné kombinácie môžu byť byť nasledovné:

1) Obrázok 1

2) Obrázok 2

3) Nadpis / veta 1: „Cieľ musí byť Nula nehôd“

4) Nadpis / veta 2: „Náš CIEĽ: BEZ NEHODY“

Kombinácie:

najlepší program na prevod video súborov

Vo vyššie uvedenom príklade sme testovali variácie kombinácií polí, aby sme zistili, ktoré z nich je vhodné. Jednoducho povedané, práve tam je testovanie s viacerými premennými.

Technickejšie a konkrétnejšie sa na určenie hodnoty č. možných kombinácií, ktoré sú potrebné na testovanie rôznych kombinácií, a to je:

(# Variácie pre prvok A) X (# variácie pre prvok B) ... .. = (spolu # variácií)

Vo vyššie uvedenom príklade existujú 2 variácie pre nadpis a 2 variácie pre obrázok.

Podľa vzorca teda existujú celkovo 4 kombinácie variácií, ktoré sa majú testovať súčasne, aby sa našla najlepšia kombinácia variácií.

• Hlavným cieľom vykonania testovania s viacerými premennými je zmerať a určiť účinnosť každej kombinácie variácií na konečnom systéme.
• Po dokončení kombinácií variácií sa zaháji testovanie s cieľom určiť najúspešnejší dizajn, akonáhle web prijme dostatočný prenos.
• Výsledky získané pri každej kombinácii variácií sa porovnajú s ostatnými, aby sa zistilo, ktorý dizajn je najvhodnejší na dosiahnutie konečného cieľa (vo väčšine prípadov je to Predaj ).
• Tieto štatistiky poskytujú jasný obraz o tom, či konkrétna zmena bola užitočná alebo nie.
• Tiež je možné analyzovať pozitívny alebo negatívny vplyv na interakciu používateľa

Celý tento proces nepretržitého testovania s viacerými premennými, zdokonaľovania dizajnu na základe získaných výsledkov a dosiahnutia obchodných cieľov vďaka tomu ( Príklad: dlhší čas zapojenia používateľa na určitej stránke) Optimalizácia cieľovej stránky - ktorých cieľom je prilákať viac používateľov a udržať ich na určitej stránke.

Tento proces vo veľkej miere zahŕňa testovanie s viacerými variáciami, zhromažďovanie štatistík a vykonávanie zmien na základe získaných hodnôt / výsledkov.

Nielen na webové stránky, ale aj na mobilné aplikácie sa vyžaduje testovanie viacerých premenných. Webové stránky a mobilné aplikácie sa skladajú z kombinácií variabilných prvkov, a preto sa vykonáva testovanie s viacerými premennými, aby sa zistilo, ktorá kombinácia variácií najlepšie funguje.

To zohráva rozhodujúcu úlohu v internetovej marketingovej stratégii.

Typy testovania MVT:

Na základe distribúcie prenosu do viacerých variantných verzií existujú viacnásobný typy testovania s viacerými premennými ktoré je možné vykonať:

a) Úplné faktoriálne testovanie:

Je to najpreferovanejšia forma testovania MVT, pri ktorej sa testuje každá možná kombinácia variácií prvkov rovnako tak, že sa na ňu presmeruje prenos z webovej stránky, kým sa nenájde víťaz. Všetky možné kombinácie majú rovnakú pravdepodobnosť. Najlepšie na tejto metóde je, že neexistujú žiadne predpoklady a je založená na tvrdých číslach / štatistikách, vďaka čomu je veľmi spoľahlivá a najviac odporúčaná.

Jedinou nevýhodou je doprava. S nárastom počtu rôznych kombinácií je na analýzu údajov a rozhodovanie o víťazovi potrebná veľká návštevnosť webových stránok.

b) Frakčné alebo čiastočné faktoriálne testovanie:

Ako naznačuje názov, iba zlomok všetkých verzií kombinácií variácií je vystavený prenosu na webe. Statické matematické výpočty a analýzy sa vykonávajú pre zvyšok kombinácií s cieľom nájsť najlepší konverzný pomer.

Taguchiho metóda je najpopulárnejšia metóda na frakčné faktoriálne testovanie s viacerými premennými. Táto metóda poskytuje menej presný výsledok, pretože sa testuje iba vzorka variácií, a nie všetky. Aj keď táto metóda trvá menej času na analýzu víťaza, výsledok sa nikdy nedá považovať za taký presný, ako môže byť v prípade úplného faktoriálneho testovania.

c) Adaptívne testovanie viacerých premenných:

Toto je nový prístup k testovaniu s viacerými premennými. V takom prípade sa analyzuje odozva návštevníkov v reálnom čase na webovej stránke, aby sa určila najlepšia verzia kombinácie variantov.

d) Diskrétna voľba:

Táto metóda odhaľuje interakčné účinky, napríklad, ako ľudia vytvárajú kompromis z pohľadu rozhodnutia o kúpe. Je to zložitá technika, ktorá systematicky mení atribúty alebo obsahové prvky.

e) Optimálny dizajn:

Táto metóda zahŕňa iterácie a vlnu testovania. Okrem testovania maximálneho počtu variácií kreatív v minimálnom čase tiež umožňuje marketingovým pracovníkom zvážiť vzťahy, interakcie a obmedzenia týkajúce sa prvkov obsahu webu alebo aplikácie. To pomáha pri hľadaní optimálneho riešenia.

Prejdime ďalej k dôležitej otázke: Dá sa webový marketing optimalizovať testovaním s viacerými premennými?

Odpoveď znie jednoznačne „Áno“.

Pomocou testovania s viacerými premennými môžeme jasne určiť, čo by sa malo implementovať a čomu sa treba vyhnúť. Všetko je zamerané na zážitok návštevníkov.

Pri vykonávaní viacrozmerného testovania sa berú do úvahy nasledujúce aspekty:

# 1. Nevyhnutným predpokladom testovania s viacerými premennými je: Definujte marketingové ciele alebo preskúmajte ciele pre web. Ďalej uvádzame niekoľko príkladov:

• Dosahujte maximálny príjem / zisky prostredníctvom reklamy, predaja produktov, platenia za kliknutia.
• Vytvorte povedomie o značke v klientele
• Ušetrite výdavky - napr .: Sprievodca používateľom k samoobsluhe prostredníctvom často kladených otázok namiesto online v osobných službách.

#dva. Mali by sa testovať iba tie veci, ktoré sa skutočne zameriavajú na marketingové ciele organizácie.

# 3. Vyberte iba tie prvky, ktoré presne zmerajú marketingové ciele.

Príklady môžu byť:

• Aby ste zarobili viac peňazí, mali by ste sa zamerať na stránky, ktoré obsahujú možnosti ako „Kúpiť“ / „platba“ / toky na dokončenie registrácie alebo registrácie.
• Na zvýšenie povedomia návštevníkov a propagácie môže prísť vhod „poslať priateľovi“ / „odporučiť priateľovi“ / „zdieľať“ atď.
• Z hľadiska úspor by sa mohli zamerať na prvky, ako sú často kladené otázky, pomoc, kontakt, volanie, kliknutia „Pridať do košíka“, ktoré vedú k stránkam s poďakovaním atď.

Ako vykonať testovanie viacerých premenných

1. Identifikujte problém

Prvým krokom je identifikácia problému. Získate tak rozsah vylepšenia pre svoj web alebo aplikáciu. Problém môže byť napríklad v čomkoľvek, prečo návštevníci webových stránok neklikajú na tlačidlo sťahovania.

2. Formulujte hypotézu

Vytvorte hypotézu na vylepšenie webovej stránky. Napríklad môže existovať hypotéza, že zákazníci neklikajú na tlačidlo sťahovania, pretože jeho viditeľnosť nie je lákavá. Vďaka jeho atraktívnosti by sa teda počet stiahnutí zvýšil.

3. Vytvorte variácie

Vyberte faktory a vytvorte variácie. Predpokladajme, že týmito dvoma faktormi sú nadpis „Stiahnutie“ a odkaz „producent PDF“. Ako príklad môžeme uviesť menej ako 12 variácií:

4. Určte veľkosť svojej vzorky

Zistite, koľko návštevníkov je na každej stránke potrebných, ako dlho je potrebné vykonať test, koľko máte variácií a štatistickú významnosť.

5. Vyskúšajte svoje nástroje

Pred spustením testu otestujte všetko (hlavne to, či vaša webová stránka / aplikácia funguje dobre), aby výsledky vašich testov nič neohrozili.

6. Začnite riadiť premávku

Začnite riadiť premávku podľa svojich variácií.

7. Analyzujte svoje výsledky

Po vykonaní testu po značnú dobu získate výsledky na analýzu. Príklad je uvedený nižšie:

Tie, ktoré majú 95% alebo vyššiu hladinu spoľahlivosti, sú štatisticky významné výsledky.

8. Poučte sa zo svojich výsledkov

Toto je posledný a dôležitý krok. Z testu s viacerými premennými sa dozviete o svojich webových stránkach / aplikácii a jej návštevníkoch. Toto učenie môžete využiť pre budúce testy.

Slovo opatrnosti - Pri vykonávaní testovania s viacerými premennými si dávajte pozor na nasledujúce veci:

Chyby, ktorým je potrebné sa vyhnúť

1. Nesprávny výber variantov . Pre napr. Predpokladajme, že zmeníme veľkosť písma, farbu a štýl textu nadpisu súčasne pod jednou verziou kombinácie variácií. Potom bude ťažké z prijatých údajov analyzovať, ktoré variácie nadpisu (či už veľkosť, farba alebo štýl písma) spôsobili, že návštevník reagoval odlišne.
2. Príliš krátke rozpätie testovacej prevádzky s viacerými premennými . Ukončenie testovacej prevádzky skôr a výber malého rozsahu údajov na analýzu víťaza môže viesť k neplatným štatistikám.
3. Príliš dlhé rozpätie testovacej prevádzky s viacerými premennými. Spustenie testu príliš dlho na to, aby sa analyzovali marginálne údaje, vedie tiež k veľkému plytvaniu časom
4. Nesprávne pochopenie kľúčových ukazovateľov. Zameranie, analýza a sledovanie variabilnej kombinácie tých ukazovateľov, ktoré sú nepodstatné alebo nesúvisia s konečným cieľom
5. Iba niekoľko kľúčových ukazovateľov výkonnosti sú identifikované, zatiaľ čo mnohé ďalšie nie sú sledované
6. Rozhodovanie o type prenosu návštevníkov na webovú stránku. To môže byť veľmi riskantné a problematické, pretože nie všetci návštevníci sú rovnakí.
7. Výsledky sa neanalyzujú a správne zmeny na webe.

Robím a nerob

Z vyššie uvedeného zoznamu je zhrnutie čo robiť a čo nerobiť može byť:

Nerobí:

Nesnažte sa do testu zahrnúť veľa premenných. Čím viac je počet premenných, ktoré sa majú testovať; tým väčšie budú kombinácie, čo zase znamená, že na zhromaždenie významných štatistík je potrebná väčšia prevádzka.

Čo robiť:

1. Zobrazte ukážku všetkých verzií kombinácií variácií pred začiatkom testovacej prevádzky, pretože niektoré z nich môžu byť nekompatibilné alebo nelogické. Napríklad jedna z kombinácií premenných je nadpis s nadpisom „Zľava 50% na predplatné“ a tlačidlom Vypnuté s nápisom „Predplatné zadarmo“. Takéto by sa mali odstrániť.

2. Rozhodnite o vplyve kombinovaných verzií na konverzný pomer. Zahrnúť iba tie kombinácie, ktoré majú väčší vplyv na konverzný pomer, je dobrý nápad.

3. Odhadnite prenos na webovej stránke, aby ste zhromaždili významné štatistické údaje. Pred spustením testovacej prevádzky je lepšie mať jasnú predstavu o prevádzke webových stránok. Ak má webová stránka iba 100 - 200 návštevníkov za deň, mali by sme zvážiť niekoľko premenných iba na vykonanie testu s viacerými premennými.

Klady a zápory

Doteraz sme videli, čo je viacrozmerné testovanie, ako sa to robí, chyby, faktory, čo sa deje a nerobí atď. Teraz sa pozrime na niektoré Pros a Zápory z toho:

Klady:

1. Lepší prehľad a pochopenie vplyvu premenných alebo prvkov na konverzný pomer. Viac prevádzky vedie k získaniu ďalších štatistických údajov, čo zase vedie k lepšej analýze a rozhodovaniu, pokiaľ ide o najlepšiu kombináciu premenných na dosiahnutie konečného cieľa.
2. Z hľadiska zmien v dizajne a usporiadaní je testovanie s viacerými premennými flexibilné.

Zápory:

1. Testovanie viacerých premenných trvá dlhšie.
2. Na získanie významných štatistík je potrebná veľká časť prenosu webových stránok.
3. Zložitejšie nastavovanie testovacích prevádzok.
4. Vyžaduje väčší počet verzií kombinácie premenných pre testovací chod.

A / B testovanie

To je stručný zoznam všetkých vecí, ktoré sa týkajú testovania s mnohými premennými, a preto nekončí množstvo testov, ktoré je možné vykonať na optimalizáciu webových stránok, a ďalšou dostupnou populárnou metódou je A / B testovanie .

Čo je testovanie A / B?

( obrázok zdroj)

A / B testovanie je tiež niekedy známe ako Split testovanie . Rozdelené testovanie je však iné. Rozdiel medzi nimi uvidíme v ďalšej časti tohto tutoriálu.

Pri testovaní A / B sú testované dve verzie tej istej webovej stránky s rovnakým objemom prenosu. Konečným víťazom je verzia, ktorá získa maximálny počet konverzií. Táto nová verzia určite zvyšuje konverzný pomer.

Príklad testovania rozdelenia A / B:

Poďme to pochopiť fungovanie A / B testovania na malom príklade :

Vyššie uvedený obrázok predstavuje webovú stránku s informáciami o bezpečnosti.

Tento obrázok pozostáva zo sivého tlačidla s nápisom „ Zúčastnite sa kvízu a vyhrajte zaujímavé ceny “. Táto pôvodná webová stránka sa považuje za„ verziu “. Teraz je verzia „B“ navrhnutá s farebnou variáciou tlačidla od sivej po červenú.

Toto je zobrazené na obrázku nižšie:

Živý prenos z webovej stránky je presmerovaný na obe verzie. Po vykonaní testu dostatkom návštevníkov a na základe prijatých štatistických údajov možno ľahko určiť, ktorá verzia má väčší vplyv na konverzný pomer.

Vo vyššie uvedenom príklade je tlačidlo s textom „ Zúčastnite sa kvízu a vyhrajte zaujímavé ceny ”V červenej farbe prilákalo viac návštevníkov, aby stlačili tlačidlo a zúčastnili sa kvízu ako staršie šedé tlačidlo.

Týmto sa dosiahol konečný cieľ webovej stránky zvýšiť vyššie príjmy.

Pros a Zápory A / B testov:

Klady:

1. Jednoduchá a jednoduchá metóda nastavenia experimentov na optimalizáciu webových stránok.
2. Spoľahlivé a presné výsledky možno ľahko určiť aj pri malom prenose webových stránok.
3. Testy je možné vykonať veľmi rýchlo a štatistické údaje je možné analyzovať, aby sa dosiahol konečný cieľ.
4. Nie veľmi závislé od akejkoľvek formy technológie.
5. Vhodnejšie pre zmeny v rozložení, obsahu a dizajne ľubovoľnej webovej stránky.

Zápory:

1. Na webovej stránke je možné súčasne vykonať iba niekoľko zmien alebo ich obmedzený počet.
2. Nie je možné určiť vzájomný vplyv rôznych premenných prítomných na webovej stránke.

Porovnávacia tabuľka:

A / B testovanie vs Multivariačné testovanie vs split testovanie

A / B testovanie, testovanie s viacerými premennými a testovanie s rozdelením sú tri hlavné typy testovania variantov UX (User experience). Pozrime sa, ako sa navzájom líšia.

Nasledujúce dva obrázky poskytujú veľmi dobré ilustračné porovnanie medzi testovaním A / B a testovaním s viacerými premennými.

Viacrozmerné testovanie

Split testovanie:

pl sql rozhovor s vývojárom otázky a odpovede

Máme tu ďalší variant známy ako testovanie rozdelených adries URL, ktorý je oveľa komplikovanejší ako testovanie A / B a zahŕňa zmeny na strane servera , kde máme dve rôzne webové stránky, ktoré sú navzájom testované. Tento typ testovania funguje dobre pre cieľové stránky v prípadoch, keď sa návrhový tím musí rozhodnúť, ktorá z nich bude fungovať lepšie.

Nástroje na testovanie A / B / Split / Multivariate

Na trhu existuje veľa nástrojov pre tieto tri typy testovania UX. Tu by som vymenoval niekoľko najlepších, ktoré môžete preskúmať. Sú to Google Optimize, Optimizely, VMO, Qubit, Maxymiser a AB Tasty.

Záver :

Obe metódy, A / B a testovanie s viacerými premennými, zvyšujú konverzný pomer, zlepšujú výkon a optimalizujú webové stránky a aplikácie. Oba sú svojim spôsobom užitočné a prichádzajú so svojimi jedinečnými nedostatkami a výzvami - je na nás, aby sme identifikovali a analyzovali, ktorá metóda bude najlepšie vyhovovať požiadavke.

My, testeri, sa podieľame hlavne na testovaní zmien vykonaných pri implementácii testov s viacerými premennými alebo A / B. Po vykonaní a otestovaní týchto zmien ich môže marketingový alebo obchodný tím spustiť v produkčnom prostredí a zhromaždiť tak výsledky.

Je preto veľmi dôležité, aby testeri tieto zmeny testovali veľmi opatrne, inak by boli konečné výsledky nepresné, čo by viedlo k veľkým obchodným stratám, pretože to väčšinou súvisí priamo s výnosmi z podnikania.

Odporúčané čítanie

• Najlepšie nástroje na testovanie softvéru 2021 (QA Test Automation Tools)
• Stiahnutie e-knihy Testing Primer
• Statické testovanie a dynamické testovanie - rozdiel medzi týmito dvoma dôležitými testovacími technikami
• Testovanie záťaže s výukovými programami HP LoadRunner
• Rozdiel medzi počítačom, klientskym serverom a webom
• Čo je to testovanie gama? Fáza záverečného testovania
• Čo je Testovanie zhody (Testovanie zhody)?
• Úloha pomocníka QA pri testovaní softvéru