Kompletný sprievodca umelou neurónovou sieťou v strojovom učení

complete guide artificial neural network machine learning

Tento tutoriál vysvetľuje, čo je umelá neurónová sieť, ako funguje ANN, štruktúra a typy architektúry ANN a neurónovej siete:

V tomto Školenie strojového učenia pre všetkých , preskúmali sme všetko okolo Typy strojového učenia v našom predchádzajúcom návode.

Tu, v tomto výučbe, rozoberieme rôzne algoritmy v neurónových sieťach spolu s porovnaním medzi strojovým učením a ANN. Predtým, ako sa dozvieme, ako ANN prispieva k strojovému učeniu, musíme vedieť, čo je to umelá neurónová sieť a krátke znalosti o strojovom učení.

Poďme preskúmať viac informácií o strojovom učení a umelej neurónovej sieti !!

=> Prečítajte si celú sériu školení o strojovom učení

Čo sa dozviete:

• Čo je to strojové učenie?
• Čo je to umelá neurónová sieť?
• Štruktúra biologickej neurálnej siete
• Porovnanie biologických neurónov a umelých neurónov
• Charakteristika ANN
• Štruktúra ANN
• Aktivačná funkcia
• Čo je to umelý neurón?
• Ako funguje umelý neurón?
  • # 1) Funkcia identity
  • # 2) Funkcia binárneho kroku
  • # 4) Sigmoidálna funkcia
  • # 5) RampFunction
• Základné modely ANN
• Architektúra neurónových sietí
  • # 1) Jednovrstvová sieť na posielanie ďalej
  • # 2) Viacvrstvová sieť na posielanie ďalej
  • # 3) Jeden uzol s vlastnou spätnou väzbou
  • # 4) Jednovrstvová opakujúca sa sieť
  • # 5) Viacvrstvová opakujúca sa sieť
• Príklad siete umelých neurónov
• Porovnanie medzi strojovým učením a ANN
• Neurónové siete a hlboké učenie
• Aplikácie umelej neurónovej siete
• Obmedzenia neurónových sietí
• Záver
• Odporúčané čítanie

Čo je to strojové učenie?

Machine Learning je oblasť vedy, ktorá umožňuje počítačom učiť sa a konať bez toho, aby boli výslovne programované. Je to podpole umelej inteligencie.

Čo je to umelá neurónová sieť?

ANN je nelineárny model, ktorý sa široko používa v strojovom učení a má sľubnú budúcnosť v oblasti umelej inteligencie.

Umelá neurónová sieť je obdobou biologickej neurónovej siete. Biologická neurónová sieť je štruktúra miliárd vzájomne prepojených neurónov v ľudskom mozgu. Ľudský mozog pozostáva z neurónov, ktoré vysielajú informácie do rôznych častí tela v reakcii na vykonanú činnosť.

Podobne ako táto, aj Artificial Neural Network (ANN) je výpočtová sieť vo vede, ktorá pripomína vlastnosti ľudského mozgu. ANN sa dá modelovať ako pôvodné neuróny ľudského mozgu, a preto sa súčasti spracovania ANN nazývajú Umelé neuróny.

ANN sa skladá z veľkého množstva vzájomne prepojených neurónov, ktoré sú inšpirované fungovaním mozgu. Tieto neuróny majú schopnosť učiť sa, zovšeobecňovať údaje o tréningu a odvodzovať výsledky z komplikovaných údajov.

Tieto siete sa používajú v oblastiach klasifikácie a predikcie, identifikácie vzorov a trendov, problémov s optimalizáciou atď. ANN sa učí zo školiacich údajov (známe sú vstupné a cieľové výstupy) bez programovania.

Naučená neurónová sieť sa nazýva expertný systém so schopnosťou analyzovať informácie a odpovedať na otázky konkrétneho odboru.

Formálna definícia ANN, ktorú uviedol Dr. Robert Hecht-Nielson, vynálezca jedného z prvých neuro počítačov, je:

„... výpočtový systém pozostávajúci z množstva jednoduchých, vysoko prepojených procesných prvkov, ktoré spracúvajú informácie svojou dynamickou stavovou reakciou na externé vstupy“.

čo je regresné testovanie s príkladom

Štruktúra biologickej neurálnej siete

Biologická neurónová sieť pozostáva z:

• Soma: Toto sa nazýva aj bunkové telo. Je to miesto, kde sa nachádza bunkové jadro.
• Dendrity: Jedná sa o stromové siete, ktoré sú spojené s telom bunky. Je vyrobený z nervového vlákna.
• Axon: Axon prenáša signál z tela bunky. Rozdeľuje sa na pramene a každý prameň končí v štruktúre podobnej žiarovke, ktorá sa nazýva synapse. Elektrické signály prechádzajú medzi synapsiou a dendritmi.

(obrázok zdroj )

Porovnanie biologických neurónov a umelých neurónov

Charakteristika ANN

• Nelineárnosť: Mechanizmus generovania vstupného signálu sledovaný v ANN je nelineárny.
• Učenie pod dohľadom: Vstup a výstup sa mapujú a ANN sa trénuje so súborom tréningových údajov.
• Učenie bez dozoru: Cieľový výstup nie je uvedený, takže ANN sa bude učiť sám objavovaním funkcií vo vstupných vzorcoch.
• Adaptívna povaha: Váhy spojenia v uzloch ANN sú schopné samy sa prispôsobiť tak, aby poskytovali požadovaný výstup.
• Biologický neurónový analóg: ANN má štruktúru a funkčnosť inšpirovanú ľudským mozgom.
• Odolnosť proti chybám: Tieto siete sú veľmi tolerantné, pretože informácie sú distribuované vo vrstvách a k ich výpočtu dochádza v reálnom čase.

Štruktúra ANN

Umelé neurónové siete sú prvky spracúvajúce buď vo forme algoritmov alebo hardvérových zariadení modelovaných podľa neuronálnej štruktúry mozgovej kôry ľudského mozgu.

Tieto siete sa tiež jednoducho nazývajú neurónové siete. NN je tvorený mnohými vrstvami. Viacero vzájomne prepojených vrstiev sa často nazýva „Viacvrstvový perceptrón“. Neuróny v jednej vrstve sa nazývajú „uzly“. Tieto uzly majú „aktivačnú funkciu“.

ANN má 3 hlavné vrstvy:

• Vstupná vrstva: Vstupné vzory sa privádzajú do vstupných vrstiev. Existuje jedna vstupná vrstva.
• Skryté vrstvy: Môže existovať jedna alebo viac skrytých vrstiev. Spracovanie, ktoré prebieha vo vnútorných vrstvách, sa nazýva „skryté vrstvy“. Skryté vrstvy vypočítavajú výstup na základe „váh“, ktoré sú „súčtom vážených synaptických pripojení“. Skryté vrstvy spresňujú vstup odstránením nadbytočných informácií a odosielajú informácie do ďalšej skrytej vrstvy na ďalšie spracovanie.
• Výstupná vrstva: Táto skrytá vrstva sa pripája k „výstupnej vrstve“, kde je výstup zobrazený.

Aktivačná funkcia

Aktivačná funkcia je vnútorný stav neurónu. Je to funkcia vstupu, ktorú neurón prijíma. Aktivačná funkcia sa používa na prevod vstupného signálu na uzle ANN na výstupný signál.

Čo je to umelý neurón?

Umelá neurónová sieť pozostáva z vysoko prepojených procesných prvkov, ktoré sa nazývajú uzly alebo neuróny.

Tieto neuróny pracujú paralelne a sú usporiadané v architektúre. Uzly sú navzájom spojené spojovacími spojmi. Každý neurón nesie váhu, ktorá obsahuje informácie o vstupnom signáli.

Ako funguje umelý neurón?

Umelý neurón dostane vstup. Tieto vstupy majú váhu nazývanú „synapse“. Tieto neuróny (nazývané tiež uzly) majú „aktivačnú funkciu“. Táto aktivačná funkcia pracuje na vstupe a spracuje ho tak, aby poskytoval výstup.

Vážený súčet vstupov sa stane vstupným signálom do aktivačnej funkcie a poskytne jeden výstup. Tieto vstupné hmotnosti sú nastaviteľné tak, aby neurónová sieť mohla upraviť svoje parametre tak, aby poskytovali požadovaný výstup.

Niekoľko bežných aktivačných funkcií, ktoré sa používajú v umelej neurónovej sieti, je:

# 1) Funkcia identity

Môže byť definovaný ako f (x) = x pre všetky hodnoty x. Toto je lineárna funkcia, pri ktorej je výstup rovnaký ako vstup.

# 2) Funkcia binárneho kroku

Táto funkcia sa používa v jednovrstvových sieťach na prevod čistého vstupu na výstup. Výstup je binárny, tzn. 0 alebo 1. t predstavuje prahovú hodnotu.

(obrázok zdroj )

# 3) Bipolárna kroková funkcia

Funkcia bipolárneho kroku má bipolárne výstupy (+1 alebo -1) pre čistý vstup. T predstavuje prahovú hodnotu.

# 4) Sigmoidálna funkcia

Používa sa v sieťach spätného šírenia.

Je dvoch typov:

• Funkcia binárneho sigmoidu: Nazýva sa tiež unipolárna sigmoidná funkcia alebo logistická sigmoidná funkcia. Rozsah sigmoidálnych funkčných skupín je 0 až 1.

• Bipolárny sigmoid: Bipolárna sigmoidálna funkcia sa pohybuje od -1 do +1. Je to podobné ako s hyperbolickou tangensovou funkciou.

(obrázok zdroj )

# 5) RampFunction

The vážený súčet vstupov znamená „súčin hmotnosti vstupu a hodnoty vstupu“ sčítaný spolu pre všetky vstupy.

Nech I = {I1, I2, I3 ... In} je vstupný vzor pre neurón.

Nech W = {W1, W2, W3 ... Wn} je váha spojená s každým vstupom do uzla.

Vážený súčet vstupov = Y = (? Wi * Ii) pre i = 1 až n

Základné modely ANN

Modely umelej neurónovej siete pozostávajú z 3 entít:

• Váhy alebo synaptické spojenia
• Pravidlo učenia použité na nastavenie váh
• Aktivačné funkcie neurónu

Architektúra neurónových sietí

V ANN sú neuróny vzájomne prepojené a výstup každého neurónu je prostredníctvom váh spojený s ďalším neurónom. Architektúra týchto prepojení je dôležitá v prílohe. Toto usporiadanie je vo forme vrstiev a spojením medzi vrstvami a vo vnútri vrstvy je architektúra neurónovej siete.

Najbežnejšie známe sieťové architektúry sú:

1. Sieť s jednostranným posuvom dopredu
2. Sieť s viacvrstvovým podávaním dopredu
3. Jeden uzol s vlastnou spätnou väzbou
4. Jednovrstvová opakujúca sa sieť
5. Viacvrstvová opakujúca sa sieť

Pozrime sa na každú z nich podrobne.

# 1) Jednovrstvová sieť na posielanie ďalej

Vrstva je sieť tvorená neurónmi. Tieto neuróny sú spojené s ostatnými neurónmi nasledujúcej vrstvy. Pre jednu vrstvu existujú iba vstupná a výstupná vrstva. Vstupná vrstva je spojená s uzlami výstupnej vrstvy s váhami.

Všetky vstupné uzly sú spojené s každým z výstupných uzlov. Pojem spätná väzba vyjadruje, že neexistuje žiadna spätná väzba odosielaná z výstupnej vrstvy do vstupnej vrstvy. Toto vytvára jednovrstvovú sieť spätného toku.

(obrázok zdroj )

# 2) Viacvrstvová sieť na posielanie ďalej

Viacvrstvová sieť sa skladá z jednej alebo viacerých vrstiev medzi vstupom a výstupom. Vstupná vrstva iba prijíma signál a ukladá ho do vyrovnávacej pamäte, zatiaľ čo výstupná vrstva zobrazuje výstup. Vrstvy medzi vstupom a výstupom sa nazývajú skryté vrstvy.

Skryté vrstvy nie sú v kontakte s vonkajším prostredím. S väčším počtom skrytých vrstiev je výstupná odozva efektívnejšia. Uzly v predchádzajúcej vrstve sú spojené s každým uzlom v nasledujúcej vrstve.

Pretože k vstupnej alebo skrytej vrstve nie je pripojená žiadna výstupná vrstva, vytvára viacvrstvovú sieť s dopredným napájaním.

# 3) Jeden uzol s vlastnou spätnou väzbou

Siete, kde sa výstupná vrstva odosiela späť ako vstup do vstupnej vrstvy alebo iných skrytých vrstiev, sa nazýva Feedback Networks. V jednouzlových spätnoväzbových systémoch existuje jedna vstupná vrstva, kde je výstup presmerovaný späť ako spätná väzba.

# 4) Jednovrstvová opakujúca sa sieť

V jednej opakujúcej sa vrstve tvorí sieť so spätnou väzbou uzavretú slučku. V tomto modeli jediný neurón prijíma spätnú väzbu sám so sebou alebo s ostatnými neurónmi v sieti alebo s oboma.

# 5) Viacvrstvová opakujúca sa sieť

Vo viacvrstvovej rekurentnej sieti existuje viac skrytých vrstiev a výstup je presmerovaný späť do neurónov predchádzajúcich vrstiev a ďalších neurónov v rovnakých vrstvách alebo rovnakom neuróne samotnom.

Príklad siete umelých neurónov

Zoberme si nižšie uvedenú sieť s daným vstupom a vypočítajme čistý vstupný neurón a získajme výstup neurónu Y s aktivačnou funkciou ako binárny sigmoidálny.

Vstup má 3 neuróny X1, X2 a X3 a jeden výstup Y.

Váhy spojené so vstupmi sú: {0,2, 0,1, -0,3}

Vstupy = {0,3; 0,5; 0,6}

Čistý vstup = {x1 * w1 + x2 * w2 + x3 * w3}

Čistý vstup = (0,3 * 0,2) + (0,5 * 0,1) + (0,6 * -0,3)

Čistý vstup = -0,07

Výstup pre binárne sigmoidálne:

X je -0,07

Výstup vychádza na 0,517

Porovnanie medzi strojovým učením a ANN

Neurónové siete a hlboké učenie

Sieť Deep Learning obsahuje niekoľko skrytých vrstiev medzi vstupom a výstupom. Tieto siete sa vyznačujú hĺbkou skrytých vrstiev v nich. Pred zobrazením výstupu vstupné údaje prechádzajú niekoľkými krokmi.

Tieto siete sa líšia od predchádzajúcich NN, ako je perceptron, ktorý mal jednu skrytú vrstvu a nazýval sa Shallow Networks. Každá skrytá vrstva v sieti hlbokého učenia trénuje údaje pomocou určitých funkcií na základe výstupu predchádzajúcej vrstvy.

Dáta prechádzajú mnohými vrstvami nelineárnych funkcií v uzle. Čím väčší je počet vrstiev, tým zložitejšie prvky sa dajú rozpoznať, pretože ďalšia vrstva vykoná agregáciu prvkov z predchádzajúcich vrstiev.

Viaceré skryté vrstvy v sieti zvyšujú zložitosť a abstrakciu. Táto hĺbka sa tiež nazýva hierarchia funkcií. Z tohto dôvodu sú siete hlbokého učenia schopné pracovať s vysoko dimenzionálnymi údajmi.

Niektoré príklady sietí hlbokého učenia zahŕňajú zhlukovanie miliónov obrázkov na základe jeho charakteristík a podobností, filtrovanie e-mailových správ, použitie filtrov na správy v CRM, identifikácia reči atď.

Sieť Deep Learning Networks je možné trénovať na označených aj neoznačených súboroch údajov. V prípade neoznačeného súboru údajov vykonávajú siete ako výberové stroje Boltzmann automatickú extrakciu funkcií.

Sieť sa učí automaticky analýzou vstupu vzorkovaním a minimalizáciou rozdielov vo výstupe a distribúcii vstupu. Neurónová sieť tu nachádza korelácie medzi vlastnosťami a výsledkami.

Sieť hlbokého učenia trénovaná na označených dátach sa dá použiť na neštruktúrované dáta. Čím viac tréningových údajov sa do siete dostane, tým presnejšie budú.

Schopnosť siete učiť sa z neoznačených údajov je výhodou oproti iným algoritmom učenia.

Aplikácie umelej neurónovej siete

Neurónové siete sa úspešne používajú v rôznych riešeniach, ako je uvedené nižšie.

# 1) Rozpoznanie vzoru: ANN sa používa pri rozpoznávaní vzorov, rozpoznávaní obrázkov, vizualizácii obrázkov, rukopisu, reči a iných podobných úlohách.

# 2) Problémy s optimalizáciou: Problémy ako nájdenie najkratšej trasy, plánovanie a výroba, kde je potrebné uspokojiť obmedzenia problémov a je potrebné dosiahnuť optimálne riešenia, sú použitie NN.

# 3) Prognóza: NN môže predvídať výsledok situácie analyzovaním minulých trendov. Aplikácie ako bankovníctvo, akciový trh, predpovede počasia využívajú neurónové siete.

# 4) Riadiace systémy: Riadiace systémy ako počítačové výrobky, chemické výrobky a robotika používajú neurónové siete.

Obmedzenia neurónových sietí

Nižšie sú uvedené niektoré nevýhody neurónových sietí.

• Tieto siete sú pre používateľa čiernymi skrinkami, pretože používateľ nemá žiadne úlohy okrem napájania vstupu a sledovania výstupu. Užívateľ nevie o výučbe prebiehajúcej v algoritme.
• Tieto algoritmy sú dosť pomalé a na zabezpečenie presných výsledkov vyžadujú veľa iterácií (nazývaných tiež epochy). Je to tak preto, lebo CPU počíta váhy, aktivačnú funkciu každého uzla osobitne, vďaka čomu spotrebúva čas aj zdroje. Tiež to spôsobuje problém s veľkým množstvom údajov.

Záver

V tomto tutoriáli sme sa dozvedeli o umelej neurónovej sieti, jej obdobe s biologickým neurónom a typoch neurónovej siete.

ANN spadá pod strojové učenie. Jedná sa o výpočtový model zložený z viacerých neurónových uzlov. Tieto uzly prijímajú vstup, spracúvajú vstup pomocou aktivačnej funkcie a odovzdávajú výstup do ďalších vrstiev.

Vstupy sú spojené s váhami spojovacích odkazov, ktoré sa nazývajú synapse. Základná ANN sa skladá zo vstupnej vrstvy, váh, aktivačnej funkcie, skrytej vrstvy a výstupnej vrstvy.

Aktivačné funkcie sa používajú na prevod vstupu na výstup. Niektoré z nich sú binárne, bipolárne, sigmoidálne a rampové. Na základe počtu skrytých vrstiev a mechanizmov spätnej väzby existujú rôzne typy ANN, ako napríklad jednovrstvový posun vpred, viacvrstvový posun vpred, opakované siete atď.

ANN s mnohými skrytými vrstvami medzi vstupom a výstupom tvorí sieť hlbokého učenia. Sieť hlbokého učenia má veľkú zložitosť a úroveň abstrakcie, vďaka čomu je schopná vypočítať vysokodimenzionálne údaje s tisíckami parametrov.

ANN sa používa v oblasti predpovedania, spracovania obrazu, riadiacich systémov atď. Tieto sa úspešne používajú ako riešenie mnohých vedeckých problémov.

Dúfame, že tento výukový program vysvetlil všetko, čo potrebujete vedieť o umelých neurónových sieťach !!

=> Navštívte tu exkluzívnu sériu strojového učenia

Odporúčané čítanie

• Data Mining vs. Machine Learning vs. Artificial Intelligence vs. Deep Learning
• Testovanie zabezpečenia siete a najlepšie nástroje zabezpečenia siete
• Typy strojového učenia: Supervízované vs.
• 11 najpopulárnejších softvérových nástrojov pre strojové učenie v roku 2021
• Výukový program pre strojové učenie: Úvod do ML a jeho aplikácií
• Sprievodca maskou podsiete (podsieťovanie) a kalkulačkou podsiete IP
• Sprievodca hodnotením a správou zraniteľnosti siete
• 15 najlepších nástrojov na sieťové skenovanie (sieťový a IP skener) z roku 2021