PANEVROPSKI UNIVERZITET APEIRON
FAKULTET INFORMACIONIH TEHNOLOGIJA
Smjer „Poslovna informatika”
Predmet
Ekspertni sistemi
Neuronske Mreže
(seminarski rad)
Predmetni nastavnik
Prof. Dr Branko Latinović
Student:
Ladislav Milunović
Indeks broj: 113-14/RPI
Banja Luka, septembar 2017.
neuronskih sistema; u rasponu od pojedinog neuronskog nivoa (npr. modelovanje krivulje
odgovora neurona na stimulus) kroz neuronsku grupu do ukupnog organizma (na primer,
ponašanje modelovanje odgovora organizma na stimuluse). Neuronske mreže, vještačka
inteligencija i kognitivno modelovanje su paradigmi obrade informacija podstaknut
metodom obrade bioloških neuronskih sistema.
Istorija neuronske mreže
Teorija neuralnih mreža započela je krajem 1800-ih. to je bio pokušaj da se objasni kako je
ljudski mozak radio. Ove misli su počele da funkcionišu u računskim modelima sa
Turingovim B-tip mašinama i perceptronom.
Početkom 1950-ih Friedrich Hayek je prvi koji je hipotetizovao ideju impulsivnog poretka u
umu koji proističe iz decentralizovanih mreža jednostavnih jedinica (neurona). Krajem
1940-tih, Donald Hebb je završio jednu od prvih hipoteza o mehanizmu “nervne
plastičnosti” (tj. učenju), učenju hebrejskog jezika. Hibijsko učenje smatra se klasičnim
zakonom o učenju bez nadzora i (i varijante toga) je bio rani model za dugoročno
potenciranje.
Perceptron je u osnovi linearni klasifikator za klasifikaciju podataka specificiranih
parametrima i izlaznom funkcijom f = v'k + b. Njegovi parametri prilagođeni su ad-hoc
pravilom sličnom stohastičnom strmom gradijentu. Pošto je unutrašnji proizvod linearni
operator u ulaznom prostoru, Perceptron može savršeno klasifikovati skupove podataka za
koje se različite klase linearno mogu odvojiti u ulaznom prostoru, dok često ne uspijeva
potpuno za podatke koje se ne mogu odvojiti. Iako je razvoj algoritma inicijalno izazvao
neki entuzijazam, delom zbog svoje očigledne povezanosti sa biološkim mehanizmima,
kasnije otkriće ove neadekvatnosti dovelo je do napuštanja takvih modela do uvođenja
nelinearnih modela u polje.
Kognicija (1975) bila je rana višeslojna neuronska mreža sa algoritmom obuke. Stvarna
struktura mreže i metode koje se koriste za postavljanje težina međusobne veze se menjaju
iz jedne neuronske strategije na drugu, svaka sa svojim prednostima i nedostacima. Mreže
mogu propagirati informacije samo u jednom pravcu, ili mogu otkazati naprijed i nazad dok
se ne dođe do samoaktivacije na čvoru, a mreža se postavi na konačno stanje. Mogućnost
dvosmjernog protoka ulaza između neurona / čvorova proizvedena je sa Hopfieldovom
mrežom (1982), a specijalizacija ovih slojeva čvorova za specifične potrebe uvedena je kroz
prvu hibridnu mrežu.
Paralelno distribuirana obrada sredinom osamdesetih postala je popularna pod imenom
povezivanje.
Ponovno otkrivanje “back propagation” (širenje unatrag) algoritma verovatno je bio glavni
razlog za repopularizaciju neuronskih mreža nakon objavljivanja "Učenje internih
predstavki propagacijom grešaka" 1986. godine (iako se sama propagacija datira iz 1974.
godine). Originalna mreža koristila je višestruke slojeve jedinica težine-suma tipa f = g (v'k
+ b), gde je g sigmoidna funkcija ili logistička funkcija kao što je korišćena u logističkoj
regresiji. Obuka je obavljena u obliku stohastičnog strmog gradijenta. Uvođenje lančanog
pravila diferencijacije u izradi odgovarajućih ažuriranja parametara dovodi do algoritma
koji izgleda da "greške propagira nazad", a time i nomenklaturu. Međutim, u suštini je oblik
gradijentskog porijekla. Određivanje optimalnih parametara u modelu ovog tipa nije
trivijalno, a na najteže metode gradijentnog spuštanja se ne može pouzdati da bi se rešenje
dalo bez dobre polazne tačke. U poslednje vrijeme, mreže sa istom arhitekturom kao i
mrežom za širenje leđa se nazivaju Multi-Layer Perceptrons. Ovo ime ne nameće nikakva
ograničenja na vrstu algoritma koji se koristi za učenje.
Funkcionisanje neuronske mreže
Neuronske mreže, kako se koriste u vještačkoj inteligenciji, tradicionalno se posmatraju kao
pojednostavljeni modeli neuronske obrade u mozgu, iako se raspravlja odnos između ovog
modela i biološke arhitekture mozga.
Predmet tekućeg istraživanja u teorijskoj neuronauci je pitanje okruženja stepena složenosti
i osobina koje pojedinačni neuronalni elementi moraju da reprodukuju nešto slično
inteligenciji životinja.
Istorijski gledano, računari su evoluirali iz arhitekture von Neumann-a, koja se zasniva na
sekvencijalnoj obradi i izvršenju eksplicitnih uputstava. Sa druge strane, porijeklo
neuronskih mreža zasniva se na naporima za modelovanje obrada informacija u biološkim
sistemima, koji se mogu u velikoj mjeri oslanjati na paralelnu obradu, kao i na implicitne
instrukcije zasnovane na prepoznavanju šablona senzornih podataka iz vanjskih izvora.
Drugim riječima, u samom srcu neuronska mreža je složeni statistički procesor (za razliku
od zadatka koji se zapravo procesira i izvršava).
Vještačka neuronska mreža (ANN), koja se naziva i simulirana neuronska mreža (SNN) ili
obično samo neuronska mreža (NN), je međusobno povezana grupa vještačkih neurona
koja koristi matematički ili računarski model za obradu informacija zasnovan na
povezivačkom pristupu računanju. U većini slučajeva ANN je adaptivni sistem koji mijenja
svoju strukturu na osnovu spoljnih ili unutrašnjih informacija koje protiče kroz mrežu.
U praktičnijem smislu neuronske mreže su ne-linearno modeliranje statističkih podataka ili
alati za donošenje odluka. Oni se mogu koristiti za modeliranje složenih odnosa između
ulaza i izlaza ili za pronalaženje uzoraka u podacima.
