Visoka Poslovna škola strukovnih studija Blace
SEMINARSKI RAD
Predmet: Veštačka inteligencija
Tema: Učenje neuronskih mreža
a(.) – aktivacijska funkcija (akson kod biološkog neurona);
θ
k
– prag aktivacije ;
y
i
– vrednost izlaza tj. outputa (potencijal izlaza kod biološkog
neurona).
Šematski prikaz, uz upotrebu navedenih oznaka, predstavljen je na dijagramu
1. Svaka od ulaznih veza, koje su označene sa
x
i
, i kojih ima
m
, množi se svojim
težinskim koeficijentom
w
ki
. Ovako pomnožene vrednosti se potom sabiraju, i
dobija se vrednost
u
k
.
p
i
=
∑
j
=
1
n
W
ij
X
j
A vrednost izraza
i
–tog neurona je:
y
i
=
σ
(
p
i
−
θ
)=
σ
(
∑
j
n
W
ij
X
j
−
θ
)
Slika 1. – Skica neurona
2. Neuronske mreže
Neuronska mreža je sistem sastavljen od više jednostavnih procesora (jedinica,
veštačkih neurona), svaki od njih ima lokalnu memoriju u kojoj pamti podatke
koje obrađuje. Te jedinice su povezane komunikacionim kanalima (vezama).
Podaci koji se ovim kanalima razmenjuju su obično numerički. Jedinice
obrađuju samo svoje lokalne podatke i ulaze koje primaju preko konekcije.
Ograničenja lokalnih operatora se mogu otkloniti tokom treninga.
Neuronske mreže predstavljaju jednu od metoda veštačke inteligencije.
Umesto što konceptualizuju problem u matematičkoj formi, neuronske mreže
koriste principe ljudskog mozga i njegove strukture, kako bi razvile strategiju
procesiranja podataka.
Predstavnik bioloških neuronskih mreža je nervni sistem živih bića. Ljudski
mozak i celokupni nervni sistem je sačinjen od nervnih ćelija, neurona, kojih
ima oko 10
11
, i koji ostvaruju oko 10
15
konekcija.
Veštačke neuronske mreže su po strukturi, funkciji i obradi informacija slične
biološkim neuronskim mrežama. Neuronska mreža u računarskim naukama
predstavlja veoma povezanu mrežu elemenata koji obrađuju podatke. One su
sposobne da izađu na kraj sa problemima koji se tradicionalnim pristupom
teško rešavaju, kao što su govor i prepoznavanje oblika. Jedna od važnijih
osobina neuronskih mreža je njihova sposobnost da uče na ograničenom
skupu primera.
Velika prednost neuronskih mreža se nalazi u mogućnosti paralelne obrade
podataka, naročito tokom izračunavanja komponenti koje su nezavisne jedne
od drugih. Neuronske mreže su sistemi sastavljeni od više jednostavnih
elemenata (neurona) koji obrađuju podatke paralelno. Funkcije koje su
neuronske mreže u stanju da obrađuju su određene strukturom mreže,
jačinom konekcije, a obrada podataka se izvodi u neuronima. Svaki elemenat
operiše samo lokalnim informacijama, radi asinhronizovano, kao da nema
sistemskog sata.
Postoje dve kategorije neuronskih mreža:
veštačke;
biološke neuronske mreže.
2.1Istorijat neuronskih mreža
Početak neuro-računarstva obično se vezuje za 1943. godinu i članak Warrena
McCullocha i Waltera Pittsa “Logički račun ideja svojstvenih nervnoj
aktivnosti”. Kibernetičar Norbert Winer i matematičar John von Neumann su
smatrali da bi istraživanja na polju računarstva, inspirisana radom ljudskog
mozga, mogla biti izuzetno zanimljiva.
Knjiga Donalda Hebb-a iz 1949. godine “The Organization of behavior”
(Organizacija ponašanja) iskazuje ideju da je klasično psihološko uslovljeno
U periodu između 1967. do 1982. godine pojavljuju se istraživači koji daju
značajan doprinos razvoju ove oblasti kao što su Teuvo Kohonen, Kunihiko
Fukushima i Stephnen Grossberg.
Naročito se istakao Teuvo Kohonen, koji je otkrio nekoliko tipova
neuronskih mreža koje su po njemu dobile naziv. U ovom periodu se pojavio i
backpropagation algoritam. U radu na ovom algoritmu su se posebno istakli
sledeći načunici: Amari (1967.) dodaje unutrašnje slojeve perceptronskoj
mreži, Bryson i Ho (1969.) razvijaju algoritam sličan backpropagation
algoritmu, Werbos (1974) nezavisno od prethodnika razvija backpropagation
algoritam, a Parker (1982) unapređuje backpropagation algoritam. Početkom
80-ih, američka vojna agencija DARPA (Agencija za odbrambene istraživačke
projekte) postala je zainteresovana za neuronske mreže i finansiranja su
ponovo započela. Sredinom 80-tih, poznati fizičar John Hopfield dao je veliki
doprinos popularizaciji neuronskih mreža, objavljujući rad u kome je napravio
paralelu između neuronskih mreža i određenih fizičkih sistema. Početkom
devedesetih, Bart Kosko u knjizi “Neural Networks and Fuzzy Systems”
dokazuje da neuronske mreže i fuzzy logika opisuju isti skup problema i
samim tim otvara novu oblast koja se naziva soft computing.
Rumenel, Hinton i Williams (1986) dokazuju veliku promenljivost i
potencijal backpropagation algoritma. Krajem 80-tih i početkom 90-tih,
neuronske mreže i neuro računarstvo se uvodi kao predmet na nekoliko
elitnih univerziteta u SAD, dok se danas neuronske mreže gotovo mogu sresti
na svim univerzitetima. Danas neuronske mreže nalaze veoma širok spektar
primena u različitim praktičnim oblastima.
2.2Arhitektura neuronske mreže
Arhitekturu ili topologiju veštačke neuronske mreže predstavlja specifično
uređenje i povezivanje neurona u obliku mreže. Po arhitekturi, neuronske
mreže se razlikuju prema broju neuronskih slojeva. Najpoznatija neuronska
mreža sa jednim slojem je
jednoslojni perceptron.
