VISOKA POSLOVNA ŠKOLA STRUKOVNIH STUDIJA
BLACE
SEMINARSKI RAD
Predmet:
Veštačka inteligencija
Tema:
Princip učenja i tipovi učenja
Student: Profesor:
Mirko Šćekić, R 26/08-III dr Branislav Jevtović
1. Uvod
Oblast koju danas poznajemo kao neuronske mreže nastala je kao rezultat spoja nekoliko
veoma različitih pravaca istraživanja: obrade signala, neurobiologije i fizike.
Neuronske mreže predstavljaju tipičan primer interdisciplinarne oblasti. S jedne strane, to
je pokušaj da se razume rad ljudskog mozga, a sa druge da se to stečeno znanje primeni u
obradi složenih informacija. Postoje i mnogi drugi napredni, nealgoritamski sistemi, kao
što su algoritmi koji uče, genetski algoritmi, adaptivne memorije, asocijativne memorije,
fazi logika. Međutim, opšti je utisak da su neuronske mreže za sada najzrelija i
najprimenljivija tehnologija. Konvencionalni računari rade na logičkoj osnovi,
deterministički, sekvencijalno ili sa vrlo niskim stepenom paralelizma. Sofver napisan za
takve računare mora biti gotovo savršen da bi ispravno radio. Za tako nešto je potreban
dugotrajan i skup proces projektovanja i testiranja.
Neuronske mreže spadaju u kategoriju paralelnog asinhronog distribuiranog procesiranja.
Mreža je tolerantna na oštećenje ili ispadanje iz rada relativno malog broja neurona.
Takođe, mreža je tolerantna i na prisustvo šuma u ulaznom signalu. Svaki memorijski
element je delokalizovan – smešten je u celoj mreži i ne možemo identifikovati deo u
kome se on čuva. Klasično adresiranje ne postoji, jer se memoriji pristupa preko sadržaja,
a ne preko adrese.
.
2
Neocognitroni. Značajna istraživanja na polju asocijativne memorije razvio je i Kohonen
u Finskoj. Jedno od njegovih značajnijih otkrića je i učenje bez nadgledanja. Velika
otkrića na polju neuronskih mreža imali su i Carpenter i Grossberg, kojima se pripisuje
razvoj ART mreža (Adaptive Resonance Theory). Arhitekturu rekurentnih neuronskih
mreža za asocijativne memorije prvi je razvio Hopfield. Neuronsku mrežu, poznatiju kao
Boltzmann-ova mašina, razvio je Hinton. Osamdesetih godina naročito su bile popularne
neuronske mreže bazirane na algoritmima učenja sa prostiranjem greške unazad (engl.
Backpropagation – BP neuronske mreže). Tako, 1986. istraživači na ovom polju
formiraju PDP (Parallel Distributed Processing) Istraživačku Grupu, a svoje rezultate
objavljuju u kompletu knjiga u dva toma, u kojem Rumelhart, Hinton i Williams
objašnjavaju Backpropagation algoritam učenja višeslojnih neuronskih mreža, kojim se
upravo rešavaju problemi za koje su Minsky i Papert smatrali da su nerešivi (doduše,
jednoslojnim neuronskim mrežama).
Osamdesetih i devedesetih godina XX veka održava se veliki broj konferencija na temu
neutronskih mreža, npr. 1987. u San Dijegu, sa oko 1700 učesnika, a počinju da izlaze i
stručni časopisi, kao što su Neural Networks, Neural Computation (1989) i mnogu drugi.
Uz to, počevši od 1987. godine, mnogi prestižni univerziteti osnivaju nove institute za
istraživanje i edukativne programe koji se bave neurokomputing –om.
2. Šta su to neuronske mreže
Postoje dve kategorije neuronskih mreža: veštačke i biološke neuronske mreže.
Predstavnik bioloških neuronskih mreža je nervni sistem živih bića. Veštačke neuronske
mreže su po strukturi, funkciji i obradi informacija slične biološkim neuronskim
mrežama, ali se radi o veštačkim tvorevinama. Neuronska mreža u računarskim naukama
predstavlja veoma povezanu mrežu elemenata koji obrađuju podatke. One su sposobne da
izađu na kraj sa problemima koji se tradicionalnim pristupom teško rešavaju, kao što su
govor i prepoznavanje oblika. Jedna od važnijih osobina neuronskih mreža je njihova
sposobnost da uče na ograničenom skupu primera.
U ovom radu, kada se govori o neuronskim mrežama, misli se prvenstveno na “veštačke
neuronske mreže” (engleski termin Artificial Neural Networks skraćeno ANN), zbog
toga što se uglavnom govori o modelima neuronskih mreža, realizovanim na računarima.
U stručnoj literaturi, nije redak slučaj da se izostavlja reč “veštačke” iako se misli na njih.
Biološke neuronske mreže su daleko komplikovanije od svojih matematičkih modela koji
se koriste za veštačke neuronske mreže.
Neuronske mreže predstavljaju sistem sastavljen od veoma velikog broja jednostavnih
elemenata za obradu podataka. Ovakvi sistemi su sposobni za prikupljanje, memorisanje i
korišćenje eksperimentalnog znanja. Ne postoji jedinstvena definicija neuronskih mreža.
Međutim, većina ljudi bi neuronske mreže definisala na sledeći način:
Neuronska mreža je sistem sastavljen od više jednostavnih procesora (jedinica, neurona),
svaki od njih ima lokalnu memoriju u kojoj pamti podatke koje obrađuje. Te jedinice su
povezane komunikacionim kanalima (vezama). Podaci koji se ovim kanalima razmenjuju
su obično numerički. Jedinice obrađuju samo svoje lokalne podatke i ulaze koje primaju
preko konekcije. Ograničenja lokalnih operatora se mogu otkloniti tokom treninga.
Veliki broj neuronskih mreža su nastale kao modeli bioloških neuronskih mreža.
Istorijski gledano, inspiracija za razvoj neuronskih mreža proizilazi iz želje da se
4
konstruiše veštački sistem sposoban za prefinjeno, možda “inteligentno”, izračunavanje
na sličan način kao što to ljudski mozak rutinski izvodi. Potencijalno, neuronske mreže
nam pružaju mogućnost za razumevanje rada ljudskog mozga.
Veštačke neuronske mreže su kolekcija matematičkih modela koji simuliraju neke od
posmatranih osobina bioloških nervnih sistema i povlače sličnosti sa prilagodljivim
biološkim učenjem. Sačinjene su od velikog broja međusobno povezanih neurona
(obrađujućih elemenata) koji su, slično biološkim neuronima, povezani svojim vezama
koje sadrže propusne (težinske) koeficijente, koje su po ulozi slične sinapsama.
Učenje se kod bioloških sistema obavlja putem regulisanja sinaptičkih veza koje
povezuju aksone i dendrite neurona. Učenje tipičnih događaja putem primera se ostvaruje
preko treninga ili otkrića do tačnih setova podataka ulaza-izlaza koji treniraju algoritam
ponavljanjem podešavajući propusne (težinske) koeficijente veza (sinapse). Ove veze
memorišu znanje neophodno za rešavanje specifičnog problema.
Većina neuronskih mreža ima neku vrstu pravila za “obučavanje”, čime se koeficijenti
veza između neurona podešavaju na osnovu ulaznih podataka. Drugim rečima, neuronske
mreže “uče” preko primera (kao što deca uče da prepoznaju konkretan predmet, objekat,
proces ili pojavu preko odgovarajućih primera) i poseduju sposobnost za generalizaciju
posle trening podataka.
Veliki potencijal neuronskih mreža se nalazi u mogućnosti paralelne obrade podataka,
tokom izračunavanja komponenti koje su nezavisne jedne od drugih. Neuronske mreže su
sistemi sastavljeni od više jednostavnih elemenata (neurona) koji obrađuju podatke
paralelno. Funkcije koje su neuronske mreže u stanju da obrađuju određene su strukturom
mreže, jačinom konekcije a obrada podataka se izvodi u neuronima. Svaki elemenat
operiše samo lokalnim informacijama. Svaki elemenat radi asinhronizovano, kao da nema
sistemskog sata.
Iako neuronske mreže postoje od 1940-tih godina, one nisu imale značajniju praktičnu
primenu sve do 1980-tih, kada su algoritmi postali dovoljno prefinjeni za opštu upotrebu
(aplikacije). Danas se neuronske mreže primenjuju za rešavanje sve većeg broja
svakodnevnih problema sa značajnom kompleksnošću. U programiranju se mogu koristiti
kao “generator” (engleski engine) koji je u stanju da vrši različita prepoznanja i
klasifikacije i koji ima sposobnost da izvrši generalizaciju prilikom odlučivanja pri
nepreciznim ulaznim podacima. Neuronske mreže nude idealno rešenje za raznovrsno
klasifikovanje problema, kao što je prevođenje teksta u govor, prepoznavanje slova,
rešavanje problema za koje ne postoji algoritamsko rešenje. Pokazuju dobre rezultate
prilikom predviđanja i modelovanja sistema gde fizički procesi nisu jasni ili su veoma
kompleksni. Prednost neuronskih mreža leži u visokoj elastičnosti prema poremećajima u
ulaznim podacima i u sposobnosti da uči. Neuronska mreža često uspešno rešava
probleme koji su previše kompleksni za konvencionalne tehnologije (na primer, problem
koji nema algoritamsko rešenje ili za koji je algoritam previše komplikovan da bi bio
pronađen) i one su često dobra pratnja problemima koje ljudi rešavaju.
5
