Princip učenja i tipovi učenja

Uvod

Oblast koju danas poznajemo kao neuronske mreže nastala je kao rezultat spoja nekoliko veoma različitih pravaca istraživanja: obrade signala, neurobiologije i fizike.
Neuronske mreže predstavljaju tipičan primer interdisciplinarne oblasti. S jedne strane, to je pokušaj da se razume rad ljudskog mozga, a sa druge da se to stečeno znanje primeni u obradi složenih informacija. Postoje i mnogi drugi napredni, nealgoritamski sistemi, kao što su algoritmi koji uče, genetski algoritmi, adaptivne memorije, asocijativne memorije, fazi logika. Međutim, opšti je utisak da su neuronske mreže za sada najzrelija i najprimenljivija tehnologija. Konvencionalni računari rade na logičkoj osnovi, deterministički, sekvencijalno ili sa vrlo niskim stepenom paralelizma. Sofver napisan za takve računare mora biti gotovo savršen da bi ispravno radio. Za tako nešto je potreban dugotrajan i skup proces projektovanja i testiranja.
Neuronske mreže spadaju u kategoriju paralelnog asinhronog distribuiranog procesiranja. Mreža je tolerantna na oštećenje ili ispadanje iz rada relativno malog broja neurona. Takođe, mreža je tolerantna i na prisustvo šuma u ulaznom signalu. Svaki memorijski element je delokalizovan – smešten je u celoj mreži i ne možemo identifikovati deo u kome se on čuva. Klasično adresiranje ne postoji, jer se memoriji pristupa preko sadržaja, a ne preko adrese.

Istorijat neuronskih mreža

Kao začetnici razvoja neuronskih mreža navode se Warren McCulloch i Walter Pitts, koji su u svom radu iz 1943. uveli prvi, jednostavni matematički model neurona, kao osnovne ćelije nervnog sistema. Ovaj model je bio diskretan i zasnovan na binarnoj logici. Oni su pokazali da određene logičke ili aritmetičke funkcije mogu biti proračunate čak i jednostavnim tipovima neuronskih mreža. Međutim, nedostatak njihovog modela bio je to što nije bio sposoban da uči. Sa druge strane, njihov rad je imao uticaja na druge istraživače. Tako, osnivač kibernetike, Norbert Wiener, bio je inspirisan ovim modelom kada je ispitivao sličnosti između nervnog i kompjuterskog sistema. Pored njega, i autor Američkog projekta elektronskih kompjutera, John von Neumann, u nekoliko svojih radova je sugerisao istraživanje kompjutera koji se zasnivaju na funkcionisanju ljudskog mozga.
Donald Hebb je 1949. napisao knjigu pod nazivom “Organizacija ponašanja” (The organisation of behaviour), u kojoj je opisao paradigmu učenja, koja nosi njegovo ime (Hebb-ovo učenje), a koja se zasniva na stavu da se propustljivost sinapsi (spojeva neurona) povećava ako su aktivnosti dva susedna neurona određeno vreme u sprezi. Ovaj princip je u suštini vezan za ažuriranje veza. Knjiga je imala znatan uticaj na autore u 40-im i 50-im godinama XX veka, koji su dalje razvijali njegove stavove. Glavni predstavnik ovog perioda je Marvin Mynski, koji je zaslužan za prvu primenu neuronskih mreža. On je 1951. godine, zajedno sa Dean Edmonds-om dizajnirao prvi neurokompjuter Snark (od 40 neurona), sa sinapsama koje imaju sposobnost proračunavanja vrednosti težinskih koeficijenata (mere sinaptičke propustljivosti) u zavisnosti od uspešnosti obavljanja specifičnog zadatka (što je zasnovano na Hebb-ovom načinu učenja).
1957. godine Frank Rosenblatt je izumeo perceptron, koji se zasniva na McCulloch-Pitts-ovom neuronu, kome je dodat algoritam učenja, tj. način na koji treba da menja vrednosti težinskih koeficijenata iterativnim postupkom, dok se ne dobije željeni rezultat.
Rosenblatt je u saradnji sa Charles Wightman-om konstruisao i uspešno demonstrirao rad neurokompjutera nazvanog Mark I Perceptron, koji je dizajniran da bi obavljao funkciju prepoznavanja karaktera.
Ubrzo nakon otkrića Perceptrona, Bernard Widrow i njegov student Marcijan Hoff, razvili su još jedan tip neuronskog računskog elementa koji je nazvan ADALINE (ADAptive LINear Element), i koji je uključivao novo efikasno pravilo učenja koje je korišćeno za adaptivno procesiranje signala, kontrolu sistema i sl.
Ovakav ekspanzivni razvoj neuronskih mreža naglo je prekinut objavljivanjem izuzetno uticajne knjige Perceptroni, koja je objavljena 1969. a napisali su je Minsky i Papert. U njoj izražavaju veliki pesimizam kada su u pitanju mogućnosti jednoslojnog perceptrona, navodeći da on ne može da se iskoristi ni za rešavanje nekih od jednostavnih logičkih funkcija. Sa druge strane, oni su preporučili da se pažnja više usmeri na razvoj sistema zasnovanih na znanju, tj. ekspertskih sistema.
Polovinom osamdesetih godina neuronske mreže doživljavaju svoj preporod zahvaljujući naglom porastu interesovanja istraživača za ovu oblast. Amari je u Japanu proučavao mehanizme obučavanja neuronskih mreža kao i njihovu matematičku pozadinu. Japanski istraživač Fukushima je razvio novu klasu neuronskih mreža poznatih kao Cognitroni i Neocognitroni