Neuronske mreže

Neuron

Pod pojmom neuron se podrazumeva jednostavan element procesiranja koji izvršava jednostavnu matematičku funkciju. Mreže koje se sastoje iz jednog broja međusobno povezanih neurona nazivaju se neuronske mreže.

Neuron ima četiri osnovna dela:

• ulazni deo ćelije,
• telo ćelije (soma),
• izlazni deo ćelije, i
• sinapse.

Ulazni deo ćelije sadrži skup razgranatih niti nazvanih dendriti. Telo ćelije obrađuje signale koje dobija od dendrita, dobijajući na taj način izlazni impuls koji se prosleđuje na sve krajeve razgranate niti nazvane aksonom, koji predstavlja izlazni deo ćelije. Mesto gde se akson dodiruje sa dendritima neke druge ćelije se naziva sinapsa. To je mesto gde se impulsi prenose od jedne do druge nervne ćelije (tzv. celularna transdukcija).
Po analogiji sa biološkim neuronom, formiran je model veštačkog neurona. Za predstavljanje veštačkog neurona, koristićemo sledeće oznake:

• xi (i = 1, 2, … , m) – ulazne veze, vrednosti inputa koje neuron prima (signali ili potencijali inputa kod biološkog neurona);
• wki (i = 1, 2, … , m) – tzv. težinski koeficijenti (sinapse kod biološkog neurona);
• uk – zbirna vrednost, koja se dobija sabiranjem ponderisanih ulaza (telo prirodnog neurona);
• a(.) – aktivacijska funkcija (akson kod biološkog neurona);
• – prag aktivacije ;
• yi – vrednost izlaza tj. outputa (potencijal izlaza kod biološkog neurona).

Šematski prikaz, uz upotrebu navedenih oznaka, predstavljen je na dijagramu 1. Svaka od ulaznih veza, koje su označene sa xi, i kojih ima m, množi se svojim težinskim koeficijentom wki. Ovako pomnožene vrednosti se potom sabiraju, i dobija se vrednost uk.

Neuronske mreže

Neuronska mreža je sistem sastavljen od više jednostavnih procesora (jedinica, veštačkih neurona), svaki od njih ima lokalnu memoriju u kojoj pamti podatke koje obrađuje. Te jedinice su povezane komunikacionim kanalima (vezama). Podaci koji se ovim kanalima razmenjuju su obično numerički. Jedinice obrađuju samo svoje lokalne podatke i ulaze koje primaju preko konekcije. Ograničenja lokalnih operatora se mogu otkloniti tokom treninga.

Neuronske mreže predstavljaju jednu od metoda veštačke inteligencije. Umesto što konceptualizuju problem u matematičkoj formi, neuronske mreže koriste principe ljudskog mozga i njegove strukture, kako bi razvile strategiju procesiranja podataka.
Predstavnik bioloških neuronskih mreža je nervni sistem živih bića. Ljudski mozak i celokupni nervni sistem je sačinjen od nervnih ćelija, neurona, kojih ima oko 1011, i koji ostvaruju oko 1015 konekcija.
Veštačke neuronske mreže su po strukturi, funkciji i obradi informacija slične biološkim neuronskim mrežama. Neuronska mreža u računarskim naukama predstavlja veoma povezanu mrežu elemenata koji obrađuju podatke. One su sposobne da izađu na kraj sa problemima koji se tradicionalnim pristupom teško rešavaju, kao što su govor i prepoznavanje oblika. Jedna od važnijih osobina neuronskih mreža je njihova sposobnost da uče na ograničenom skupu primera.
Velika prednost neuronskih mreža se nalazi u mogućnosti paralelne obrade podataka, naročito tokom izračunavanja komponenti koje su nezavisne jedne od drugih. Neuronske mreže su sistemi sastavljeni od više jednostavnih elemenata (neurona) koji obrađuju podatke paralelno. Funkcije koje su neuronske mreže u stanju da obrađuju su određene strukturom mreže, jačinom konekcije, a obrada podataka se izvodi u neuronima. Svaki elemenat operiše samo lokalnim informacijama, radi asinhronizovano, kao da nema sistemskog sata.
Postoje dve kategorije neuronskih mreža:

• veštačke;
• biološke neuronske mreže.

Istorijat neuronskih mreža

Početak neuro-računarstva obično se vezuje za 1943. godinu i članak Warrena McCullocha i Waltera Pittsa “Logički račun ideja svojstvenih nervnoj aktivnosti”. Kibernetičar Norbert Winer i matematičar John von Neumann su smatrali da bi istraživanja na polju računarstva, inspirisana radom ljudskog mozga, mogla biti izuzetno zanimljiva.

Knjiga Donalda Hebb-a iz 1949. godine “The Organization of behavior” (Organizacija ponašanja) iskazuje ideju da je klasično psihološko uslovljeno ponašanje prisutno kod svih životinja, jer je ono svojstvo neurona. Ova ideja nije bila nova, ali ju je Hebb više razradio od prethodnika, predlažući određeni zakon učenja za sinapse, a pomoću njega je izveo kvalitativno objašnjenje nekih eksperimentalnih rezultata iz psihologije.
Početkom pedesetih godina, najviše uticaja na dalji razvoj neuronskih mreža je imao rad Marvin Minsky-a koji je u tom periodu konstruisao neuroračunar pod imenom Snark (1951). Frank Rosenblatt je zaslužan za otkriće jednoslojne neuronske mreže, zvane perceptron. Ovaj računar je mogao uspešno da podešava težinske koeficijente, međutim ovaj računar nije postigao značajnije praktične rezultate. Tek krajem pedesetih godina (1957-1958), Frank Rosenblatt i Charles Wightman sa svojim saradnicima su uspeli da razviju računar pod nazivom Mark I koji predstavlja prvi neuroračunar. Nešto posle Rosenblatta, Bernard Widrow je sa svojim studentima (najpoznatiji je Ted Hoff, kasnije tvorac mikroprocesora) razradio novi tip “neurona” – ADALINE (ADAptivini LINearni Element, prenosna funkcija f(x)=x) i odgovarajući zakon učenja.
U periodu od 1950-tih do ranih 1960-tih godina napisano je nekoliko knjiga i osnovano nekoliko kompanija koje se bave neuroračunarima. Međutim, sredinom 1960-tih godina došlo je do zastoja zbog dva očigledna problema. Prvo, većina istraživača je prišla problemu sa kvalitativne i eksperimentalne strane, zanemarujući analitički pristup. Drugo, početni entuzijazam je bio toliko jak da su uveliko publikovana predviđanja da nas od veštačkog mozga deli samo nekoliko godina istraživanja. Ovakav zanos je dalje diskreditovao ovu oblast i odbio veliki broj istraživača. Mnogi od ovih ljudi su napustili neuroračunarstvo i prešli u srodna polja.
Sredinom 1960-ih godina je pristup rešavanja problema neuronskih mreža okarakterisan kao pogrešan, nakon što Marvin Minsky i Seyour Papert u knjizi “Perceptrons” objavljuju matematički dokaz da jednoslojna neuronska mreža “Perceptron” ne može da nauči funkciju XOR, uz pretpostavku da dodavanjem više slojeva neurona taj problem neće biti prevaziđen. Tačno je da neuron nije u stanju da izvede pomenutu funkciju, ali za iole složeniju mrežu od nekoliko neurona to predstavlja veoma jednostavan zadatak. Njihov dokaz je diskreditovao istraživanja neuronskih mreža, a finansiranja su preusmerena na druge oblasti veštačke inteligencije.
U periodu između 1967. do 1982. godine pojavljuju se istraživači koji daju značajan doprinos razvoju ove oblasti kao što su Teuvo Kohonen, Kunihiko Fukushima i Stephnen Grossberg.
Naročito se istakao Teuvo Kohonen, koji je otkrio nekoliko tipova neuronskih mreža koje su po njemu dobile naziv. U ovom periodu se pojavio i backpropagation algoritam. U radu na ovom algoritmu su se posebno istakli sledeći načunici: Amari (1967.) dodaje unutrašnje slojeve perceptronskoj mreži, Bryson i Ho (1969.) razvijaju algoritam sličan backpropagation algoritmu, Werbos (1974) nezavisno od prethodnika razvija backpropagation algoritam, a Parker (1982) unapređuje backpropagation algoritam. Početkom 80-ih, američka vojna agencija DARPA (Agencija za odbrambene istraživačke projekte) postala je zainteresovana za neuronske mreže i finansiranja su ponovo započela. Sredinom 80-tih, poznati fizičar John Hopfield dao je veliki doprinos popularizaciji neuronskih mreža, objavljujući rad u kome je napravio paralelu između neuronskih mreža i određenih fizičkih sistema. Početkom devedesetih, Bart Kosko u knjizi “Neural Networks and Fuzzy Systems” dokazuje da neuronske mreže i fuzzy logika opisuju isti skup problema i samim tim otvara novu oblast koja se naziva soft computing.
Rumenel, Hinton i Williams (1986) dokazuju veliku promenljivost i potencijal backpropagation algoritma. Krajem 80-tih i početkom 90-tih, neuronske mreže i neuro računarstvo se uvodi kao predmet na nekoliko elitnih univerziteta u SAD, dok se danas neuronske mreže gotovo mogu sresti na svim univerzitetima. Danas neuronske mreže nalaze veoma širok spektar primena u različitim praktičnim oblastima.