Teorija informacija i kodova

Teorija informacija i kodova
Prvi čas

1.1. Osnovni elementi teorije vjerovatnoće

Na samom početku, ukratko ćemo predstaviti osnovne elemente teorije vjerovatnoće, koji će biti korišćeni u kursu. Napomenimo da ćemo ovdje već pomenuti neke pojmove kao što su signal i informacija i koji će biti definisani u narednoj lekciji. Pretpostavimo da u električnom kolu jedino stanje koje se može pojaviti u nekom čvoru je 5V. To stanje onda nije neodređeno i ako apriori znamo da je u toj tački napon 5V mjerenje ne moramo ni obaviti. U rječniku teorije informacija kaže se da ovo stanje ne nosi informaciju.

Ako postoji mogućnost da u pomenutoj tački postoji vrijednost 0V i 5V postoji potreba da se izvrši mjerenje i da se “ukine neodređenost” o vrijednosti stanja. Sada vrijednosti 0V možemo pridružiti vrijednost 0 i vrijednost 5V pridružiti vrijednost 1 u binarnoj aritmetici. Za ovu operaciju se kaže da smo kodirali stanje (poruku).

Dalje, posmatrajmo mogućnost da imamo trideset mogućih naponskih stanja 0V, 1V, 2V, … 29V kojima možemo pridružiti slova naše abecede A, B, C, … Ž. Sada zamislimo da nam neko mijenjajući stanje u tački kola prenosi poruku. Mi tu poruku možemo tumačiti mjerenjem napona u pojedinim trenucima. Ova operacija se uslovno može zvati dekodiranje.

Da bi se način “prenosa” optimizovao (poboljšao) neophodno je odrediti prirodu poruke koja se prenosi. Znači, mi očekujemo neku poruku nepoznate sadržine iz skupa svih poruka koje se na našem jeziku mogu izgovoriti. Da bi tačno kvantifikovali mogućnost pojavljivanja nekog slova koristimo pojam vjerovatnoće. Tako možemo reći da je vjerovatnoća pojavljivanja slova A u ukupnom skupu slova u našem jeziku neka vrijednost. Očigledno je ta vrijednost veća nego pojavljivanje slova Š. Da bi način mjerenja (odnosno prenosa informacija) podesili pravilno, trebalo bi da nam mjerna skala oko vrijednosti napona koja daje slovo A, bude preciznija nego ona oko slova Š. Isto se dešava kod prenosa informacija. Dakle, poznavanje vjerovatnoće pojavljivanja nekog slova u poruci opredjeljuje performanse sistema. Sistem koji govori o porukama koje su unaprijed nepoznate sadržine je “stohastički” ili slučajan. Suprotno od ovoga su deterministički sistemi. Deterministički sistemi ne nose poruke i informacije, ali su lakši za analizu pa se stoga i u mnogim oblastima koje se bave porukama koriste kao model. Teorija informacija i kodova međutim polazi od slučajnih poruka sa određenom vjerovatnoćom pojavljivanja određenog simbola.

Drugi veoma značajan razlog za uvođenje pojmova teorije vjerovatnoće u teoriju informacija je postojanje određenih vrsta smetnji koje se pri slanju, prenosu, prijemu i razumjevanju poruke mogu dogoditi. Sve ove smetnje se na nekom nivou mogu opisati determinističkim zakonima. Međutim, za dovoljno preciznu analizu dovoljne su procjene procesa koji dovode do smetnji. Takve procjene ćemo nazivati šumovima. Važno je napomenuti da neke vrste šumova potiču od termičkog kretanja elektrona, druge su izazvane atmosferskim procesima ili ljudskim aktivnostima. Međutim, mi u ovom kursu nećemo razmatrati šum na fizičkom nivou već samo kao model.