I. Uvod u multimedijalne komunikacije
1. Pojam multimedijalnih komunikacija
Medij: bilo koje sredstvo namijenjeno prenosu i skladištenju informacija.
Multimedij: sredstva komunikacije kroz više od jedne sredine.
Sredina: supstanca (vazduh, voda) kroz koju se nešto prenosi.
Multimedija: istovremeno korištenje više medija ili istovremeno korištenje više načina komuniciranja (spoj teksta i
fotografije, tj. slike grafike i sl).
Pojam multimedije se odnosi na takav sadržaj koji od nas zahtijeva upotrebu više od jednog čula da bismo ga u
potpunosti shvatili.
Informacija se eksploatiše sa naših pet čula: sluh, vid, miris, okus i dodir.
MM sistemi (još uvijek) koriste samo dva čula: audio i vizuelna čula.
Vizuelni mediji: tekst, slika, video
Audio mediji: muzika i govor.
Primjer MM sadržaja je televizija: na raspolaganju nam je slika i zvuk, aktivira čulo vida i sluha.
Audio i video Internet servise dijelimo u tri kategorije:
Streaming
snimljenog audio/video zapisa
Streaming
žive slike i zvuka
Interaktivni audio i video.
Streaming
: korisnik može da sluša ili gleda fajl tek nakon što je download počeo.
1.1. Streaming snimljenog audio/video materijala
Pri streaming-u snimljenog audia/videa, fajlovi su komprimovani i čuvaju se na serveru.
Klijent vrši download fajlova preko Interneta.
Ovo se naziva i video/audio na zahtjev.
Primjeri snimljenog audio zapisa: pjesme, simfonije, knjige, predavanja.
Primjeri snimljenog video zapisa: filmovi, TV emisije, muzički spotovi.
Preuzimanje (download) ovog sadržaja sa Interneta rezlikuje se od download-a drugih tipova fajlova.
Postoje četiri pristupa problemu različite složenosti.
1.1.1. Prvi pristup: Web Server
Komprimovani audio/video zapis se može download-ovati kao tekstualni fajl.
Proces je jednostavan, ne zahtijeva streaming.
Loše strane procesa: veličina fajlova
Audio fajlovi obično veličine desetak megabajta.
Video i više stotina megabajta.
Kompletan fajl se mora prenijeti na računar klijenta pa mu se tek potom može pristupiti, to može trajati
više minuta (sati).
Koraci pri preuzimanju fajla su:
Klijent (browser) koristi HTTP i šalje GET zahtjev serveru.
Server onda može poslati traženi fajl.
Browser na računaru klijenta koristi aplikaciju media player da pristupi datoteci.
1.1.2. Drugi pristup: Web server sa metafajlom
Ovim postupkom se media player vezuje direktno za web server.
Server skladišti dva fajla: audio/video zapis i metafajl.
Metafajl sadrži informacije o zapisu.
Problemi kod ovakvog načina pristupa:
I browser i media player koristi usluge HTTP-a koji komunicira preko TCP-a.
TCP vrši retransmisiju izgubljenih paketa čime je narušena filozofija streaming-a.
Potreban je UDP kao prenosni protokol i još jedan server- Media server.
Pristup fajlu se odvija kroz sledeće korake:
HTTP klijent pristupa web serveru preko naredbe GET
Kao odgovor dobija metafajl
Metafajl se predaje media player-u.
Media player koristi URL iz metafajla za pristup audio/video zapisu.
Web server odgovara.
1.1.3. Treći pristup: Media Server
Koraci pri pristupu fajlu:
Šta će se desiti kada paketi imaju različita kašnjenja:
Neka prvi stiže i dalje sa jednom sekundom zakašnjenja, tj u 00:01 sekundi
Neka drugi stiže sa četiri sekunde kašnjenja u donosu na prvi, tj u 00:15 sekundi
Treći sa dvije sekunde kašnjenja u odnosu na drugi., tj u 00:27 sekundi
Kad prijemnik počne reprodukciju, mora da čeka četiri sekunde do pojave drugog paketa.
Dakle javlja se praznina u streaming-u koja se naziva džiter.
Džiter se može eliminisati primjenom
timestamp
-a.
Ako svaki paket sadrži informaciju o vremenu slanja u odnosu na prvi (ili prethodni paket), onda prijemnik može
da doda ovo vrijeme vremenu od koga počinje reprodukcija. Ovim prijemnik zna kada da reprodukuje svaki
pojedinačni paket.
Zamislimo da je prvi paket imao timestamp 0, drugi 10, treći 20. Ako je reprodukcija počela od 00:08, sledeći paket
će biti reprodukovan u 00:18, naredni u 00:28. … nema praznina između paketa.
Primjenom
timestamp
-a razdvojeno je vrijeme prijema od vremena reprodukcije i eliminisan je džiter.
Timestamp-om je definisan vremenski odnos između paketa.
Pomoću njega se ne može utvrditi da li je neki paket izgubljen pri prenosu.
Potreban je broj sekvence kojoj pripada paket, kako bi se na prijemu paketi ispravno sortirali.
Ako toga ne bi bilo u slučaju gubitka recimo drugog paketa, prijemnik bi počeo reprodukciju trećeg nakon 20s jer
bi za njega to bio drugi paket.
Kako bi se odvojilo vrijeme prijema od vremena reprodukcije koristi se bafer u kome se skladište podaci.
Kada sesija počne (stigne prvi bit podataka) prijemnik odloži reprodukciju dok se ne postigne određeni prag
popunjenosti bafera.
U prethodnom primjeru, prvi bit dolazi u 00:01, prag je 7s, a reprodukcija počinje u 00:08.
Prag se mjeri vremenskim jedinicama.
Reprodukcija ne počinje dok se bafer ne napuni, dostigne prag.
Podaci stižu u bafer različitim brzinama, ali se čitaju istom brzinom.
Sve dok je brzina download-a veća od brzine reprodukcije ne dolazi do džitera.
2. Digitalizacija zvuka i slike
Prije slanja audio i zvučnog signala preko Interneta, oni se moraju digitalizovati.
O digitalizaciji zvuka je bilo govora.
Ovdje ćemo samo napraviti podsjećanje:
Ljudski glas se odmjerava 8000 puta u sekundi sa 8 bita po odmjerku (uzorku, semplu). Rezultujući signal
je 64 kbit/s. Muzika se odmjerava sa 44100 odmjeraka u sekundi sa 16 bita po uzorku. To daje signal od
705, 6 Kbit/s za mono, odnosno 1,411 Mbit/s za stereo.
2.1. Digitalizacija slike
Video snimak se sastoji od sekvenci frejmova.
Prikazivanjem tih frejmova dovoljno brzo dobijamo utisak pokretne slike (usljed tromosti oka).
Kod PAL standarda se koristi 25 frejmova po sekundi (fps), kod NTSC-a 30 .
Da bi se izbjeglo treperenje slike svaki frejm se prikazuje 2 puta.
Svaki frejm je podijeljen na male dijelove (piksele). Za crno bijelu TV to je 8 bita (256 nijansi crnog), a za kolor 24
(za svaku osnovnu boju RGB po 8 bita).
Broj bita za određenu rezoluciju se izračunava na sledeći način: npr za rezoluciju 1280x1024 to je
2x25x1280x1024x24=1.5Gbit/s.
2.2. Kompresija audia i videa
Cilj sistema kompresije: prepoznavanje korisnog dijela ulaznog signala-entropije.
Preostali dio je redudansa (informaciona suvišnost).
U realnim sistemima poželjno je postojanje izvjesne redudanse radi rekonstrukcije informacija izgubljenih tokom
prenosa.
2.2.1. Kompresija audia
Postoje dvije tehnike za komprimovanje audia:
Prediktivno kodovanje
Perceptualno kodovanje.
Kod prediktivnog kodovanja bilježe se razlike između uzoraka umjesto vrijednosti svih uzoraka.
Primjeri GSM (13kbit/s), G.729 (8 kbit/s), G.723.3 (6,4 kbit/s ili 5.3 kbit/s).
Perceptualno kodovanje (MP3): daje CD kvalitet zvuka, dio MPEG standarda.
Ideja perceptualnog kodovanja se zasniva na nesavršenosti slušnog aparata: neki zvuci mogu da prikriju druge:
Frekvencijsko maskiranje: glasan zvuk jedne frekvencije može u potpunosti zamaskirati tiši zvuk druge
frekvencije.
Vremensko maskiranje: tih zvuk koji se desi odmah nakon glasnog može biti maskiran jer glasan zvuk
može još uvijek odzvanjati u našem slušnom aparatu.
