一、 流媒體系統(tǒng)及其發(fā)展趨勢(shì)

 

　所謂流媒體是指用戶(hù)通過(guò)網(wǎng)絡(luò)或者特定數(shù)字信道邊下載邊播放多媒體數(shù)據(jù)的一種工作方式。流媒體應(yīng)用的一個(gè)最大的好處是用戶(hù)不需要花費(fèi)很長(zhǎng)時(shí)間將多媒體數(shù)據(jù)全部下載到本地后才能播放，而僅需將起始幾秒的數(shù)據(jù)先下載到本地的緩沖區(qū)中就可以開(kāi)始播放，后面收到的數(shù)據(jù)會(huì)源源不斷輸入到該緩沖區(qū)，從而維持播放的連續(xù)性，因此流媒體播放器通常只是在開(kāi)始時(shí)有一些時(shí)延。流媒體系統(tǒng)要比下載播放系統(tǒng)復(fù)雜得多，所以需要將多媒體的編解碼和傳輸技術(shù)很好地結(jié)合在一起，才能確保用戶(hù)在復(fù)雜的網(wǎng)絡(luò)環(huán)境下也能得到較穩(wěn)定的播放質(zhì)量。

 

　多媒體數(shù)據(jù)在傳輸前必須要先經(jīng)過(guò)編碼器有效地壓縮成碼流，以減少對(duì)網(wǎng)絡(luò)資源的占用率。目前常用的視頻編碼器有MPEG-2、MPEG-4、H.261、H.263、H.264、Window Media視頻編碼器和Real System視頻編碼器等；音頻編碼器有MP3、MPEG AAC、Window Media 音頻編碼器和AMR等；圖像編碼器有JPEG和JPEG2000等。多媒體編碼器所生成的碼流只包含了解碼該碼流所必需的信息，它不包含媒體間的同步、隨機(jī)訪問(wèn)等系統(tǒng)信息，因此編碼后的多媒體數(shù)據(jù)還要被組織成為具有特定系統(tǒng)格式的多媒體文件用于流媒體傳輸或者是存入磁盤(pán)中，目前常用的文件格式有MPEG-2系統(tǒng)，MP4，微軟公司的ASF，Real的文件格式，QuickTime的文件格式以及用于3G無(wú)線服務(wù)的3GPP和3GPP2等等。

 

​

　當(dāng)流媒體在實(shí)時(shí)應(yīng)用中（如現(xiàn)場(chǎng)流媒體廣播），根據(jù)當(dāng)前的網(wǎng)絡(luò)狀況和用戶(hù)的終端參數(shù)，多媒體數(shù)據(jù)是一邊被編碼一邊被流媒體服務(wù)器傳輸給用戶(hù)。而在其他的非實(shí)時(shí)應(yīng)用中，多媒體數(shù)據(jù)可以被事先編碼生成多媒體文件，存儲(chǔ)在磁盤(pán)陣列中。當(dāng)提供多媒體服務(wù)時(shí)，流媒體服務(wù)器直接讀取這些文件傳輸給用戶(hù)，這樣服務(wù)方式對(duì)設(shè)備的要求較低。目前許多流媒體服務(wù)屬于后一種方式，這樣就要求流媒體服務(wù)器具有一定的機(jī)制來(lái)適應(yīng)網(wǎng)絡(luò)狀況和用戶(hù)設(shè)備。

 

　目前碼流自適應(yīng)這一模塊主要采用的方法有：將多媒體文件中的視頻碼流轉(zhuǎn)換為一個(gè)特定碼率和圖像尺寸的碼流；或者把同一段視頻內(nèi)容編碼生成多個(gè)具有不同碼率和圖像尺寸的碼流，然后自適應(yīng)選擇一個(gè)最合適的碼流傳輸給用戶(hù)。生成的碼流還需要進(jìn)一步打包成為特定網(wǎng)絡(luò)傳輸協(xié)議的數(shù)據(jù)包用于網(wǎng)絡(luò)傳輸，由于現(xiàn)在許多網(wǎng)絡(luò)并不能保證傳輸?shù)臄?shù)據(jù)能夠及時(shí)并完全正確地被用戶(hù)收到，傳輸?shù)臄?shù)據(jù)包可能需要加前向糾錯(cuò)編碼（FEC）來(lái)保護(hù)，經(jīng)過(guò)這些處理后多媒體數(shù)據(jù)就可以通過(guò)網(wǎng)絡(luò)傳輸給用戶(hù)，目前常用的傳輸協(xié)議有RTP/RTCP、HTTP和MMS。

 

　用戶(hù)收到傳輸?shù)臄?shù)據(jù)后，如果存在丟包或者是比特出錯(cuò)，錯(cuò)誤恢復(fù)處理會(huì)根據(jù)附加的糾錯(cuò)數(shù)據(jù)來(lái)恢復(fù)傳輸錯(cuò)誤。如果還不能恢復(fù)傳輸錯(cuò)誤，用戶(hù)端可以向服務(wù)器發(fā)出重傳請(qǐng)求，在解碼開(kāi)始前重新傳輸丟失的包�；謴�(fù)后的多媒體數(shù)據(jù)將由解碼器解碼得到重構(gòu)的多媒體數(shù)據(jù)，由于容錯(cuò)保護(hù)和數(shù)據(jù)重傳可能不能恢復(fù)所有的錯(cuò)誤數(shù)據(jù)，錯(cuò)誤掩藏模塊可以利用重構(gòu)的多媒體數(shù)據(jù)的相關(guān)性來(lái)掩蓋這些錯(cuò)誤，最后這些數(shù)據(jù)就播放給用戶(hù)。

 

　通常流媒體系統(tǒng)中的服務(wù)器和用戶(hù)間并不是單向通信，如前面提到的重傳請(qǐng)求。事實(shí)上，用戶(hù)端會(huì)傳遞給服務(wù)器許多反饋信息，如終端設(shè)備的能力和網(wǎng)絡(luò)連接速度會(huì)傳給服務(wù)器的碼流自適應(yīng)模塊來(lái)調(diào)整碼流，在實(shí)時(shí)應(yīng)用中這些信息還可能傳給編碼器；用戶(hù)端的丟包率、數(shù)據(jù)包收到的時(shí)間信息和用戶(hù)緩沖區(qū)狀態(tài)等信息也會(huì)傳遞給服務(wù)器來(lái)估計(jì)當(dāng)前的網(wǎng)絡(luò)狀況，從而控制碼流的自適應(yīng)和數(shù)據(jù)的發(fā)送策略。從上面的描述來(lái)看，實(shí)際上流媒體系統(tǒng)在多媒體信息處理中是一個(gè)非常復(fù)雜的系統(tǒng)，目前市面上主要的產(chǎn)品有微軟公司的Windows Media， Real公司的Real System和蘋(píng)果公司的QuickTime，其中Windows Media系統(tǒng)的市場(chǎng)占有率最大。

 

　這篇文章主要集中討論流媒體的發(fā)展趨勢(shì)和出現(xiàn)的新的服務(wù)和技術(shù)。早期的流媒體系統(tǒng)常用在互聯(lián)網(wǎng)上傳輸一些低質(zhì)量的多媒體信息，但是隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，一些高質(zhì)量的流媒體應(yīng)用已經(jīng)開(kāi)始出現(xiàn)，如IPTV將向用戶(hù)傳輸標(biāo)清甚至高清的電視節(jié)目。另外，隨著無(wú)線網(wǎng)絡(luò)和各種各樣手持設(shè)備的出現(xiàn)，無(wú)線流媒體的應(yīng)用也變得越來(lái)越重要。并且由于很多現(xiàn)代家庭中既有高端的PC和電視，又有多種功能的手機(jī)，PDA，便攜式媒體播放器，流媒體也將在家庭娛樂(lè)和數(shù)據(jù)共享上一顯身手。針對(duì)這些應(yīng)用的需求，流媒體技術(shù)本身也在迅速地變革和發(fā)展，例如利用一些高效的編碼技術(shù)和傳輸技術(shù)提高流媒體系統(tǒng)性能；發(fā)展新的標(biāo)準(zhǔn)擴(kuò)展流媒體技術(shù)到各種不同的網(wǎng)絡(luò)和設(shè)備；在流媒體系統(tǒng)中增加更多的新功能來(lái)滿(mǎn)足應(yīng)用的需要。

 

 

二、 流媒體新服務(wù)

 

　本章將討論流媒體系統(tǒng)的一些新的應(yīng)用和服務(wù)。

　1. IPTV

　據(jù)國(guó)際電信聯(lián)盟ITU在2004年9月的一份報(bào)告指出，全球的寬帶用戶(hù)已經(jīng)在去年底首度突破 1億大關(guān)，其中中國(guó)電信的寬帶用戶(hù)就超過(guò)了1千萬(wàn)，用戶(hù)的主要接入方式是ADSL和以太網(wǎng)線，其實(shí)際的連接速率可以達(dá)到1Mbit/s。而且隨著高性能的編碼技術(shù)的采用，如H.264和最新的Windows Media視頻編碼器，800kbit/s的視頻流就可以接近或達(dá)到DVD質(zhì)量。

 

 

 

　在這種情況下，擴(kuò)展流媒體技術(shù)用來(lái)提供電視服務(wù)也就順理成章了。IPTV，也叫交互式網(wǎng)絡(luò)電視，就是利用流媒體技術(shù)通過(guò)寬帶網(wǎng)絡(luò)傳輸數(shù)字電視信號(hào)給用戶(hù)，這種應(yīng)用有效地將電視、電訊和PC三個(gè)領(lǐng)域結(jié)合在一起，具有很強(qiáng)的發(fā)展前景。IPTV可以采用兩種不同的方式提供用戶(hù)電視服務(wù)，組播或者廣播方式和視頻點(diǎn)播（VOD）方式。一個(gè)明顯的優(yōu)勢(shì)是IPTV是基于現(xiàn)在互聯(lián)網(wǎng)的方式來(lái)實(shí)現(xiàn)服務(wù)器和用戶(hù)終端的連接，因此很容易同時(shí)提供現(xiàn)有的互聯(lián)網(wǎng)的服務(wù)，將電視服務(wù)和互聯(lián)網(wǎng)瀏覽，電子郵件，以及多種在線信息咨詢(xún)、娛樂(lè)、教育及商務(wù)功能結(jié)合在一起。

 

 

　2. 無(wú)線流媒體

 

 

　2.5G、3G以及超3G無(wú)線網(wǎng)絡(luò)的發(fā)展也使得流媒體技術(shù)可以被用到無(wú)線終端設(shè)備上，目前中國(guó)聯(lián)通公司提供CDMA 1x，用戶(hù)網(wǎng)絡(luò)帶寬最多可以達(dá)到100kbit/s，這已經(jīng)足夠提供QCIF大小的流媒體服務(wù)；而且隨著3G無(wú)線網(wǎng)絡(luò)的應(yīng)用，用戶(hù)的網(wǎng)絡(luò)帶寬可以達(dá)到384kbit/s。另一方面，手機(jī)設(shè)備運(yùn)算能力越來(lái)越強(qiáng)，存儲(chǔ)空間越來(lái)越大，不用說(shuō)SMART Phone和Pocket PC等高端手機(jī)，就是一般的中檔手機(jī)，如Nokia 6610，也能實(shí)現(xiàn)基本的H.264的軟件解碼。

 

　面向無(wú)線網(wǎng)絡(luò)的流媒體應(yīng)用對(duì)當(dāng)前的編碼和傳輸技術(shù)提出了更大的挑戰(zhàn)，首先，相對(duì)于有線網(wǎng)絡(luò)而言，無(wú)線網(wǎng)絡(luò)狀況更不穩(wěn)定，除去網(wǎng)絡(luò)流量所造成的傳輸速率的波動(dòng)外，手持設(shè)備的移動(dòng)速度和所在位置也會(huì)嚴(yán)重地影響到傳輸速率，因此高效的可自適應(yīng)的編碼技術(shù)至關(guān)重要。其次，無(wú)線信道的環(huán)境也要比有線信道惡劣的多，數(shù)據(jù)的誤碼率也要高許多，而高壓縮的碼流對(duì)傳輸錯(cuò)誤非常敏感，還會(huì)造成錯(cuò)誤向后面的圖像擴(kuò)散，因此無(wú)線流媒體在信源和信道編碼上需要很好的容錯(cuò)技術(shù)。盡管手機(jī)設(shè)備的運(yùn)算能力越來(lái)越強(qiáng)，但是由于它是由電池供電的，因此編解碼處理不能太復(fù)雜，并且最好能夠根據(jù)用戶(hù)設(shè)備的電池來(lái)調(diào)整流媒體的接收和處理，能源管理技術(shù)也是移動(dòng)流媒體的一個(gè)研究熱點(diǎn)。

 

　3. 電子家庭

 

 

　現(xiàn)代家庭中的越來(lái)越多的設(shè)備可以用來(lái)采集，接收，發(fā)送和播放多媒體數(shù)據(jù)。如人們可以通過(guò)電視來(lái)收看電視節(jié)目，通過(guò)PC機(jī)在互聯(lián)網(wǎng)上欣賞流媒體節(jié)目，通過(guò)自己的數(shù)字相機(jī)和攝像機(jī)來(lái)拍攝圖像和視頻，通過(guò)手機(jī)和其他手持設(shè)備來(lái)發(fā)送彩信，通過(guò)汽車(chē)的音響系統(tǒng)來(lái)欣賞音樂(lè)和廣播。并且家庭中的網(wǎng)絡(luò)連接也是多樣化的，如電視連接有線電視網(wǎng)，PC機(jī)連接著互聯(lián)網(wǎng)，手機(jī)連接著無(wú)線網(wǎng)絡(luò)，而且這些設(shè)備也能在家里通過(guò)藍(lán)牙或者802.11無(wú)線網(wǎng)連接在一起。

 

　所有這些設(shè)備所收到的多媒體數(shù)據(jù)如何在家庭網(wǎng)絡(luò)和設(shè)備間共享，為流媒體的發(fā)展提供了一個(gè)更大的舞臺(tái)，真正實(shí)現(xiàn)一種無(wú)所不在、隨心所至的多媒體服務(wù)，讓多媒體真正地像液體一樣自由流動(dòng)起來(lái)。流媒體在家庭網(wǎng)絡(luò)應(yīng)用中的關(guān)鍵是如何使多媒體數(shù)據(jù)能夠適應(yīng)不同的設(shè)備的能力，如在電視和PC機(jī)中播放的視頻的大小可能是標(biāo)清甚至是高清，但是同樣的內(nèi)容就可能需要經(jīng)過(guò)流媒體系統(tǒng)有效的轉(zhuǎn)換才能成為最適合在手持設(shè)備上播放的媒體。

 

三、 流媒體新技術(shù)

　這章我們將討論高效的視頻編碼、可伸縮的視頻編碼和P2P技術(shù)，它們都能極大地改進(jìn)當(dāng)前流媒體系統(tǒng)的性能。

 

　1. 高效的編碼技術(shù)

 

　流媒體系統(tǒng)中的多媒體數(shù)據(jù)要通過(guò)網(wǎng)絡(luò)來(lái)傳輸給用戶(hù)，高效的編碼技術(shù)可以極大地降低流媒體系統(tǒng)對(duì)網(wǎng)絡(luò)帶寬的要求。目前標(biāo)準(zhǔn)化和商業(yè)化的視頻編碼技術(shù)都是基于運(yùn)動(dòng)補(bǔ)償和DCT變換的，從早期的MPEG-1和H.261，到最新的MPEG-4 AVC/H.264和Windows Media視頻編碼器都采用了這個(gè)框架。在這個(gè)框架中，運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊用來(lái)消除相鄰圖像間的冗余信息，熵編碼模塊用來(lái)消除編碼信號(hào)的冗余性，變換量化模塊根據(jù)人的視覺(jué)系統(tǒng)對(duì)視頻信號(hào)的細(xì)微變化的不敏感性丟失部分信息，從而提高壓縮比。

 

 

 

　在這個(gè)編碼框架下，過(guò)去十多年的時(shí)間內(nèi)編碼技術(shù)取得了很大的發(fā)展，事實(shí)上，最新MPEG-4 AVC/H.264標(biāo)準(zhǔn)的編碼效率要比MPEG-1提高了4倍左右，除去更精細(xì)的運(yùn)動(dòng)補(bǔ)償和基于上下文的熵編碼外，幀內(nèi)預(yù)測(cè)，多參考幀的預(yù)測(cè)，環(huán)路濾波和率失真優(yōu)化技術(shù)也極大地提高了該標(biāo)準(zhǔn)的性能。

 

　2. 可伸縮性編碼技術(shù)

 

　在前面兩章中我們也討論過(guò)，在流媒體應(yīng)用中需要解決的一個(gè)基本問(wèn)題是網(wǎng)絡(luò)帶寬的波動(dòng)，不同的人在不同的時(shí)刻使用互聯(lián)網(wǎng)和無(wú)線網(wǎng)絡(luò)時(shí)，得到的數(shù)據(jù)傳輸率存在著很大的差異；甚至同一個(gè)人在同一個(gè)時(shí)刻，哪怕是在傳輸同一個(gè)視頻流，實(shí)際的數(shù)據(jù)傳輸率也會(huì)存在較大的波動(dòng)。目前在流媒體系統(tǒng)中所用的編碼技術(shù)都是生成固定碼率的碼流，它們很難適應(yīng)如此復(fù)雜的網(wǎng)絡(luò)帶寬的波動(dòng)。一個(gè)有效的方法是采用可伸縮性的視頻編碼，MPEG-4和H.263標(biāo)準(zhǔn)中就包含了分層的可伸縮性的視頻編碼，它們提供一定的適應(yīng)網(wǎng)絡(luò)帶寬變化的能力，但是在流媒體應(yīng)用中人們更期望視頻編碼技術(shù)能提供精細(xì)的碼流可伸縮性，MPEG-4 FGS就是一種這樣的編碼技術(shù)，目前MPEG-21可伸縮視頻編碼組正在研究?jī)商拙幋a方案：高效的FGS編碼方案和3D小波編碼方案。

 

　3. 多媒體標(biāo)準(zhǔn)技術(shù)

　多媒體編碼標(biāo)準(zhǔn)在流媒體里是至關(guān)重要的。一方面標(biāo)準(zhǔn)的制定和執(zhí)行確保不同廠家和服務(wù)商之間可以互通互聯(lián)，另一方面標(biāo)準(zhǔn)里的知識(shí)產(chǎn)權(quán)也是商家必爭(zhēng)之處。掌握了標(biāo)準(zhǔn)里的知識(shí)產(chǎn)權(quán)，在競(jìng)爭(zhēng)的時(shí)候就有很大的主動(dòng)權(quán)。所以很多商家乃至政府部門(mén)都在全力推出自己的知識(shí)產(chǎn)權(quán)到各種國(guó)際標(biāo)準(zhǔn)里去，甚至打造自己的產(chǎn)業(yè)或國(guó)家標(biāo)準(zhǔn)。

 

　4. 對(duì)等網(wǎng)絡(luò)技術(shù)（P2P）

　　P2P是當(dāng)前互聯(lián)網(wǎng)上較熱門(mén)的技術(shù)，已應(yīng)用到網(wǎng)絡(luò)文件共享和Napster的MP3下載。其基本思想是通過(guò)P2P技術(shù)，除了和服務(wù)器外，每個(gè)用戶(hù)可以共享他的文件或信息給其他用戶(hù)。

 

　P2P技術(shù)也可以應(yīng)用到流媒體，每個(gè)流媒體用戶(hù)也是一個(gè)P2P中的一個(gè)節(jié)點(diǎn)，在目前的流媒體系統(tǒng)中用戶(hù)之間是沒(méi)有任何聯(lián)系的，但是采用P2P技術(shù)后，用戶(hù)可以根據(jù)他們的網(wǎng)絡(luò)狀態(tài)和設(shè)備能力與一個(gè)或幾個(gè)用戶(hù)建立連接來(lái)分享數(shù)據(jù)，這種連接能減少服務(wù)器的負(fù)擔(dān)和提高每個(gè)用戶(hù)的視頻質(zhì)量。P2P技術(shù)在流媒體應(yīng)用中特別適用于一些熱門(mén)事件，即使是大量的用戶(hù)同時(shí)訪問(wèn)流媒體服務(wù)器，也不會(huì)造成服務(wù)器因負(fù)載過(guò)重而癱瘓。此外，對(duì)于多人的多媒體實(shí)時(shí)通信，P2P技術(shù)也會(huì)對(duì)網(wǎng)絡(luò)狀況和音視頻質(zhì)量帶來(lái)很大改進(jìn)。

 

　P2P技術(shù)如果與可伸縮性視頻編碼技術(shù)結(jié)合將能極大地提高每個(gè)用戶(hù)所接收的視頻質(zhì)量。由于可伸縮性碼流的可加性，媒體數(shù)據(jù)不用全部傳輸給每個(gè)用戶(hù)，而是把它們分散傳輸給每個(gè)用戶(hù)，再通過(guò)用戶(hù)間的連接，每個(gè)用戶(hù)就可以得到合在一起的媒體數(shù)據(jù)。即使每個(gè)用戶(hù)與服務(wù)器的連接帶寬是有限的，應(yīng)用P2P技術(shù)，每個(gè)用戶(hù)依然可以通過(guò)流媒體系統(tǒng)享受高質(zhì)量的多媒體服務(wù)。

 

四、結(jié)束語(yǔ)

　流媒體的發(fā)展正處在一個(gè)醞釀著突變的階段。無(wú)論從應(yīng)用、服務(wù)和技術(shù)，都將會(huì)產(chǎn)生一系列重大的突破。在流媒體的領(lǐng)域里，重點(diǎn)不應(yīng)是只放在幾個(gè)孤立的關(guān)鍵技術(shù)上，而是應(yīng)該把流媒體當(dāng)作一個(gè)系統(tǒng)工程，編碼、傳輸、分享、網(wǎng)絡(luò)以及設(shè)備都是互相聯(lián)系的一個(gè)整體。怎么能在這樣一個(gè)系統(tǒng)里，最有效地將流媒體以一種最適合用戶(hù)終端設(shè)備的形式傳送給用戶(hù)，并且不增加服務(wù)器和網(wǎng)絡(luò)負(fù)擔(dān)，可能是能否在流媒體領(lǐng)域的競(jìng)爭(zhēng)中立于不敗之地的根本。