- 相關(guān)推薦
高保真實時準動態(tài)圖像采集壓縮和遠程傳輸平臺的研究與實現(xiàn)
摘要：基于大量的實際研究工作，論述了高保真實時準動態(tài)圖像采集壓縮和遠程傳輸平臺的設(shè)計思想、總體結(jié)構(gòu)、關(guān)鍵技術(shù)和優(yōu)化策略。著重對視頻采集技術(shù)、壓縮技術(shù)、圖像實時傳輸技術(shù)、同步技術(shù)和自適應(yīng)技術(shù)作了具體闡述。在相關(guān)技術(shù)領(lǐng)域有重要的學(xué)術(shù)價值和實際意義。關(guān)鍵詞：高保真 自適應(yīng) 幀間壓縮 雙向調(diào)節(jié)
在Internet飛速發(fā)展和廣泛普及的今天，信息傳輸從兩方面加強力度：一是多媒體化；二是實時化。在此基礎(chǔ)上，高保真準動態(tài)圖像采集、壓縮和遠程傳輸技術(shù)成為許多先進國家計算機領(lǐng)域的重要研究課題。在軍事上，戰(zhàn)場信息已經(jīng)不只是文字類型，而需要為決策者提供高質(zhì)量的動態(tài)實時圖像信息，以便及時準確地了解戰(zhàn)場真實情況；另外，對國外新式戰(zhàn)斗機、導(dǎo)彈等先進武器和裝備，也不只是從文字上了解散其功能、從靜態(tài)圖片上了解其形狀，而是要解其在實戰(zhàn)中的具體功能、實際威力以及真實效果，使決策者和科技人員獲得動態(tài)和感性的認識，有身臨其境之感。在工業(yè)上，需要對一些多變的、有毒的、人類不宜久留的場合進行監(jiān)測。在醫(yī)療上，則需要一些高級專家對異地的病人進行診斷和治療……這些都是基于高保真實時準動態(tài)圖像采集壓縮和遠程傳輸技術(shù)的綜合實現(xiàn)。本文結(jié)合課題組長期的研究闡述其主要技術(shù)及其優(yōu)化策略。
1 系統(tǒng)設(shè)計思想
本系統(tǒng)的設(shè)計目標是基于Internet實現(xiàn)遠程部點之間的高保真準動態(tài)圖像的實時傳輸。整個系統(tǒng)貫徹如下設(shè)計思想：發(fā)送站點和接收站點都具對圖像質(zhì)量的控制功能，以適應(yīng)Internet傳輸率不穩(wěn)定的情況；對圖像采用多種類型的壓縮技術(shù)，以適應(yīng)不同的圖像分辨率和環(huán)境要求；在Internet信道傳輸率較差時，能夠啟動自適應(yīng)功能。
2 系統(tǒng)總體結(jié)構(gòu)
在物理上，本系統(tǒng)分為發(fā)送站點和接收站點兩部分。在邏輯上，本系統(tǒng)分為圖像采集、壓縮和傳輸子系統(tǒng)、性能控制子系統(tǒng)。整個系統(tǒng)包含如下六個獨立的功能模塊，如圖1所示。
（1）圖像采集、壓縮和傳輸子系統(tǒng)
·圖像采集模塊，發(fā)送站點從攝像機讀原始視頻流，按一定的格式存儲為視頻數(shù)據(jù)。
·圖像壓縮模塊，發(fā)送站點將視頻數(shù)據(jù)壓縮，(范文先生網(wǎng)www.qkfawen.com收集整理)為網(wǎng)絡(luò)傳輸作準備。
·視頻傳輸模塊，利用RTP和UDP協(xié)議將壓縮后的視頻數(shù)據(jù)發(fā)送到遠程站點。
·視頻解壓縮模塊，接收站點將接收到的壓縮數(shù)據(jù)用解壓縮算法還原成視頻數(shù)據(jù)。
（2）性能控制子系統(tǒng)
·客戶/服務(wù)器同步模塊，使發(fā)送站點和遠程接收站點在視頻格式和設(shè)置方面保持一致。
·自適應(yīng)模塊，在信道傳輸率較差時，能自動啟動自適應(yīng)功能，使系統(tǒng)的視頻傳輸適應(yīng)復(fù)雜的網(wǎng)絡(luò)情況。
3 系統(tǒng)設(shè)計中的關(guān)鍵技術(shù)和優(yōu)化策略
3.1 視頻采集技術(shù)分析和選擇
為了實時視頻采集，需要安裝相應(yīng)的視頻采集設(shè)備。即視頻采集卡和攝像頭等。并需要安裝相應(yīng)的驅(qū)動軟件來支持這些設(shè)備的運行。
Windows2000操作系統(tǒng)提供了VFW（Video for Windows SDK）。VFW包含了大量與視頻采集有關(guān)的編程接口。這些編程接口通過操作系統(tǒng)提供的VFW-to-WDM Voide Capture Mapper調(diào)用設(shè)備驅(qū)動程序中的相關(guān)例程，為系統(tǒng)的圖像采集提供了底層接口編程基礎(chǔ)。
本系統(tǒng)用到最主要的編程調(diào)用有如下幾個：
CapCreateCaptureWindow，創(chuàng)建一個視頻采集窗口；
CapCriverConnect,連接視頻采集設(shè)備驅(qū)動程序；
CapSetVideoFormat，設(shè)定視頻格式；
CapDlgVideoFormat，設(shè)置對話框。
VFW提供了兩種視頻采集模式：Preview（簡稱P模式）和Overlay（簡稱O模式）。筆者在系統(tǒng)設(shè)計中通過實驗和測試比較了這兩種模式。
·P模式占用較多的系統(tǒng)資源。在這種模式中，硬件將采集的視頻幀傳送到系統(tǒng)內(nèi)存中，然后在視頻采集窗口用Windows GDI函數(shù)進行顯示；而O模式下，視頻采集子系統(tǒng)直接通過硬件方法顯示視頻，相對來說節(jié)省內(nèi)存，且速度較快。
·O模式穩(wěn)定性較好，但也要求電源性能較好。在直流電源性能較好情況下，采用Overlay模式進行視頻采集。
實際運行過程表明，上述分析是正確的。本系統(tǒng)設(shè)計中采用
了Overlay模式。這一選擇對穩(wěn)定性起到了較好的優(yōu)化作用。
3.2 視頻壓縮、解壓縮技術(shù)的優(yōu)先和優(yōu)化
針對視頻應(yīng)用中可能遇到的各種情況，本系統(tǒng)的壓縮、解壓縮模塊設(shè)計采用三種壓縮方案，使用時可以從中選擇一種，以適應(yīng)不同環(huán)境和不同需求。
一是國際通用的高壓縮進比方案H.263,該方案壓縮比高，但圖像質(zhì)量較差，適用于網(wǎng)絡(luò)傳輸性能較差的情況，該方案大體符合現(xiàn)場圖像的處理要求。二是圖像壓縮質(zhì)量最好、算法最先進的MPEG-4方案，該方案圖像質(zhì)量好，便壓縮比較低，適用于網(wǎng)絡(luò)傳輸性能良好的情況。三是在H.263的基礎(chǔ)上作為較大幅度修改和優(yōu)化的TH.263方案，該方案在壓縮比與H.263相近的情況下，圖像質(zhì)量有明顯改善。
TH.263方案是在對H.263深入分析基礎(chǔ)上實施的。通過分析H.263的整個系統(tǒng)程序，得以其設(shè)計思想如下：首先將采集到的原始圖像劃分成8×8的宏塊，然后判斷此幀是不是關(guān)鍵幀。如果是關(guān)鍵幀，則對每個宏塊作DCT(Discrete Cosine Transform)變換，對變換后的視頻數(shù)據(jù)采集視覺能夠接受的量化比量化，量化后許多高頻分量將變成零，為了最大限度提高壓縮編碼效果，采用Z形掃描技術(shù)將其重新組合，然后對組合串做行程編碼，最后對得到的結(jié)果進行哈夫曼編碼；如果是非關(guān)鍵幀，則對每個宏塊先進行運行矢量的計算，然后與上一幀圖像作差，再象關(guān)鍵幀那樣經(jīng)過DCT變換、量化和行程編碼、哈夫曼編碼得到壓縮的圖像。
圖像解壓縮與壓縮過程正好相反，即先將壓縮的函數(shù)數(shù)據(jù)作行程解碼和哈夫曼解碼，然后進行反量化，并據(jù)此進行IDCT變換。如果此幀是關(guān)鍵帖，，則直接將這個宏塊重組即得出還原后的圖像；否則，根據(jù)運行矢量將各宏塊的數(shù)據(jù)與上一幀進行組合才得出不定期原后的圖像。由于解壓縮不需要分析圖像和網(wǎng)絡(luò)的情況，也不需要考慮壓縮比和壓縮質(zhì)量，只是簡單地將圖像還原，所以程序比較簡單。
通過分析和測試表明，格式轉(zhuǎn)換、對關(guān)鍵幀和非關(guān)鍵幀離散余弦變換DCT、對非關(guān)鍵幀的幀間壓縮是最重要最耗時的環(huán)節(jié)。為此，在設(shè)計中對這些環(huán)節(jié)進行了優(yōu)化。
具體講，在格式轉(zhuǎn)換、DCT變換中，一是在采集到的RGB色彩空間圖像到壓縮算法視頻輸入格式CIF變換中，用整型算法和移位相結(jié)合的優(yōu)化轉(zhuǎn)換函數(shù)代替速度較慢的浮點運算；二是在關(guān)鍵幀和非關(guān)鍵幀的DCT變換中，采用零系數(shù)預(yù)測策略對DCT變換的輸入數(shù)據(jù)分類，節(jié)省了大量無效運算；三是采用多媒體處理指令集MMX實現(xiàn)DCT變換，大幅度提高了運算速度。
此外，為了實現(xiàn)良好的幀間壓縮，比較了兩種不同的壓縮方式。
第一種方式是以象素為基礎(chǔ)，首先將其與上一幀作差，得到一個稀疏矩陣。在作差的過程中，采用小范圍匹配的方法去掉一部分噪聲，然后采用優(yōu)化的行程編碼得到最后結(jié)果，并把當前幀保存在指定的內(nèi)存區(qū)，作為下一幀作差的參考幀。
第二種方式是以宏塊為基礎(chǔ)的運行補償方式，首先計算運動矢量，然后采用行程編碼和哈夫曼編碼。用運動補償技術(shù)既可以達到較高的壓縮比又有相當好的圖像質(zhì)量。
對于第一種以象素為基礎(chǔ)的編碼方式，在保證較高的幀頻和壓縮比的情況下，圖像質(zhì)量好。而對于第二種以宏塊為基礎(chǔ)的運動補償編碼方式，圖像質(zhì)量稍差，但壓縮比較高，適用于數(shù)據(jù)傳輸率較低的情況。
為吸收二者的長處，筆者在對H.263源程序分析的基礎(chǔ)上進行了優(yōu)化，采用混合壓縮編碼方案。此方案將上述兩種方式結(jié)合起來，從而使系統(tǒng)有效地適用于Internet傳輸。因為遠程站點之間通過Internet進行傳輸時，信道的數(shù)據(jù)傳輸率不是固定的。所以，系統(tǒng)中通過信道測試反饋信息改變量化時的步長，從而調(diào)節(jié)視頻信息的數(shù)碼率，以便更好地適應(yīng)信道傳輸率的變化。
優(yōu)化方案的思想是：通過傳輸模塊反饋回來的信息，得知當前網(wǎng)絡(luò)的傳輸速率，以此來調(diào)整壓縮算法的各個參數(shù)，即壓縮質(zhì)量、每秒幀數(shù)等，獲得當前最好的幀率和質(zhì)量。
具體從兩方面實施：一是對幀內(nèi)壓縮方法進行優(yōu)化；二是對幀間壓縮方法進行優(yōu)化。
對幀內(nèi)壓縮方法的優(yōu)化主要通過改變壓縮質(zhì)量的參數(shù)來調(diào)節(jié)圖像質(zhì)量和壓縮比。
對幀間壓縮方法的改進是通過改變頻率、關(guān)鍵幀間的距離調(diào)節(jié)傳輸速率。改變每秒采集和傳輸圖像的數(shù)目，以改變傳輸數(shù)據(jù)的大小。幀間壓縮要用到運動補償，其關(guān)鍵在于兩幀之間的差別大小。如果圖像只有微小的變化，那么經(jīng)過作差后壓縮效果較好；如果圖像變化很大，那么經(jīng)過作差后壓縮效果較差。為充分利用運行壓縮的特點，根據(jù)圖像變化的大小來調(diào)節(jié)關(guān)鍵幀間的距離。在圖像變化不大的情況下，非關(guān)鍵幀數(shù)據(jù)較少，此時拉長關(guān)鍵幀間的距離既可以低傳輸率，又不影響圖像的質(zhì)量；在圖像變化較大的情況下，非關(guān)鍵幀數(shù)據(jù)較多，此時縮短關(guān)鍵幀間的距離，以增加運動補償?shù)男Ч?/p>
3.3 用UDP和RTP實現(xiàn)圖像傳輸并進行實時優(yōu)化
視頻圖像的實時傳輸有如下特征：
·數(shù)據(jù)量大，尤其是高保真活動圖像的數(shù)據(jù)量更大，從而帶寬要求高；
·實時性要求高。
上述特點使視頻圖像傳輸對傳輸環(huán)境提出很高的要求。但另一方面，圖像數(shù)據(jù)包在少量丟失情況下不影響還原質(zhì)量。為此，采用建立在UDP基礎(chǔ)上的實時傳輸協(xié)議RTP。
用UDP協(xié)議進行數(shù)據(jù)傳輸?shù)膬?yōu)點是不需要建立連接，傳輸速度快。缺點是容易丟失數(shù)據(jù)包，而且數(shù)據(jù)包的順序容易混亂。
RTP是基于UDP的網(wǎng)絡(luò)傳輸協(xié)議，編程時通過時間標簽（Time-temping）機
制、信息序列編號（Sequence Numbering）機制和有效數(shù)據(jù)類型標識（Payload Type Identifier）機制的聯(lián)合使用，在允許的延遲范圍中保證數(shù)據(jù)的實時傳輸質(zhì)量，對于少量信息包的丟失，則采用補償方法解決。時間標簽用來標明實時數(shù)據(jù)塊生成時間，接收方可據(jù)此正確排列數(shù)據(jù)接收順序，并保證實時數(shù)據(jù)傳輸同步，一幀圖像數(shù)據(jù)組成的RTP信息包有相同的時間標簽。序列編號通過配合時間標簽設(shè)置，同一幀圖像的RTP信息包有相同的時間標簽，但有不同的序列編號。有效數(shù)據(jù)類型標識用來定義各種數(shù)據(jù)壓縮方法，并可通過手動或自動方式動態(tài)調(diào)整，在信息擁擠時可提高壓縮比。
本設(shè)計中，對實時可靠性進行了優(yōu)化，具體程序設(shè)計中，采用了如下策略:
·建立一條以UDP作為傳輸協(xié)議的數(shù)據(jù)通路，在傳輸時把壓縮過的視頻流打包，打包時考慮到兩個因素：第一，某些壓縮的關(guān)鍵幀會很大；第二，關(guān)鍵幀與非關(guān)鍵幀數(shù)據(jù)量相差很遠。這兩個因素可能導(dǎo)致數(shù)據(jù)包亂序，為此，不能簡單地將視頻幀作為打包單位，而是將數(shù)據(jù)流劃分成等量的小包，并在包頭標上序號進行順序傳輸。
·另建一條以TCP為傳輸協(xié)議的控制通路，其作用是反饋一些控制命令給發(fā)送方，從而最小限度地防止傳輸中的錯誤。接收方建立個可容納0.3～0.8s圖像的緩沖區(qū)，按照數(shù)據(jù)包頭的編號將數(shù)據(jù)流進行重構(gòu)。如果數(shù)據(jù)包編號出現(xiàn)不連接，則說明發(fā)生了丟包或亂序。于是，接收方立即通過控制通路發(fā)送命令要求重發(fā)所丟失是數(shù)據(jù)包。采用TCP可保證控制命令傳輸?shù)臏蚀_性。
3.4 視頻傳輸中的自適應(yīng)技術(shù)
由于網(wǎng)絡(luò)帶寬有限且隨機變化，因此視頻傳輸?shù)膶崟r性會受到嚴重影響，甚至?xí)菇邮盏降囊曨l出現(xiàn)不連續(xù)或停頓現(xiàn)象。為此，在系統(tǒng)設(shè)計中，引入了視頻傳輸?shù)淖赃m應(yīng)機制。具體實現(xiàn)的，系統(tǒng)一邊傳輸一邊檢測網(wǎng)絡(luò)狀態(tài)，并據(jù)此調(diào)整發(fā)送策略以適應(yīng)網(wǎng)絡(luò)變化。圖2表示了在遠程控制系統(tǒng)中加入自適應(yīng)機制后的結(jié)構(gòu)。
自適應(yīng)機制由檢測模塊、反饋模塊和決策模塊組成。發(fā)送端將視頻圖像壓縮后，打成RTP數(shù)據(jù)包，然后用RTP協(xié)議發(fā)送。發(fā)送站點的自適應(yīng)檢測模塊檢測并記錄有關(guān)的發(fā)送信息，包括傳輸率、字節(jié)數(shù)等。接收站點通過自適應(yīng)反饋模塊檢測有關(guān)的信息，并將其發(fā)送到接收站點的檢測模塊。后者將發(fā)送和接收時的信息相比較，再將比較結(jié)果傳送到自適應(yīng)決策模塊。為了盡可能節(jié)省信息量，接收端自適應(yīng)反饋模塊向發(fā)送端檢測模塊只發(fā)送一個信息包序列號。這樣后者可計算出信息包的傳輸時間，并在多次檢測基礎(chǔ)上得到帶寬平均評估值。發(fā)送端再根據(jù)評估值改變視頻采集頻率和壓縮比，調(diào)整視頻數(shù)據(jù)量，從而實現(xiàn)自適應(yīng)功能。
3.5 發(fā)送和接收的同步技術(shù)
本系統(tǒng)采用Client/Server結(jié)構(gòu)。在這種結(jié)構(gòu)中，只有Client端才能連接請求建立連接，而且一個Client端可與多個Server建立連接。因此，將接收站點作為Client，發(fā)送站點作為Server。當接收站點需要得到遠端的視頻圖像時，便發(fā)出連接請求。這種方式適用于系統(tǒng)視頻采集站點處于惡劣環(huán)境中無人看管的情況。
Server端采集視頻數(shù)據(jù)并進行壓縮后，發(fā)送給Client，Client將數(shù)據(jù)解壓縮后顯示視頻圖像。系統(tǒng)設(shè)計中，為了適應(yīng)不同的網(wǎng)絡(luò)環(huán)境和圖像要求，對視頻質(zhì)量配置了雙向調(diào)節(jié)功能。即一方面，視頻采集站點可直接調(diào)節(jié)圖像質(zhì)量，另一方面接收站點也可以調(diào)節(jié)采集站點的圖像采集和壓縮參數(shù)，從而是調(diào)節(jié)圖像質(zhì)量。
對圖像質(zhì)量的雙向調(diào)節(jié)功能基于如下設(shè)計：
·將Client端控制面板中的參數(shù)（采樣間隔、關(guān)鍵幀數(shù)、關(guān)鍵幀質(zhì)量、非關(guān)鍵幀質(zhì)量）傳遞給Server端，再由Server端依據(jù)這些參數(shù)進行視頻采集和壓縮；
·Client端和Server端在設(shè)置上保持一致，即無論哪一方改變設(shè)置，都會使對方的控制面板保持一致。
具體實現(xiàn)時，設(shè)計了一個用8字節(jié)表示的comp_config_packet結(jié)構(gòu)；當在Server端或Client端拖動控制面板上的滾動條時，將改變后的各項數(shù)據(jù)填充到comp_config_packet結(jié)構(gòu)中，并將此結(jié)構(gòu)發(fā)送到Client端或Server端；當Client端或Server端接收到該數(shù)據(jù)結(jié)構(gòu)后，立即據(jù)此改變對應(yīng)控制面板中的各項數(shù)據(jù)，并在控制面板上作相應(yīng)顯示。
【高保真實時準動態(tài)圖像采集壓縮和遠程傳輸平臺的研究與實現(xiàn)】相關(guān)文章：
面向運動圖像遠程實時傳輸?shù)腍.263壓縮方法的分析與優(yōu)化08-06
利用ColdFire uClinux實現(xiàn)數(shù)據(jù)采集和傳輸08-06
用CPLD實現(xiàn)嵌入式平臺上的實時圖像增強08-06
用CPLD實現(xiàn)嵌入式平臺上的實時圖像增強08-06
利用USB2.0單片機實現(xiàn)全數(shù)字圖像的實時采集08-06
基于PCI總線的實時圖像識別與跟蹤平臺設(shè)計08-06