當前位置:文思屋>學習教育>畢業論文>

Flash電影中的聲音特徵與提取方法

文思屋 人氣:2.3W

在Flash電影播放過程中,事件音訊的播放一般都會有特定的事件相伴隨,下面是小編蒐集的一篇相關論文範文,歡迎閱讀參考。

Flash電影中的聲音特徵與提取方法

 1 引言

在我們觀看一部Flash電影時,吸引我們的不僅僅是絢麗的視覺場景,而且還包括複雜的聽覺特徵。聲音可以增強影片視覺畫面的存在感、擴充套件視覺空間,在Flash電影中聲音主要表現在兩個方面:背景音樂和聲音效果。本文首先定義了Flash電影中的聲音特徵屬性,然後分析了聲音的儲存結構和壓縮演算法,最後介紹瞭如何在Flash電影中提取聲音特徵。

 2 Flash 電影中聲音的定義和儲存結構

在Flash電影中,音訊分為兩種:事件音訊、流式音訊。

2.1 事件音訊的定義和儲存結構

在Flash電影播放過程中,事件音訊的播放一般都會有特定的事件相伴隨,比如點選滑鼠、鍵盤,或播放過程到達某一個特殊點,都會伴隨著特定的音訊播放。在使用事件音訊之前,必須對其進行定義,定義以後就可以多次使用。在Flash 電影中,事件音訊的定義和儲存結構需要用得到三種標籤:Define-Sound、Start-Sound1和Start-Sound2標籤。構成事件音訊取樣的標籤為Define-Sound標籤,事件音訊的型別由Sound-Info記錄定義,型別包括音量控制、迴圈標誌、同步、淡入、淡出。調節Flash電影初始放映聲音的標籤為Start-Sound1 標籤,調節 Flash 電影初始放映非事件音訊類的標籤為Start-Sound2標籤。

在Define-Sound標籤定義事件音訊時,特徵引數包括解析度、取樣率、聲道標記。如表1為Define-Sound標籤的結構特徵及其說明。


聲音的唯一標識程式碼是 Sound-ID,播放聲音時 Star-Sound1 控制標籤首先呼叫 Sound-ID.在 Flash 電影中,聲音格式可以分為:MP3壓縮格式(用2表示)、ADPCM壓縮格式(用1表示)、位壓縮小位元組格式(用3表示)、Nelly-moser格式(用6表示)和未壓縮格式(用0表示),格式不同說明聲音內容不同。Sound-Rat(e聲音取樣率)是把聲音在A/D轉換的過程中,在每一秒鐘時間內的取樣次數,理論上要想讓聲音質量較好地呈現,取樣率越高越好。Sound-Size(解析度)是單個取樣點表示音訊的位數,Flash音訊檔案中的位數為8位或16 位。解析度是用一個指數來描述的,用 8 位解析度來描述取樣點指的是用2的8次方級深度表示取樣點,同樣用16位解析度描述取樣點指的是用2的16次方表示取樣點。聲音越細緻,內容資訊越多,表明聲音的解析度越大,佔用空間越大。聲道型別分為兩種:單聲道、雙聲道,單聲道包含的內容資訊是雙聲道包含的內容資訊的一半,因此雙聲道音訊檔案佔用空間是單聲道音訊檔案的一倍。

Define-Sound 標籤用來定義聲音,Start-Sound 控制標籤控制播放器播放聲音的開始或者暫停。Sound-ID表示聲音的唯一標識ID,Sound-Info定義聲音播放方式,調整Sound-Info 記錄中的 Sync-Stop 就可以實現暫停播放。Start-Sound2標籤和Start-Sound1控制標籤的內容差不多,唯一的區別就是Start-Sound2標籤控制播放的聲音,不再是單個聲音而是其他Flash電影檔案中定義的聲音。

Sound-Info 記錄是用來標註怎樣播放一個 Define-Sound標籤定義的事件音訊。記錄中可以調整的聲音屬性有:是否迴圈及迴圈數、重放時的開始和結束位置、音量控制的聲音封裝。

2.2 流式音訊的定義和儲存結構

Flash 電影檔案也支援流式音訊格式,流式聲音內容資訊的下載與播放與電影檔案的時間軸密不可分,音訊的前幾幀載入後即可進行播放,聲音資料塊隨著Flash電影的幀進行儲存。在Flash電影中,音訊流與播放畫面是同步的,聲音內容根據幀的排列被分成很多塊,若電影播放速度快,有些聲音塊就會跳過不進行播放,保持聲音塊的播放與畫面播放同步。在Flash電影檔案中,主要時間軸上特定時刻只有一個對應流式音訊進行播放,但對每個Flash影片剪輯有自己的時間軸,可以有自己特定的流式音訊。

在Flash電影聲音檔案中有流式音訊時,必須由Sound-Stream-Head1 或者 Sound-Stream-Head2 標籤定義音訊資訊格式、播放格式和聲音資料塊中樣本平均數之後,第一個音訊資料包才能進行播放。Sound-Stream-Head1標籤中定義的取樣率有四種:5.5 kHz、11 kHz、22 kHz和44 kHz,解析度為16位,播放型別為單聲道或者雙聲道。此外,在Flash電影中流式聲音的'壓縮格式只支援MP3壓縮、ADPCM演算法壓縮這兩種格式。Flash電影中的取樣率、解析度和聲音型別,在播放的過程中,可以忽略它們。Sound-Stream-Head2標籤在Sound-Stream-Head1 標籤功能的基礎上,載入了音訊壓縮型別和音訊解析度型別。除了MP3壓縮和ADPCM壓縮這兩種壓縮型別之外,還有Nelly-moser壓縮、小位元組無壓縮和無壓縮等型別。如表2所示為Sound-Stream-Head2標籤的結構特徵及其說明。


Sound-Stream-Block 標籤是用來定義與幀資料混合儲存的音訊資訊。在定義 Sound-Stream-Block 標籤的時候,Sound-Stream-Head1 或 Sound-Stream-Head2 兩個標籤必須是已經定義好了。一個 Flash 電影幀中只包含一個 Sound-Stream-Block 標籤。Sound-Stream-Head1 標籤中定義的壓縮型別決定了流式聲音資料塊中的內容資訊。壓縮型別為無壓縮或者小位元組無壓縮時,流式聲音資料塊中有初始未壓縮取樣;壓縮型別為ADPCM壓縮時,流式聲音資料塊中有AD-PCM 音訊資料記錄;壓縮型別為 MP3 壓縮時,流式聲音資料塊中有MP3音訊資料記錄;壓縮型別為Nelly-moser壓縮時,流式聲音資料塊中有NELLY-MOSER-DATA記錄。

 3 Flash 電影中聲音的壓縮演算法的分析

在Flash電影中,音訊檔案的壓縮方法主要有MP3壓縮和ADPCM壓縮等壓縮演算法。

3.1 MP3 壓縮

MP3 全稱是 Moving Picture Experts Group Audio LayerIII,是當今比較流行的一種數字編碼和有失真壓縮格式,主要是用來降低音訊資料量。MP3壓縮對音訊檔案進行壓縮時,壓縮掉的只是人耳聽不到的波形資訊,因此壓縮後的音訊對大多數使用者來說,在聽覺感受上音質沒有很大區別。另外,MP3 壓縮格式的壓縮率比較高,最高壓縮率可以達到 1:12.

Flash 電影中 MP3 的壓縮過程,首先把音訊波形檔案載入到Flash檔案中進行編輯,然後把音訊波形檔案以MP3格式隨著Flash檔案輸出,在隨著Flash檔案輸出的過程中自動會對音訊波形檔案進行格式轉換和壓縮。MP3壓縮格式的壓縮率比較高,既保證了聲音無失真傳輸,又縮小了帶有音訊檔案的Flash電影占用空間。持續時間較長的音訊檔案和流式音訊聲音檔案,進行壓縮時比較適合採用MP3壓縮格式。在製作Flash電影過程中,載入音訊檔案進行壓縮時,MP3 壓縮格式是第一選擇,Flash 電影製作軟體中既可載入MP3 格式檔案,也可將匯入其它格式檔案在輸出時壓縮成MP3 格式。

在Flash電影中,MP3音訊引數表現在兩個方面,分別是取樣率和MP3幀的儲存陣列。取樣率用於在幀上細分流式音訊,MP3幀的儲存陣列是用來儲存音訊檔案中聲音的資料。MPEG音訊幀在MP3音樂檔案和MP3幀記錄中是一樣的,都是由前32位幀儲存頭資訊,後面一個位元組陣列來儲存聲音編碼的樣本。如表3所示為MP3-FRAME標籤的結構特徵及其說明。

3.2 ADPCM 壓縮

ADPCM 指的是自適應差分脈衝編碼調製,英文全稱是Adaptive Differential Pulse Code Modulation,ADPCM 調製方式是一種針對16位(或8位或者更高)聲音波形屬性的一種有失真壓縮方式。ADPCM調製對聲音取樣時的頻率是固定不變的,取樣時對取樣點的實際訊號幅值和預測訊號幅值的變化量,對此變化量進行量化編碼,量化編碼採用不均勻的方式進行。當幅值變化量很小時,就會大大減少不均勻量化編碼的編碼位數。ADPCM演算法壓縮方式既有自適應脈衝編碼調製系統的自適應性,又有差分脈衝編碼調製系統的差分性,使得這兩種特性較好地結合在一起。

自適應特性可以用來改變數化階,也就是較小的幅值變化量用小量化階來編碼,較大的幅值變化量用大的量化階來編碼;利用差分特性可以利用過去樣本值估計後面樣本預測值,使得預測值和實際值間的幅值變化量最小。在Flash電影檔案中,ADPCM調製方式只是針對16位或8位的聲音波形屬性進行壓縮。對16 位聲音波形壓縮時,壓縮比為 4:1,即儲存取樣資料時是 4位,這種壓縮方式是一種有失真壓縮,用於時間很短的時間聲音輸出。

ADPCM-SOUNDATA 記錄的定義中包括編碼大小和儲存 ADPCM 資訊的 ADPCM-PACKETS.在 Flash 電影中,ADPCM 編碼樣本格式有四種:4 位、5 位、6 位和 7 位。依據聲音聲道數量的不同,ADPCM-PACKETS可分為兩種儲存結構:ADPCM-MONOPACKET 和 ADPCM-STEREOPACK-ET.

4 Flash 電影中聲音特徵屬性的提取

上述提到,事件音訊的內容結構是由 Define-Sound、Start-Sound1 和 Start-Sound2 三種標籤來定義的,流式音訊的內容結構是由 Sound-Stream-Head1 和 Sound-Stream-Head2兩種標籤來定義的,在對Flash電影中的聲音特徵屬性進行分析提取時,可以對這些定義音訊檔案的標籤進行分析提取,進而分析其聲音的內部結構和特徵屬性。如表4所示為Flash 電影中聲音特徵屬性描述。

 



對事件音訊來說,特徵引數中的聲音長度的取值是短、中、長,這三種取值是用音訊中的樣本數量來界定的,當樣本數量<20000時,取值為短;當20000<樣本數量<60000時,取值為中;當樣本數量>60000時,取值為長。對流式音訊來說,聲音長度是用音訊中的樣本數量和每個樣本中的子樣本數量的乘積來表示的,取值定義和事件音訊是一樣的,當樣本數量<20000時,取值為短;當20000<樣本數量<60000時,取值為中;當樣本數量>60000時,取值為長。

在Flash電影中,對聲音特徵屬性進行提取標註的方法有兩種。第一種:根據Flash電影中對事件音訊和流式音訊的定義,構建Flash電影中聲音特徵屬性提取的程式平臺,在程式平臺上可以對聲音的特徵屬性進行提取,並在程式平臺的顯示介面上呈現出來,另外也可以直接儲存到電腦的指定位置;第二種:根據Flash電影中聲音特徵引數欄位定義,組建聲音特徵索引庫,使用聲音結構屬性標註程式,把提取出的聲音特徵屬性放置到特徵索引庫中,完成對Flash電影中聲音特徵屬性的標註。

Flash 聲音特徵屬性的提取平臺包括兩部分:提取聲音特徵屬性和儲存聲音特徵屬性。通過分析Flash電影中定義播放事件音訊的Define-Sound標籤、Start-Sound1標籤、Start-Sound2 標籤分析提取事件音訊的特徵屬性;通過分析 Sound-Stream-Head1 標籤、Sound-Stream-Head2 標籤等分析流式音訊的特徵屬性。提取的聲音的特徵屬性有Flash電影中聲音的數量、ID、聲音的型別以及事件聲音的取樣率、位解析度、聲道,流式聲音還添加了播放取樣率、播放位解析度、播放聲道資訊。提取的聲音特徵屬性可以以txt文件的形式儲存到電腦上。如圖1所示為Flash電影聲音的特徵提取介面。

 5 實驗結果及分析

碩思閃客精靈是一款用於瀏覽和解析Flash電影(。swf檔案和。exe檔案)的工具。它能夠將flash電影中的圖片、向量圖、聲音、字型、文字、按鈕、影片片段、幀等基本元素完全分解,還可以對flash影片動作(Action)進行解析,清楚地顯示其動作的程式碼,讓您對Flash動畫的構造一目瞭然。

我們以碩思閃客精靈反編譯的聲音元素個數作為標準,評價我們所開發的Flash聲音特徵屬性的提取平臺的查準率和查全率,公式1、2所示為查準率、查全率的計算公式。通過對Flash電影樣本庫中每一類的100個Flash電影檔案進行分析,得到每一類中100個電影所含的元素個數,求得每一類Flash 電影中這個元素的平均個數。所以表中的平臺提取元素個數和碩思提取的元素個數都是指每一類Flash電影所包含的平均元素個數。

查準率=平臺提取元素個數/平臺提取的元素總數 (1)

查全率=平臺提取元素個數/碩思軟體提取元素總數(2)


表5所示為Flash電影聲音元素分析統計表。如表所示,Flash 電影中 MTV、動畫、廣告類聲音元素的查準率達到100%,查全率都在 85%以上,課件、遊戲兩類 Flash 電影的查準率分別為99.86%、89.03%,查全率都是100%,提取效果較好,達到了實驗目標。Flash電影聲音內容特徵提取平臺對聲音的提取分為對事件聲音的提取和對流式聲音的提取。

事件聲音的提取是按照Define-Sound定義標籤,流式聲音的提取是按照Sound-Stream-Head1標籤、Sound-Stream-Head2標籤。MTV、動畫、廣告類Flash動畫中以流式聲音為主,包含少量的事件聲音。在提取過程中是按照 Sound-Stream-Head1 標籤或 Sound-Stream-Head2 標籤來計算流式聲音的數量,在實際Flash電影檔案中有些流式聲音塊被事件聲音隔開,提取平臺依舊算作一個聲音,而在碩思閃客精靈軟體中則算作兩個聲音,所以MTV、動畫、廣告類平臺提取的聲音個數會偏少。課件、遊戲類Flash電影中主要包含事件聲音,檔案中可能包含流式聲音SoundStreamHead1標籤或Sound-StreamHead2 標籤,而後面並沒有流式聲音塊,沒有流式聲音,提取平臺卻當成了一個聲音,所以平臺提取的課件、遊戲類聲音會偏多,出現查準率偏差。

 參考文獻:

[1] Kim Y.A Temporal Locality-Aware Page-Mapped Flash Transla-tion Layer [J].Journal of Computer Science & Technology,2013:1026-1043.

[2] 任曉芳。基於Flash動畫的自適應多媒體流在跨裝置視訊會議中的應用[J].科學技術與工程,2014,11(31):262-268.

[3] 王嶽平。Flash電影中圖形特徵的提取與研究[J].棗莊學院學報,2015,32(2):135-139.

[4] 邵長俠。Flash組成元素的內容特徵提取與標註研究[D].山東師範大學,2012.

[5] 石朝暉。Flash 技術在動畫電影中的應用研究[J].電影文學,2012,(15):52-53.

[6] 蔡鵬。Flash動畫在網頁製作中的應用及相關探討[J].電子技術與軟體工程,2013,(19):90.

[7] 錢翔。動感視覺--試論電影蒙太奇藝術表現手法在Flash動畫中的運用[J].科技資訊,2010,(5):240.