基于全景圖的虛擬現(xiàn)實系統(tǒng)研究
時間：
王晶 游志勝 鐘靈1由 分享
摘要全景圖(Panoramic Image)是近來出現(xiàn)在Internet上的另一種新的交互式的虛擬場景表示方式,它基于圖像繪制IBR（Image-Based Render）的方式再現(xiàn)了三維場景,可用瀏覽器實現(xiàn)虛擬場景的漫游,同時也詳細介紹了這種全景圖瀏覽器的實現(xiàn)原理。本文在總結(jié)已有技術(shù)的基礎(chǔ)上，提出一個基于全景圖的虛擬現(xiàn)實系統(tǒng)模型，并改進算法實現(xiàn)了高效的拼接。
關(guān)鍵詞 全景圖; 基于圖像繪制IBR; 虛擬現(xiàn)實; 圖像拼接
1概述
全景圖是基于圖形繪制IBR（Image-Based Render）的關(guān)鍵技術(shù)?，F(xiàn)有的IBR技術(shù)大概可以分為四類：基于全景圖（Panoramic Image）的方法，基于圖像深度信息的方法，基于光場（Light Field）信息和基于 Morphing的方法?，F(xiàn)階段，相對成熟的技術(shù)是第一種基于全景圖的方法 ,而且它實現(xiàn)方便處理量易于在Internet實現(xiàn)。
目前，業(yè)界對全景圖的基本制作方法是：在固定的視點用照相機或者攝像機按照一定的方式（通常是按照均勻角度繞軸旋轉(zhuǎn)360 度）采集圖像，采集之后的圖像輸入計算機進行圖像拼接、整合等處理，生成無縫全景圖像，最后再用計算機經(jīng)過投影展示出來，并且提供局部的有限的漫游功能。雖然全景視圖有其自身的局限性，比如視點單一，只能在場景內(nèi)部實現(xiàn)漫游等，但是由于該技術(shù)具有極強的可操作性，而且技術(shù)也相對成熟，已經(jīng)成為應(yīng)用最為普遍的IBR技術(shù)之一。目前全景視圖主要應(yīng)用在：虛擬環(huán)境、游戲設(shè)計、電影特技效果、虛擬博物館等等。在商用領(lǐng)域比較著名的有Apple的QuickTime VR、IPIX Viewer、Live Picture、IBM的Hot Media等系統(tǒng)。
2 全景圖的制作流程
全景圖制作流程包括全景模型選擇，圖像采集，圖像拼接，圖像縫合以及全景圖展示瀏覽五個步驟 ，如圖1。
（1）全景模型選擇：根據(jù)全景圖投影展示方式的不同，主要可以分為3種模式：立方體模式、圓柱模式、球面模式。這三種模式就是分別把已經(jīng)拼接好的全景圖投影到立方體/ 圓柱體/球體的內(nèi)表面。此外還有其他展示模式，如采用正多面體去逼近球面的方法。
（2）圖像采集：一般有兩種方法，用全景拍攝器材進行拍攝或者通過普通相機拍攝再進行圖像拼接。前一種方式比較容易采集圖像，但是這種方法往往意味著購買昂貴的攝影器材，因此影響了其通用性。而后一種方式，用普通相機在固定點拍攝圖片然后拼接生成全景圖的研究就顯得比較活躍了，而全景圖生成的核心技術(shù)——圖像拼接算法正是研究的重點。
（3）圖像拼接與縫合：現(xiàn)有的全景圖像拼接生成算法主要可以分為三類：基于特征的方法、基于流的方法和基于相位相關(guān)的方法。在得到拼接好的圖像后，還需要對圖像重疊部分進行處理，以實現(xiàn)圖像的無縫拼接。目前經(jīng)常采用的一種簡單的圖像縫合技術(shù)就是線性插值法（Linear Interpolation）。
（4）全景圖展示：得到360度的全景圖像后，還要把該圖像投影到所選擇模型的內(nèi)表面展示，并提供簡單的瀏覽功能。
（5）運動物體生成和全景圖生成一樣，同樣可以用以上3種方法生成。在用照相機拍攝物體時，如果對物體的水平方向和垂直方向各拍攝一圈，就可以對物體進行二維的交互控制。鏈接是指：①把得到的全景圖按一定方式組織起來，供交互式顯示用；② 把運動物體嵌入到全景圖中去，成為“熱點”，使用戶可以對它進行交互式控制。
圖１ 全景圖制作流程
3 全景圖像拼接技術(shù)的研究
3.1全景圖生成的經(jīng)典算法
自全景圖的概念提出到目前，有很多學(xué)者都對全景圖的生成算法做過深入的研究，其中McMillan和Szeliski等人的工作尤其突出。 McMillan和Bishop提出了全景函數(shù)模型，該算法根據(jù)攝像機繞軸旋轉(zhuǎn)360度所拍攝的圖像序列求解每個相機的參數(shù)，由此進行全景圖拼接，但是該算法不太適合于照相機，因為它要求兩幅圖像之間要有超過2/3 的重疊，這樣對一個場景如用照相機去采集圖像就需要拍攝大量的圖片，而這顯然增大了圖像采集的難度，也增加了計算量和誤差量。而且McMillan試圖通過柱面極幾何約束實現(xiàn)匹配點自動匹配，但是極幾何約束核心基礎(chǔ)矩陣對誤差過分敏感，也因此導(dǎo)致匹配結(jié)果無法實用。
Szeliski和Shum[3]在他們的一系列的文章中提出了用8參數(shù)的二維（2D）投影模型求解投影矩陣M。該模型的數(shù)學(xué)表達如下所示：
(1)
（2）
3.2全景圖像拼接算法歸類及其比較
現(xiàn)有的全景圖像拼接生成算法主要可以分為三類：基于相位的方法、基于流的方法和基于特征的方法。
（1）基于相位的方法：該方法利用傅立葉變換、小波變換等等先對圖像進行變換，再利用變換后的圖像的某些特征進行匹配。但是如果存在空間上的局部變化，就會導(dǎo)致該方法產(chǎn)生較大誤差。
（2）基于流的方法：也叫做基于面積的方法。該方法是通過比較兩幅圖像亮度（或顏色）差異，并使之最小化來尋找最佳匹配點的。上文描述的兩種經(jīng)典算法就是屬于該方法，采用這種方法的還有：Duffin [4]和Barrett在Szeliski研究的基礎(chǔ)上提出的一種恢復(fù)6個參數(shù)模型的算法?；诿娣e方法的缺點就是它的計算量明顯偏大。
（3）基于特征的方法：該方法的主要思想就是從一幅圖像中提取一定的特征，如：點、線、邊緣等等，并用此特征為匹配模板，在第二幅圖像中搜索。該方法可以提高計算速度，但是提取合適的圖像特征比較困難。[5]
如何提取合適的圖像特征，很多學(xué)者在這個方面做了探討，其中 Kim[6]等人利用抽取物體輪廓作為特征，而鐘力[7]等人利用重疊圖像兩列象素的亮度（或顏色）比或者亮度（或顏色）作為特征模板，張鵬[8]等人利用象素灰度值信息提取某一矩形區(qū)域作為特征模板進行匹配。
需要注意的另一個問題就是采集的圖像中重疊部分并不是單純的平面位移變換，還存在伸縮變形等，所以這也增大了特征提取的難度。
4 算法的選擇與改進
以上三種算法都有其自身的特點，當然也有各自的局限性，應(yīng)該根據(jù)全景模型的不同和圖像采集方式的差異選擇合適的算法。下面根據(jù)全景圖生成過程詳細描述對算法的選擇和改進。
4.1 全景模型選擇
本文提出的方法中采用圓柱模式，這種模式相對簡單，同時又不影響全景圖像瀏覽的真實性。由于立方體模式過于簡單，該模式在展示全景圖時存在明顯的邊界痕跡，降低了全景圖像真實性；球面模式雖然相對擴大了全景圖瀏覽的視野，可是也相應(yīng)增加了算法復(fù)雜度和圖像采集的難度。
4.2 圖像采集
為了提高圖像拼接算法的復(fù)雜度處理能力以及能夠自適應(yīng)抖動、光照差、扭曲等。本文對圖像采集方式未做過多限制：不用三角架固定相機，繞攝影者中心360度旋轉(zhuǎn)相機拍攝圖像，每次拍攝相機旋轉(zhuǎn)的角度為θ，不固定相機的焦距，這樣做的目的是進一步提高算法自適應(yīng)校準圖像拼接能力。
4.3 圖像拼接
首先，抽取合適的圖像特征來定位拼接，為了盡可能多的保留圖像的特征，利用數(shù)字圖像處理中的Laplace算子邊緣檢測算法，再加上二值化處理和平滑濾波3*3模板的噪音消除抽取出圖像的特征圖。
圖2 特征提取后圖象的二值化圖
圖象經(jīng)過變換之后，得到了具有重疊相似區(qū)域的兩幅圖象，對于相似區(qū)域的尋找，一般的算法都是根據(jù)人體視覺特征定義1個模板矢量(Pattern Vector)，對兩幅圖象分別運算相似距離，根據(jù)相似距離來尋找圖象的相似部分。本文提出了一種新的重疊區(qū)域的搜尋方法，它基于差值圖象的極值點搜尋，可以方便地提取兩幅圖象之間的相似部分，不需要頻域上的任何運算。設(shè)有兩個矩形區(qū)域A和B，已知B中包含一個區(qū)域A2，A與A2是相同的模塊，求B中A2 的位置。典型的算法是從Ｂ的左下角起，把每一塊與A大小相同的區(qū)域C與A相比較，得出評價函數(shù)，其值最小的區(qū)域就是A2。
評價函數(shù)一般定義為:對于A和C中每一對對應(yīng)點p和q，
(1)
考慮到兩幅圖象的亮度不一樣，即使是同一模塊，由于亮度不同，評價函數(shù)的值也很大，把評價函數(shù)定義為：
(2)
4.4 圖像縫合
圖像縫合分兩個步驟。拼接處會有明顯的一條縫?？捎妙伾珨M合的方法來調(diào)和相鄰圖象的亮度,生成無縫的合成圖象。以合成圖象的拼接線為中心,兩邊各取10個象素點的距離,此區(qū)域為矯正區(qū)。第一步是圖像經(jīng)過矩陣投影生成新的圖像需要用到雙性插值。第二步是兩幅圖像重疊區(qū)域之間的線性插值。
4.5柱面投影
柱面投影變換及其反變換算法的核心是投影變換公式,為此建立坐標系,如圖4所示。原始圖象I、投影柱面圖象J和柱面K,原點為觀察點Ｏ(投影中心)。設(shè)柱面半徑為ｒ,投影寬度角為θ,圖象寬度為Ｗ,高度為Ｈ。能很容易得到柱面圖象的寬度為r×sin(θ/2),高度仍為Ｈ。對圖象I上的任意一點Ｐ,假設(shè)它在圖象上的坐標為(ｘ,ｙ),P在柱面圖象J上的對應(yīng)點Q,假設(shè)Q在J上的坐標是(ｘ’,ｙ’)。[5]
圖3 柱面投影變換
這里θ角由每張圖象所占的角度唯一確定。一個全景的角度是360º那么每張圖象對應(yīng)的角度就顯而易見了一般的θ角約為30 - 40º。最后，根據(jù)兩幅圖像的平移量，柱面投影，最后拼接全景圖（見圖4和圖）。
5 實驗結(jié)果
基于全景圖的虛擬實景生成系統(tǒng)的實現(xiàn)在是一臺windows NT操作系統(tǒng)下的pc工作站，P3-1G，128M內(nèi)存，顯卡(硬件支持OpenGL加速)，使用Microsoft visual c++6.0和OpenGL編程。
圖4 圖象拼接前的情況
圖5 圖象拼接后的全景圖
6 結(jié)論及展望
隨著基于圖象繪制技術(shù)發(fā)展，全景圖現(xiàn)已廣泛應(yīng)用在軍事、教育、科研、商業(yè)、影視、娛樂、工程訓(xùn)練等，并隨著JAVA和Internet的發(fā)展成為一種快捷、實用、效果很好的虛擬現(xiàn)實漫游系統(tǒng)。本文對基于全景圖的虛擬現(xiàn)實模型進行了比較深入的研究，在根據(jù)前人對全景圖的研究資料中，本文提出了一種基于全景圖的虛擬現(xiàn)實系統(tǒng)模型的構(gòu)想，并給出了較為實用的解決方案，克服了抖動、光照差、扭曲等對全景圖的影響，對圖象拼接算法作了比較和改進嘗試，對圓柱面投影作了較深入的探討，實用價值高效率。未來基于全景圖的虛擬現(xiàn)實各種技術(shù)發(fā)展將前景廣闊。
參考文獻
[1] Cai Yong, Liu Xue hui, Wu Eng hua. Image-based rendering: A technology for virtual reality system. Journal of Software, 1997, 8 (10): 721- 728 ( in Chinese)
(蔡 勇, 劉學(xué)慧, 吳恩華. 基于圖像繪制的虛擬現(xiàn)實系統(tǒng)環(huán)境.軟件學(xué)報, 1997, 8 (10) : 721- 728)
[2] Chen S E. Quick time VR ——An image-based approach to virtual environment navigation. In: P roc S IGGRA PH 95, New York, 1995. 29- 38
[3] Szeliski R, Shum H-Y. Creating full view panoramic image mosaics and texture-mapped models. In: Proc SIGGRA PH‘97,Los Angeles, California, 1997. 251- 258
[4] Kirk Duffin, William Barrett. Globally Optimal Image Mosaics[C].In: Proceedings Graphics Interface’98,19982:217~222
[5] Brown L G. A survey of image registration techniques. ACM Computing Surveys, 1992, 24 (4): 325- 376
[6] Min-A Kim, Sung-Soo Kim, Hwan-Gue Cho.Image Mosaicing Technique Using Feature-Based Graph Matching Algorithm
[7] 鐘力，張茂軍，孫立峰等.360 度柱面全景圖象生成算法及其實現(xiàn)[J]. 小型微型計算機系統(tǒng)，1999:20(12):899~903
[8] 張鵬，周東翔，郝建新等.IBR技術(shù)中柱面全景圖鑲嵌的快速算法[J].計算機工程，1999;25(12):17~18