AR頭戴顯示技術的突破進展—王涌天ICEVE大會演講實錄
發(fā)布日期：2017-02-21 供稿：王涌天 AICFVE
編輯：辛嘉洋 審核：包麗穎 閱讀次數：【編者按】本文是由未來影像高精尖創(chuàng)新中心舉辦的ICEVE2016（第七屆北京國際先進影像大會暨展覽會）的精華演講及專訪整理而成的系列專題文章，本系列內容涵蓋專家專訪,、大會報道,、行業(yè)紀實等，致力于梳理和提煉ICEVE大會的精華內容并傳播給行業(yè)和大眾,。
未來影像高精尖創(chuàng)新中心一級研究員,、北京理工大學信息與電子學部主任 王涌天
今天，我給大家介紹一下我們實驗室在增強現實,，特別是增強現實頭戴顯示技術上的一些工作,。
既然來到了電影學院，自然也就離不開電影這個話題,。眾所周知,，電影是要講故事的，它是敘事的載體亦是造夢的機器,。隨著影像技術的發(fā)展,，敘事作為人類生活中最重要的一部分，其展示形式和方法也在逐漸進化,。
人類歷史上出現的第一塊屏幕是電影銀幕,，有了電影銀幕以后就萌生了電影這種經典敘事載體，這也是人類最早通過技術手段對連續(xù)圖像進行記錄的形式,。緊隨其后的電視屏幕脫離了電影院的地點限制,，出現在了人們的家中，拉近了影像與人們的關系,，因而就出現了篇幅更長的敘事影像形式,，比如電視連續(xù)劇。
隨后，我們又有了第三塊屏幕——手機屏幕,。手機屏幕的便攜性合理化了人們的碎片時間,，所以隨著智能手機的推廣，就出現了用碎片化時間觀看的超短網劇,。隨著現在虛擬現實技術不斷的普及和發(fā)展,，新的敘事媒體形式也將進一步進化。
我們認為,，類似可以沉浸觀看的虛擬現實技術可能是人類的倒數第三塊屏幕,，而倒數第二塊則是增強現實。所謂增強現實,，即虛實融合,，讓人們置身在真實場景中的同時觀看到虛擬的影像內容。這是一種全新的顯示形式,，因此,，如何利用增強現實這種虛實融合的影像形式來呈現故事內容，這是我們需要思考和探討的,。人類最后一塊屏幕可能是直接連接腦神經了,，這個離咱們比較遠暫時就不做過多說明了。
下面介紹一下我們在增強現實技術方面的進展,。首先講一下研究背景,。頭盔顯示器其實有很長的發(fā)展歷史，其中很著名的一個學者Ivan Sutherland在1968年就提出來了一個頭盔顯示器：達摩克里斯之劍,。由此,，他被認為是虛擬現實之父。同時,，他也是非常著名的圖靈獎的獲得者,。多年以來，頭盔顯示器的技術一直在不斷的發(fā)展,，當然主要應用在專業(yè)領域特別是軍事領域上,。
但近來民用的VR/AR產品獲得了長足的發(fā)展：2012年Google推出Google Glass，2014年Facebook收購了Oculus,。近幾年,，信息領域的巨頭們紛紛推出相關的頭戴顯示技術，諸如Sony,，Samsung,，Microsoft，Intel等等,。這其中非常著名的Magic Leap公司,，在未推出任何產品之時就得到了將近8個億的C輪投資，據了解它的核心技術也是頭戴式顯示技術。現階段國外很多公司都在做這方面的工作,，國內也不少興起的創(chuàng)業(yè)公司在做透視頭戴式顯示技術,。
目前，增強現實頭盔還存有一些問題,。第一,，目前面世的增強現實頭盔中除了Google Glass以外重量都比較重。但是Google Glass也存在視場角太小等問題,，這是因為在頭盔的透視部分光學的虛實融合元件都比較厚,，大部分還做不到跟眼鏡一樣薄，而且視場角和出瞳也比較小,。此外,，就是大部分頭盔不能調節(jié)視度。一些出瞳足夠大的頭盔顯示器允許用戶佩戴眼鏡使用,，但是這樣的系統在佩戴舒適性上存在較大問題,。
所以，我們最終預期能夠實現的由眼鏡直接呈現且能夠校正不同視度的技術,。另外,，頭盔的電池續(xù)航時間短和透視眼鏡研發(fā)成本高這兩個問題仍比較突出,。因此,，增強現實頭戴顯示技術的兩個發(fā)展方向，一個就是超輕超薄,，達到跟戴眼鏡一樣便捷,，這個方向主要針對大眾應用；另外一個就是實現大視場角高分辨率,，主要是針對專業(yè)應用,。
為了解決上述問題，光學領域很多先進的技術都逐漸用到了透視頭盔上,，包括自由曲面光學,，全息顯示技術，波導技術以及光場顯示技術等等,。我們實驗室從本世紀初就開始研究透視頭盔顯示器,，1992年我們?yōu)榧幽么蟮腝ueensland University做了一個120°的浸沒式頭盔，這也是我們做的第一個頭盔,。
2005年我們提交了一個專利申請,，描述了一種光學透射式頭戴顯示器，與后來Google Glass的設計比較起來基本是同一個方案,，但是我們的方案加了透鏡以后視場角就比Google Glass大很多,，Google Glass只有15°，我們能達到44°。我們采用的是旋轉對稱的傳統光學系統,，這種光學系統一般重量比較大,，而且由于當時的技術限制，用的是2.2寸的顯示器,，就是當時的手機顯示屏,，所以整個系統比較重，達到400g的重量,。后來的Google Glass采用了微型顯示器,，同時把視場角減小以后，整個系統體積變小了,，所以比較輕,，但在光學系統上和我們的設計思路是完全一樣的。
到十一五期間（即2008年）我們又申請了用自由曲面光學實現的頭戴顯示器的相關專利,。所謂自自由曲面,，就是沒有任何對稱性的，用XY多項式來描述的復雜曲面,。通過使用這種光學元件來設計透視頭盔,，我們實現了水平45°的大視場角，而且整個系統重量很輕,。
如上圖所示,，這是我們基于自由曲面設計的目鏡和傳統目鏡的比較，二者均獲得了國家發(fā)明專利授權,。對于一般目鏡來說,， 能做到50多度的視場角已屬不易，而且自由曲面的出瞳比這個傳統光學目鏡的還要大一些,，同時重量是傳統光學目鏡的七分之一,，厚度是傳統光學目鏡的二分之一，此外加上一片補償鏡以后,，可以實現光學透射的增強顯示?，F在該設計已經做成性能良好的產品了。
我們的透視頭盔和國際上一些產品的比較可以看出我們的技術指標相當出色,。另外,，如下圖所示我們的增強現實實驗，計算機生成的任何東西都可以疊加到真實環(huán)境中,。
我們目前最新的透視式頭盔和實際的成像效果都很精良,，此頭盔完全用自由曲面做成，成像清晰且透視效果良好,。這個頭盔顯示器厚度在10毫米左右,，如果想要做得更薄,，可以把波導技術（全息波導或者幾何波導）結合起來，將厚度控制在8毫米,。
全息波導的色差是非常大的,，在初始的設計實驗中，我們實現了超薄玻璃的橫向傳像,。在該實驗中,，我們的像源是一個簡單的手電，手電前面放了一塊遮光板,，形成了一個圖像源,， 加上全息光學元件以后我們實現了用2毫米厚的玻璃橫向傳像，但由于它有很大的色差,，可以看到的是綠,、黃、紅完全分開了（如下圖上半部分所示）,。
這樣的成像質量是不能接受的,，所以后來我們又提出來用三次曝光的方法實現全息元件色差的矯正，矯正的效果較為理想（如上圖下半部分所示）,，這篇文章發(fā)表在美國光學學會Applied Optics 50周年的封面文章,。但是此種矯正方式在視場角大的時候仍然不能很好的解決問題。
我們用全息元件和自由曲面結合起來做了一個超輕超薄的單色透視頭戴式顯示技術的設計,，正在加工中,。如果想做大視場角、高分辨率的超薄彩色透視頭盔,，可以采用幾何波導的方法,，這種方法在輸入圖像的時候仍然用自由曲面光學器件,，輸出圖像使用的是一系列的半反半透玻璃,，也就是幾何波導。幾何波導的主要問題是會產生比較強的雜光和鬼像,，我們從設計,、加工和鍍膜等各個方面來設法消除這個鬼像，我們做的幾何波導樣片,，厚度是2.4毫米,。
上圖是我們做的樣機，可以看出它非常輕小,，這是和硬幣的比較,。
除了更加輕薄的AR頭戴設備之外，我們也探討其他的一些技術方案,，比如大視場角的高分辨率頭盔,。視場角變大了之后分辨率就會降低,，比如Oculus，它雖然擁有100度左右的視場角,，但是每度分配的像素數很少,，所以看到的網格很粗。我們有很多辦法來解決這個問題,，但是其中最徹底的解決辦法就是用拼接式的頭盔,，也就是我們經常看到的拼接投影或者屏幕墻那樣,，用多塊屏幕或者說微型顯示器來拼接,。
如上圖所示，這是我們用傳統光學的方式做了一個浸沒式的100度大視場角的方案,，它在實現100度視場角的時候角分辨率依然保持好于3.5分,。同時這個方案基本沒有畸變，不需要像Oculus那樣用電子的方法來矯正,。
由于這種拼接方法采用傳統光學系統,，所以它的各個sub-channel（子成像系統）的光軸都是傾斜的，不平行于人眼光軸,，因此在人眼轉動的時候它的畸變會發(fā)生變化,，英文叫做perspective distortion，是指隨著你視角的方向發(fā)生變化的畸變,，這種畸變的電子校正需要對人眼的注視方向進行跟蹤,，要在頭盔上加眼部跟蹤系統，這個方案相對復雜,，所以我們現在提出來用自由曲面光學來進行拼接,。在這種拼接方案中，子成像系統的光軸和眼睛的光軸完全重合,，也就解決了perspective distortion這個問題,，另外我們加了一片補償鏡以后仍然可以實現光學透射。
此外,，我們還有其他不同拼接方案,，比如用2塊、4塊,、6塊的這種拼接方式,，甚至可以做到120°的視場角的透視式頭盔，這些我們都已獲得了相關的中國,、美國和歐洲的發(fā)明專利授權,。
另外，我們也在研究真三維頭戴式顯示技術?，F在所謂的3D電視和3D電影,，實際上有很多的問題,，其中一個重要的問題就是它和我們日常用眼的方式不一致。我們平時觀看一個三維物體的時候,，眼睛是同時會聚和調焦在物體上的,，但是在看3D電視和3D電影的時候，眼睛為了看清圖像永遠調焦在二維屏幕上,，所謂的3D立體顯示,，它顯示的物體或者是突出于或者是深入到二維屏幕的，這時人眼會聚的距離和調焦的距離是不一致的,，時間長了會引起視覺疲勞（Visual fatigue）,。大家觀看3D電影大約需要兩個小時左右，屬于可承受范圍內,，但是看3D電視時間長了肯定會引起視覺疲勞,，這也是3D電視一直沒有發(fā)展起來的重要原因。
而在頭戴顯示技術領域,，同樣的問題也存在,，就是我們仍然是用左右眼視差的這種立體顯示方式。那么怎么解決這個問題呢,？用自由曲面光學可以解決這個問題,，通過設計雙通道的光學系統，讓我們有兩個像面,，一個是比較近的,，另一個是比較遠的，那么你在看遠處物體的時候,，實際上看到的是遠處那個像面,，這樣遠處的像面就清楚了，近處的就變模糊了,；同理,，你在看近處物體的時候實際上看的是近處的像面，那么遠處的就變模糊了,，這個效果模擬出了我們日常的用眼情況,。
由于這種方式使用了自由曲面,，所以設計上的自由度非常大,，可供選擇的設計方案比較多。我們的最終設計方案達到了可接受的成像效果,，但是目前還有一些畸變,，這些畸變需要用電子的方法來矯正。另外,，我們還提出來一種把光場（light field）顯示技術和我們的頭戴顯示技術結合起來,，做頭戴式真三維顯示技術,。
這種顯示技術可以實現不僅兩個像面而是多個像面的同時成像。在我們做的初步實驗中,，我們的光學系統在真實空間中成像了一個斜放的虛擬光柵,。當你的眼睛調焦在遠處的時候，可以清楚地看到墻面張紙上的字,，同時看到光柵的遠處部分變得清楚了,；當你的眼睛調焦在近處的時候，可以看到近處綠色屏幕和斜光柵的近處部分變得清楚了,，這就實現了虛實融合的真三維顯示,。
實驗室利用增強現實頭戴顯示器針對不同行業(yè)開發(fā)了一系列應用。其中比較有代表性的就是我們開發(fā)的輕型飛行模擬器,。該系統在訓練飛行員的時候,，可以在顯示出虛擬機艙和艙外景色的同時，讓飛行員看到自己的腿和自己的手,，是一種典型的虛實融合的AR應用,。
此外，我們在廣東省科技館做了一個虛實結合的項目,，它的真實場景是模擬出的海底場景,，但是透過頭盔可以看到虛擬的魚類，而且能夠實現虛擬魚和真實水草之間的正確遮擋,，甚至還可以跟魚來進行交互,，比如伸出手來可以給鯊魚喂食。
同時,，我們還研發(fā)了圓明園AR游覽應用,。佩戴此款增強現實系統后，人們可以在廢墟上看到未被燒毀前的圓明園,。這是一種新穎的旅游形式,，也是一種很好的愛國主義教育方式，這種技術下一步也許可以用到未來影像里,。
那么,，這個領域未來會怎么樣？如果我們把AR透視眼鏡和戶外的跟蹤定位系統做好做完善,，那么這種透視眼鏡在導游,、導覽、導航,、導購等各個方面都有廣闊的應用前景,，非常有可能取代我們的手機作為下一代的移動終端。因為手機不管屏幕做得多大,，它的視場角也不會超過5°,，而透視頭盔做到30度以上是很方便的,。
現在的手機讓人類可以離開計算機桌隨意走動，但它不是一種健康的生活方式,，總是需要低著頭,，它對人的眼睛和頸椎都會造成損害，而且還把手完全占住了,。與此不同,，當我們戴上透視式的AR眼鏡后，人類不僅可以再次昂首挺胸地站立起來,，還能解放雙手,。所以我們說移動增強現實技術可以使人類第二次站立起來，它必將成為一個萬眾矚目的新興技術,。但是,，如何把這種技術和電影的敘事方式結合起來，則是需要探討的新課題,。
我的報告到此結束,，謝謝大家！
【作者簡介】
王涌天 1982年獲天津大學精密儀器系工學學士學位,，1986年獲英國Reading大學物理系工學博士學位,。北京理工大學信息與電子學部主任，光電學院和計算機學院博導,，校學術委員會和學位評定委員會副主席,，北京市混合現實與新型顯示工程技術研究中心主任。兼任全國政協委員,，國務院學位委員會光學工程學科評議組召集人,，科技部信息技術領域專家組成員，國際標準組織（ISO）有關標準制定專家組成員,，國家信息技術標準化委員會虛擬現實與增強現實標準工作組組長,，國際工程光學學會（SPIE）、美國光學學會（OSA）和英國工程技術學會（IET）Fellow等職,。長期在技術光學和虛擬現實領域從事教學和科研工作,，主要研究方向包括光學系統設計和CAD、新型三維顯示,、虛擬現實和增強現實,、醫(yī)學圖像處理等方面。2000年獲得國家杰出青年科學基金的資助,，2001年受聘教育部長江學者特聘教授,，2006年成為教育部創(chuàng)新團隊帶頭人，2011年榮獲全國五一勞動獎章,，2012年成為國家973項目首席科學家,。出版專著1部，教材2部,，其中《應用光學》英文版被評為北京市高等教育精品教材,。指導的博士生先后在2006年和2011年獲得全國優(yōu)秀博士學位論文及其提名獎，在2013年獲得北京市優(yōu)秀博士學位論文,。獲得北京市教育教學成果二等獎和中國學位與研究生教育學會研究生教育成果獎二等獎各一項,。曾兩次被評為北京市教育創(chuàng)新標兵。有關科研成果先后獲得國家科技進步三等獎1項,，省部級技術發(fā)明一等獎1項,、科技進步二等獎4項、三等獎1項,；發(fā)表專著1部,、譯著2部、論文400余篇,，編輯國際會議論文集12部,；授權國際發(fā)明專利4項，國家發(fā)明專利36項,。
（內容來源：未來影像高精尖創(chuàng)新中心微信公眾平臺 ）
分享到：