AR頭戴顯示技術(shù)的突破進(jìn)展—王涌天ICEVE大會演講實(shí)錄
發(fā)布日期：2017-02-21 供稿：王涌天 AICFVE
編輯：辛嘉洋 審核：包麗穎 閱讀次數(shù)：【編者按】本文是由未來影像高精尖創(chuàng)新中心舉辦的ICEVE2016（第七屆北京國際先進(jìn)影像大會暨展覽會）的精華演講及專訪整理而成的系列專題文章，本系列內(nèi)容涵蓋專家專訪、大會報(bào)道、行業(yè)紀(jì)實(shí)等，致力于梳理和提煉ICEVE大會的精華內(nèi)容并傳播給行業(yè)和大眾。
未來影像高精尖創(chuàng)新中心一級研究員、北京理工大學(xué)信息與電子學(xué)部主任 王涌天
今天，我給大家介紹一下我們實(shí)驗(yàn)室在增強(qiáng)現(xiàn)實(shí)，特別是增強(qiáng)現(xiàn)實(shí)頭戴顯示技術(shù)上的一些工作。
既然來到了電影學(xué)院，自然也就離不開電影這個(gè)話題。眾所周知，電影是要講故事的，它是敘事的載體亦是造夢的機(jī)器。隨著影像技術(shù)的發(fā)展，敘事作為人類生活中最重要的一部分，其展示形式和方法也在逐漸進(jìn)化。
人類歷史上出現(xiàn)的第一塊屏幕是電影銀幕，有了電影銀幕以后就萌生了電影這種經(jīng)典敘事載體，這也是人類最早通過技術(shù)手段對連續(xù)圖像進(jìn)行記錄的形式。緊隨其后的電視屏幕脫離了電影院的地點(diǎn)限制，出現(xiàn)在了人們的家中，拉近了影像與人們的關(guān)系，因而就出現(xiàn)了篇幅更長的敘事影像形式，比如電視連續(xù)劇。
隨后，我們又有了第三塊屏幕——手機(jī)屏幕。手機(jī)屏幕的便攜性合理化了人們的碎片時(shí)間，所以隨著智能手機(jī)的推廣，就出現(xiàn)了用碎片化時(shí)間觀看的超短網(wǎng)劇。隨著現(xiàn)在虛擬現(xiàn)實(shí)技術(shù)不斷的普及和發(fā)展，新的敘事媒體形式也將進(jìn)一步進(jìn)化。
我們認(rèn)為，類似可以沉浸觀看的虛擬現(xiàn)實(shí)技術(shù)可能是人類的倒數(shù)第三塊屏幕，而倒數(shù)第二塊則是增強(qiáng)現(xiàn)實(shí)。所謂增強(qiáng)現(xiàn)實(shí)，即虛實(shí)融合，讓人們置身在真實(shí)場景中的同時(shí)觀看到虛擬的影像內(nèi)容。這是一種全新的顯示形式，因此，如何利用增強(qiáng)現(xiàn)實(shí)這種虛實(shí)融合的影像形式來呈現(xiàn)故事內(nèi)容，這是我們需要思考和探討的。人類最后一塊屏幕可能是直接連接腦神經(jīng)了，這個(gè)離咱們比較遠(yuǎn)暫時(shí)就不做過多說明了。
下面介紹一下我們在增強(qiáng)現(xiàn)實(shí)技術(shù)方面的進(jìn)展。首先講一下研究背景。頭盔顯示器其實(shí)有很長的發(fā)展歷史，其中很著名的一個(gè)學(xué)者Ivan Sutherland在1968年就提出來了一個(gè)頭盔顯示器：達(dá)摩克里斯之劍。由此，他被認(rèn)為是虛擬現(xiàn)實(shí)之父。同時(shí)，他也是非常著名的圖靈獎的獲得者。多年以來，頭盔顯示器的技術(shù)一直在不斷的發(fā)展，當(dāng)然主要應(yīng)用在專業(yè)領(lǐng)域特別是軍事領(lǐng)域上。
但近來民用的VR/AR產(chǎn)品獲得了長足的發(fā)展：2012年Google推出Google Glass，2014年Facebook收購了Oculus。近幾年，信息領(lǐng)域的巨頭們紛紛推出相關(guān)的頭戴顯示技術(shù)，諸如Sony，Samsung，Microsoft，Intel等等。這其中非常著名的Magic Leap公司，在未推出任何產(chǎn)品之時(shí)就得到了將近8個(gè)億的C輪投資，據(jù)了解它的核心技術(shù)也是頭戴式顯示技術(shù)。現(xiàn)階段國外很多公司都在做這方面的工作，國內(nèi)也不少興起的創(chuàng)業(yè)公司在做透視頭戴式顯示技術(shù)。
目前，增強(qiáng)現(xiàn)實(shí)頭盔還存有一些問題。第一，目前面世的增強(qiáng)現(xiàn)實(shí)頭盔中除了Google Glass以外重量都比較重。但是Google Glass也存在視場角太小等問題，這是因?yàn)樵陬^盔的透視部分光學(xué)的虛實(shí)融合元件都比較厚，大部分還做不到跟眼鏡一樣薄，而且視場角和出瞳也比較小。此外，就是大部分頭盔不能調(diào)節(jié)視度。一些出瞳足夠大的頭盔顯示器允許用戶佩戴眼鏡使用，但是這樣的系統(tǒng)在佩戴舒適性上存在較大問題。
所以，我們最終預(yù)期能夠?qū)崿F(xiàn)的由眼鏡直接呈現(xiàn)且能夠校正不同視度的技術(shù)。另外，頭盔的電池續(xù)航時(shí)間短和透視眼鏡研發(fā)成本高這兩個(gè)問題仍比較突出。因此，增強(qiáng)現(xiàn)實(shí)頭戴顯示技術(shù)的兩個(gè)發(fā)展方向，一個(gè)就是超輕超薄，達(dá)到跟戴眼鏡一樣便捷，這個(gè)方向主要針對大眾應(yīng)用；另外一個(gè)就是實(shí)現(xiàn)大視場角高分辨率，主要是針對專業(yè)應(yīng)用。
為了解決上述問題，光學(xué)領(lǐng)域很多先進(jìn)的技術(shù)都逐漸用到了透視頭盔上，包括自由曲面光學(xué)，全息顯示技術(shù)，波導(dǎo)技術(shù)以及光場顯示技術(shù)等等。我們實(shí)驗(yàn)室從本世紀(jì)初就開始研究透視頭盔顯示器，1992年我們?yōu)榧幽么蟮腝ueensland University做了一個(gè)120°的浸沒式頭盔，這也是我們做的第一個(gè)頭盔。
2005年我們提交了一個(gè)專利申請，描述了一種光學(xué)透射式頭戴顯示器，與后來Google Glass的設(shè)計(jì)比較起來基本是同一個(gè)方案，但是我們的方案加了透鏡以后視場角就比Google Glass大很多，Google Glass只有15°，我們能達(dá)到44°。我們采用的是旋轉(zhuǎn)對稱的傳統(tǒng)光學(xué)系統(tǒng)，這種光學(xué)系統(tǒng)一般重量比較大，而且由于當(dāng)時(shí)的技術(shù)限制，用的是2.2寸的顯示器，就是當(dāng)時(shí)的手機(jī)顯示屏，所以整個(gè)系統(tǒng)比較重，達(dá)到400g的重量。后來的Google Glass采用了微型顯示器，同時(shí)把視場角減小以后，整個(gè)系統(tǒng)體積變小了，所以比較輕，但在光學(xué)系統(tǒng)上和我們的設(shè)計(jì)思路是完全一樣的。
到十一五期間（即2008年）我們又申請了用自由曲面光學(xué)實(shí)現(xiàn)的頭戴顯示器的相關(guān)專利。所謂自自由曲面，就是沒有任何對稱性的，用XY多項(xiàng)式來描述的復(fù)雜曲面。通過使用這種光學(xué)元件來設(shè)計(jì)透視頭盔，我們實(shí)現(xiàn)了水平45°的大視場角，而且整個(gè)系統(tǒng)重量很輕。
如上圖所示，這是我們基于自由曲面設(shè)計(jì)的目鏡和傳統(tǒng)目鏡的比較，二者均獲得了國家發(fā)明專利授權(quán)。對于一般目鏡來說， 能做到50多度的視場角已屬不易，而且自由曲面的出瞳比這個(gè)傳統(tǒng)光學(xué)目鏡的還要大一些，同時(shí)重量是傳統(tǒng)光學(xué)目鏡的七分之一，厚度是傳統(tǒng)光學(xué)目鏡的二分之一，此外加上一片補(bǔ)償鏡以后，可以實(shí)現(xiàn)光學(xué)透射的增強(qiáng)顯示。現(xiàn)在該設(shè)計(jì)已經(jīng)做成性能良好的產(chǎn)品了。
我們的透視頭盔和國際上一些產(chǎn)品的比較可以看出我們的技術(shù)指標(biāo)相當(dāng)出色。另外，如下圖所示我們的增強(qiáng)現(xiàn)實(shí)實(shí)驗(yàn)，計(jì)算機(jī)生成的任何東西都可以疊加到真實(shí)環(huán)境中。
我們目前最新的透視式頭盔和實(shí)際的成像效果都很精良，此頭盔完全用自由曲面做成，成像清晰且透視效果良好。這個(gè)頭盔顯示器厚度在10毫米左右，如果想要做得更薄，可以把波導(dǎo)技術(shù)（全息波導(dǎo)或者幾何波導(dǎo)）結(jié)合起來，將厚度控制在8毫米。
全息波導(dǎo)的色差是非常大的，在初始的設(shè)計(jì)實(shí)驗(yàn)中，我們實(shí)現(xiàn)了超薄玻璃的橫向傳像。在該實(shí)驗(yàn)中，我們的像源是一個(gè)簡單的手電，手電前面放了一塊遮光板，形成了一個(gè)圖像源， 加上全息光學(xué)元件以后我們實(shí)現(xiàn)了用2毫米厚的玻璃橫向傳像，但由于它有很大的色差，可以看到的是綠、黃、紅完全分開了（如下圖上半部分所示）。
這樣的成像質(zhì)量是不能接受的，所以后來我們又提出來用三次曝光的方法實(shí)現(xiàn)全息元件色差的矯正，矯正的效果較為理想（如上圖下半部分所示），這篇文章發(fā)表在美國光學(xué)學(xué)會Applied Optics 50周年的封面文章。但是此種矯正方式在視場角大的時(shí)候仍然不能很好的解決問題。
我們用全息元件和自由曲面結(jié)合起來做了一個(gè)超輕超薄的單色透視頭戴式顯示技術(shù)的設(shè)計(jì)，正在加工中。如果想做大視場角、高分辨率的超薄彩色透視頭盔，可以采用幾何波導(dǎo)的方法，這種方法在輸入圖像的時(shí)候仍然用自由曲面光學(xué)器件，輸出圖像使用的是一系列的半反半透玻璃，也就是幾何波導(dǎo)。幾何波導(dǎo)的主要問題是會產(chǎn)生比較強(qiáng)的雜光和鬼像，我們從設(shè)計(jì)、加工和鍍膜等各個(gè)方面來設(shè)法消除這個(gè)鬼像，我們做的幾何波導(dǎo)樣片，厚度是2.4毫米。
上圖是我們做的樣機(jī)，可以看出它非常輕小，這是和硬幣的比較。
除了更加輕薄的AR頭戴設(shè)備之外，我們也探討其他的一些技術(shù)方案，比如大視場角的高分辨率頭盔。視場角變大了之后分辨率就會降低，比如Oculus，它雖然擁有100度左右的視場角，但是每度分配的像素?cái)?shù)很少，所以看到的網(wǎng)格很粗。我們有很多辦法來解決這個(gè)問題，但是其中最徹底的解決辦法就是用拼接式的頭盔，也就是我們經(jīng)常看到的拼接投影或者屏幕墻那樣，用多塊屏幕或者說微型顯示器來拼接。
如上圖所示，這是我們用傳統(tǒng)光學(xué)的方式做了一個(gè)浸沒式的100度大視場角的方案，它在實(shí)現(xiàn)100度視場角的時(shí)候角分辨率依然保持好于3.5分。同時(shí)這個(gè)方案基本沒有畸變，不需要像Oculus那樣用電子的方法來矯正。
由于這種拼接方法采用傳統(tǒng)光學(xué)系統(tǒng)，所以它的各個(gè)sub-channel（子成像系統(tǒng)）的光軸都是傾斜的，不平行于人眼光軸，因此在人眼轉(zhuǎn)動的時(shí)候它的畸變會發(fā)生變化，英文叫做perspective distortion，是指隨著你視角的方向發(fā)生變化的畸變，這種畸變的電子校正需要對人眼的注視方向進(jìn)行跟蹤，要在頭盔上加眼部跟蹤系統(tǒng)，這個(gè)方案相對復(fù)雜，所以我們現(xiàn)在提出來用自由曲面光學(xué)來進(jìn)行拼接。在這種拼接方案中，子成像系統(tǒng)的光軸和眼睛的光軸完全重合，也就解決了perspective distortion這個(gè)問題，另外我們加了一片補(bǔ)償鏡以后仍然可以實(shí)現(xiàn)光學(xué)透射。
此外，我們還有其他不同拼接方案，比如用2塊、4塊、6塊的這種拼接方式，甚至可以做到120°的視場角的透視式頭盔，這些我們都已獲得了相關(guān)的中國、美國和歐洲的發(fā)明專利授權(quán)。
另外，我們也在研究真三維頭戴式顯示技術(shù)。現(xiàn)在所謂的3D電視和3D電影，實(shí)際上有很多的問題，其中一個(gè)重要的問題就是它和我們?nèi)粘Ｓ醚鄣姆绞讲灰恢隆Ｎ覀兤綍r(shí)觀看一個(gè)三維物體的時(shí)候，眼睛是同時(shí)會聚和調(diào)焦在物體上的，但是在看3D電視和3D電影的時(shí)候，眼睛為了看清圖像永遠(yuǎn)調(diào)焦在二維屏幕上，所謂的3D立體顯示，它顯示的物體或者是突出于或者是深入到二維屏幕的，這時(shí)人眼會聚的距離和調(diào)焦的距離是不一致的，時(shí)間長了會引起視覺疲勞（Visual fatigue）。大家觀看3D電影大約需要兩個(gè)小時(shí)左右，屬于可承受范圍內(nèi)，但是看3D電視時(shí)間長了肯定會引起視覺疲勞，這也是3D電視一直沒有發(fā)展起來的重要原因。
而在頭戴顯示技術(shù)領(lǐng)域，同樣的問題也存在，就是我們?nèi)匀皇怯米笥已垡暡畹倪@種立體顯示方式。那么怎么解決這個(gè)問題呢？用自由曲面光學(xué)可以解決這個(gè)問題，通過設(shè)計(jì)雙通道的光學(xué)系統(tǒng)，讓我們有兩個(gè)像面，一個(gè)是比較近的，另一個(gè)是比較遠(yuǎn)的，那么你在看遠(yuǎn)處物體的時(shí)候，實(shí)際上看到的是遠(yuǎn)處那個(gè)像面，這樣遠(yuǎn)處的像面就清楚了，近處的就變模糊了；同理，你在看近處物體的時(shí)候?qū)嶋H上看的是近處的像面，那么遠(yuǎn)處的就變模糊了，這個(gè)效果模擬出了我們?nèi)粘５挠醚矍闆r。
由于這種方式使用了自由曲面，所以設(shè)計(jì)上的自由度非常大，可供選擇的設(shè)計(jì)方案比較多。我們的最終設(shè)計(jì)方案達(dá)到了可接受的成像效果，但是目前還有一些畸變，這些畸變需要用電子的方法來矯正。另外，我們還提出來一種把光場（light field）顯示技術(shù)和我們的頭戴顯示技術(shù)結(jié)合起來，做頭戴式真三維顯示技術(shù)。
這種顯示技術(shù)可以實(shí)現(xiàn)不僅兩個(gè)像面而是多個(gè)像面的同時(shí)成像。在我們做的初步實(shí)驗(yàn)中，我們的光學(xué)系統(tǒng)在真實(shí)空間中成像了一個(gè)斜放的虛擬光柵。當(dāng)你的眼睛調(diào)焦在遠(yuǎn)處的時(shí)候，可以清楚地看到墻面張紙上的字，同時(shí)看到光柵的遠(yuǎn)處部分變得清楚了；當(dāng)你的眼睛調(diào)焦在近處的時(shí)候，可以看到近處綠色屏幕和斜光柵的近處部分變得清楚了，這就實(shí)現(xiàn)了虛實(shí)融合的真三維顯示。
實(shí)驗(yàn)室利用增強(qiáng)現(xiàn)實(shí)頭戴顯示器針對不同行業(yè)開發(fā)了一系列應(yīng)用。其中比較有代表性的就是我們開發(fā)的輕型飛行模擬器。該系統(tǒng)在訓(xùn)練飛行員的時(shí)候，可以在顯示出虛擬機(jī)艙和艙外景色的同時(shí)，讓飛行員看到自己的腿和自己的手，是一種典型的虛實(shí)融合的AR應(yīng)用。
此外，我們在廣東省科技館做了一個(gè)虛實(shí)結(jié)合的項(xiàng)目，它的真實(shí)場景是模擬出的海底場景，但是透過頭盔可以看到虛擬的魚類，而且能夠?qū)崿F(xiàn)虛擬魚和真實(shí)水草之間的正確遮擋，甚至還可以跟魚來進(jìn)行交互，比如伸出手來可以給鯊魚喂食。
同時(shí)，我們還研發(fā)了圓明園AR游覽應(yīng)用。佩戴此款增強(qiáng)現(xiàn)實(shí)系統(tǒng)后，人們可以在廢墟上看到未被燒毀前的圓明園。這是一種新穎的旅游形式，也是一種很好的愛國主義教育方式，這種技術(shù)下一步也許可以用到未來影像里。
那么，這個(gè)領(lǐng)域未來會怎么樣？如果我們把AR透視眼鏡和戶外的跟蹤定位系統(tǒng)做好做完善，那么這種透視眼鏡在導(dǎo)游、導(dǎo)覽、導(dǎo)航、導(dǎo)購等各個(gè)方面都有廣闊的應(yīng)用前景，非常有可能取代我們的手機(jī)作為下一代的移動終端。因?yàn)槭謾C(jī)不管屏幕做得多大，它的視場角也不會超過5°，而透視頭盔做到30度以上是很方便的。
現(xiàn)在的手機(jī)讓人類可以離開計(jì)算機(jī)桌隨意走動，但它不是一種健康的生活方式，總是需要低著頭，它對人的眼睛和頸椎都會造成損害，而且還把手完全占住了。與此不同，當(dāng)我們戴上透視式的AR眼鏡后，人類不僅可以再次昂首挺胸地站立起來，還能解放雙手。所以我們說移動增強(qiáng)現(xiàn)實(shí)技術(shù)可以使人類第二次站立起來，它必將成為一個(gè)萬眾矚目的新興技術(shù)。但是，如何把這種技術(shù)和電影的敘事方式結(jié)合起來，則是需要探討的新課題。
我的報(bào)告到此結(jié)束，謝謝大家！
【作者簡介】
王涌天 1982年獲天津大學(xué)精密儀器系工學(xué)學(xué)士學(xué)位，1986年獲英國Reading大學(xué)物理系工學(xué)博士學(xué)位。北京理工大學(xué)信息與電子學(xué)部主任，光電學(xué)院和計(jì)算機(jī)學(xué)院博導(dǎo)，校學(xué)術(shù)委員會和學(xué)位評定委員會副主席，北京市混合現(xiàn)實(shí)與新型顯示工程技術(shù)研究中心主任。兼任全國政協(xié)委員，國務(wù)院學(xué)位委員會光學(xué)工程學(xué)科評議組召集人，科技部信息技術(shù)領(lǐng)域?qū)＜医M成員，國際標(biāo)準(zhǔn)組織（ISO）有關(guān)標(biāo)準(zhǔn)制定專家組成員，國家信息技術(shù)標(biāo)準(zhǔn)化委員會虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)標(biāo)準(zhǔn)工作組組長，國際工程光學(xué)學(xué)會（SPIE）、美國光學(xué)學(xué)會（OSA）和英國工程技術(shù)學(xué)會（IET）Fellow等職。長期在技術(shù)光學(xué)和虛擬現(xiàn)實(shí)領(lǐng)域從事教學(xué)和科研工作，主要研究方向包括光學(xué)系統(tǒng)設(shè)計(jì)和CAD、新型三維顯示、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)、醫(yī)學(xué)圖像處理等方面。2000年獲得國家杰出青年科學(xué)基金的資助，2001年受聘教育部長江學(xué)者特聘教授，2006年成為教育部創(chuàng)新團(tuán)隊(duì)帶頭人，2011年榮獲全國五一勞動獎?wù)拢?012年成為國家973項(xiàng)目首席科學(xué)家。出版專著1部，教材2部，其中《應(yīng)用光學(xué)》英文版被評為北京市高等教育精品教材。指導(dǎo)的博士生先后在2006年和2011年獲得全國優(yōu)秀博士學(xué)位論文及其提名獎，在2013年獲得北京市優(yōu)秀博士學(xué)位論文。獲得北京市教育教學(xué)成果二等獎和中國學(xué)位與研究生教育學(xué)會研究生教育成果獎二等獎各一項(xiàng)。曾兩次被評為北京市教育創(chuàng)新標(biāo)兵。有關(guān)科研成果先后獲得國家科技進(jìn)步三等獎1項(xiàng)，省部級技術(shù)發(fā)明一等獎1項(xiàng)、科技進(jìn)步二等獎4項(xiàng)、三等獎1項(xiàng)；發(fā)表專著1部、譯著2部、論文400余篇，編輯國際會議論文集12部；授權(quán)國際發(fā)明專利4項(xiàng)，國家發(fā)明專利36項(xiàng)。
（內(nèi)容來源：未來影像高精尖創(chuàng)新中心微信公眾平臺 ）
分享到：