HoloLens自面世以來，我們一方面利用混合現(xiàn)實的技術(shù)特性，與垂直行業(yè)客戶一道進(jìn)行定制化方案的開發(fā)；另一方面也在努力提升HoloLens的內(nèi)容拍攝及展現(xiàn)形式。尤其隨著Spectator View這樣的第三方視角方案趨于成熟，我們可以預(yù)見國內(nèi)電視媒體甚至泛娛樂行業(yè)在未來利用混合現(xiàn)實技術(shù)實現(xiàn)制作創(chuàng)新的廣闊前景。

微軟HoloLens參加了國內(nèi)某知名電視臺的節(jié)目錄制，并在其中嘗試了混合現(xiàn)實畫面搭載傳統(tǒng)音視訊技術(shù)。這次實踐的意義，代表著通過本地團(tuán)隊的二次開發(fā)，已經(jīng)可以基本達(dá)到目前國際上先進(jìn)的HoloLens展示播出能力。這次的技術(shù)突破，解決了以往面對大量觀眾無法佩戴HoloLens時，如何通過高質(zhì)量的畫面將全息影像、人和物的交互完美展現(xiàn)的挑戰(zhàn)。

再談第三方視角 Spectator View

其實，HoloLens在國內(nèi)并非首次與傳媒業(yè)結(jié)合，這次的合作與之前的最大不同，就是首次加入了擁有高畫質(zhì)輸出的Spectator View-第三方視角方案，并且非常關(guān)鍵的一點是本次錄制時HoloLens的拍攝機(jī)位可移動！

那么，什么是HoloLens第三方視角呢？簡單來說，你看過的所有HoloLens官方視頻案例或者廣告，都是通過第三方視角拍攝展現(xiàn)的。這項技術(shù)的優(yōu)點在于，即使觀眾沒有佩戴HoloLens，也能看到佩戴HoloLens的操作者及其交互操作的全息畫面內(nèi)容。針對本次拍攝，我們將混合現(xiàn)實畫面信號接入專業(yè)的拍攝系統(tǒng)，展示出廣播級畫質(zhì)，可以讓現(xiàn)場觀眾感受到全息影響與真實物理空間交互融合帶來的真實感。 

錄制過程

大型節(jié)目錄制通常是一項復(fù)雜的系統(tǒng)工程，需要多個部門緊密配合才能保證節(jié)目順利播出。此次節(jié)目加入全息影像的信號輸入，技術(shù)難度進(jìn)一步加深。能否讓全息影像畫面帶給觀眾身臨其境的效果，對現(xiàn)場技術(shù)人員是一個高難度挑戰(zhàn)。

在錄制現(xiàn)場，我們需要將攝像機(jī)所拍攝的畫面和HoloLens識別的空間坐標(biāo)，傳回主機(jī)，與全息影像實時結(jié)合，再通過視頻輸出，最后將混合現(xiàn)實畫面投射到屏幕之上。為了保證不同距離且多角度呈現(xiàn)混合現(xiàn)實畫面與舞臺空間的融合效果，Spectator View在節(jié)目現(xiàn)場的站位極其關(guān)鍵。

我們在節(jié)目現(xiàn)場設(shè)置了三臺搭載Spectator View的攝像機(jī)，用于捕捉HoloLens的全息影像畫面。它們分別是：

• 一臺固定機(jī)位：在舞臺中央用于現(xiàn)場全景畫面拍攝；
• 兩臺移動機(jī)位（游機(jī)位）：一臺軌道半徑90度的軌道攝像機(jī)位，負(fù)責(zé)舞臺部分畫面的拍攝；一臺搭載斯坦尼康的移動攝像機(jī)，負(fù)責(zé)近景及特寫畫面拍攝；

三臺攝像機(jī)的視頻信號通過專用SDI線纜接入導(dǎo)播系統(tǒng)，再由導(dǎo)播系統(tǒng)分出三路信號連入用于合成混合現(xiàn)實畫面的圖形工作站，合成后的視頻信號繼續(xù)通過SDI線纜反饋回導(dǎo)播系統(tǒng)。這樣，導(dǎo)播系統(tǒng)便可隨時切換三個機(jī)位的混合現(xiàn)實畫面了。

技術(shù)難點

經(jīng)過現(xiàn)場前期測試，我們發(fā)現(xiàn)混合現(xiàn)實畫面對接數(shù)字信號系統(tǒng)時，有可能遇到以下三方面挑戰(zhàn)，因此需要提早合理規(guī)劃。

1. 空間識別精確度

為了播出效果，節(jié)目舞臺的設(shè)計有可能出現(xiàn)大面積黑色空間或反光鏡面，并且錄制現(xiàn)場的燈光顏色，明亮度也會隨時劇烈切換。我們知道HoloLens的空間定位精度對環(huán)境和光線有一定的要求，當(dāng)需要識別的空間較大時，邊界識別會變得模糊，從而可能導(dǎo)致空間錨抖動。為了解決這些潛在的干擾因素，我們從三個不同角度，各設(shè)置了一套Spectator View對現(xiàn)場混合現(xiàn)實畫面進(jìn)行拍攝。同時，在舞臺上做好相應(yīng)標(biāo)記，以此幫助三個角度的HoloLens進(jìn)行精確的空間識別。

2. 輸出畫面質(zhì)量

節(jié)目錄制的全過程大概需要7小時，除了設(shè)備本身續(xù)航能力需要有充分預(yù)案外，如何保證Spectator View圖形工作站的穩(wěn)定運行至關(guān)重要。為了解決這個問題，在接入SpectatorView時，我們需要進(jìn)行后端軟件防抖參數(shù)設(shè)置，及實時物體校準(zhǔn)功能設(shè)置，從而結(jié)合現(xiàn)場實景，保證節(jié)目現(xiàn)場混合現(xiàn)實畫面能夠穩(wěn)定輸出。

3. 多臺設(shè)備協(xié)同

多臺設(shè)備協(xié)調(diào)是確保現(xiàn)場拍攝畫面與導(dǎo)播系統(tǒng)無縫銜接的關(guān)鍵。由于每一套Spectator View都有自己獨立的同步系統(tǒng)，為了保證現(xiàn)場三臺SpectatorView和多名嘉賓佩戴的HoloLens中的空間錨進(jìn)行實時同步及對應(yīng)的畫面輸出，我們另外配置了一臺服務(wù)器進(jìn)行信號調(diào)配。從下圖顯示屏幕，可以監(jiān)控現(xiàn)場每臺HoloLens中的全息影像，調(diào)整它們在真實空間中的位置，并查看對應(yīng)操作后觸發(fā)的效果。

另外，為了保證錄制現(xiàn)場的無線網(wǎng)絡(luò)信號質(zhì)量，技術(shù)團(tuán)隊還在舞臺周邊安裝了三個無線路由器進(jìn)行信號橋接，確保現(xiàn)場任意一臺HoloLens都能輕松接入無線網(wǎng)絡(luò)。