HoloLens自面世以來，我們一方面利用混合現實的技術特性，與垂直行業客戶一道進行定制化方案的開發；另一方面也在努力提升HoloLens的內容拍攝及展現形式。尤其隨著Spectator View這樣的第三方視角方案趨于成熟，我們可以預見國內電視媒體甚至泛娛樂行業在未來利用混合現實技術實現制作創新的廣闊前景。

微軟HoloLens參加了國內某知名電視臺的節目錄制，并在其中嘗試了混合現實畫面搭載傳統音視訊技術。這次實踐的意義，代表著通過本地團隊的二次開發，已經可以基本達到目前國際上先進的HoloLens展示播出能力。這次的技術突破，解決了以往面對大量觀眾無法佩戴HoloLens時，如何通過高質量的畫面將全息影像、人和物的交互完美展現的挑戰。

再談第三方視角 Spectator View

其實，HoloLens在國內并非首次與傳媒業結合，這次的合作與之前的最大不同，就是首次加入了擁有高畫質輸出的Spectator View-第三方視角方案，并且非常關鍵的一點是本次錄制時HoloLens的拍攝機位可移動！

那么，什么是HoloLens第三方視角呢？簡單來說，你看過的所有HoloLens官方視頻案例或者廣告，都是通過第三方視角拍攝展現的。這項技術的優點在于，即使觀眾沒有佩戴HoloLens，也能看到佩戴HoloLens的操作者及其交互操作的全息畫面內容。針對本次拍攝，我們將混合現實畫面信號接入專業的拍攝系統，展示出廣播級畫質，可以讓現場觀眾感受到全息影響與真實物理空間交互融合帶來的真實感。 

錄制過程

大型節目錄制通常是一項復雜的系統工程，需要多個部門緊密配合才能保證節目順利播出。此次節目加入全息影像的信號輸入，技術難度進一步加深。能否讓全息影像畫面帶給觀眾身臨其境的效果，對現場技術人員是一個高難度挑戰。

在錄制現場，我們需要將攝像機所拍攝的畫面和HoloLens識別的空間坐標，傳回主機，與全息影像實時結合，再通過視頻輸出，最后將混合現實畫面投射到屏幕之上。為了保證不同距離且多角度呈現混合現實畫面與舞臺空間的融合效果，Spectator View在節目現場的站位極其關鍵。

我們在節目現場設置了三臺搭載Spectator View的攝像機，用于捕捉HoloLens的全息影像畫面。它們分別是：

• 一臺固定機位：在舞臺中央用于現場全景畫面拍攝；
• 兩臺移動機位（游機位）：一臺軌道半徑90度的軌道攝像機位，負責舞臺部分畫面的拍攝；一臺搭載斯坦尼康的移動攝像機，負責近景及特寫畫面拍攝；

三臺攝像機的視頻信號通過專用SDI線纜接入導播系統，再由導播系統分出三路信號連入用于合成混合現實畫面的圖形工作站，合成后的視頻信號繼續通過SDI線纜反饋回導播系統。這樣，導播系統便可隨時切換三個機位的混合現實畫面了。

技術難點

經過現場前期測試，我們發現混合現實畫面對接數字信號系統時，有可能遇到以下三方面挑戰，因此需要提早合理規劃。

1. 空間識別精確度

為了播出效果，節目舞臺的設計有可能出現大面積黑色空間或反光鏡面，并且錄制現場的燈光顏色，明亮度也會隨時劇烈切換。我們知道HoloLens的空間定位精度對環境和光線有一定的要求，當需要識別的空間較大時，邊界識別會變得模糊，從而可能導致空間錨抖動。為了解決這些潛在的干擾因素，我們從三個不同角度，各設置了一套Spectator View對現場混合現實畫面進行拍攝。同時，在舞臺上做好相應標記，以此幫助三個角度的HoloLens進行精確的空間識別。

2. 輸出畫面質量

節目錄制的全過程大概需要7小時，除了設備本身續航能力需要有充分預案外，如何保證Spectator View圖形工作站的穩定運行至關重要。為了解決這個問題，在接入SpectatorView時，我們需要進行后端軟件防抖參數設置，及實時物體校準功能設置，從而結合現場實景，保證節目現場混合現實畫面能夠穩定輸出。

3. 多臺設備協同

多臺設備協調是確保現場拍攝畫面與導播系統無縫銜接的關鍵。由于每一套Spectator View都有自己獨立的同步系統，為了保證現場三臺SpectatorView和多名嘉賓佩戴的HoloLens中的空間錨進行實時同步及對應的畫面輸出，我們另外配置了一臺服務器進行信號調配。從下圖顯示屏幕，可以監控現場每臺HoloLens中的全息影像，調整它們在真實空間中的位置，并查看對應操作后觸發的效果。

另外，為了保證錄制現場的無線網絡信號質量，技術團隊還在舞臺周邊安裝了三個無線路由器進行信號橋接，確保現場任意一臺HoloLens都能輕松接入無線網絡。