什么是MR混合現(xiàn)實視頻？

Mixed Reality視頻是VR場景影像+人的影像合成的視頻。相比普通方法錄制的VR視頻，Mixed Reality視頻更適合用來做宣傳視頻和直播。

MR視頻的制作原理

普通的VR視頻是第一人稱視角錄制，是將體驗者眼睛看到的影像錄制下來，在這種視頻里是看不到體驗者的全身的，要想拍攝拍攝虛擬場景與體驗者合二為一的MR視頻，需要三個步驟：

• 切換成第三人稱視角；
• 將體驗者的影像也錄制下來；
• 將體驗畫面和攝像機影像合成。

硬件設備需求：

• 虛擬相機：定位在手柄上，錄制虛擬場景；
• 實體相機：拍攝體驗者活動；
• 視頻處理 ：將實體相機拍攝的體驗者形象從實際場景這個摳出，合成到虛擬相機錄制的虛擬場景中；在合成過程中，體驗者在虛擬場景中的位置通過追蹤頭盔的位置確定。

虛擬相機和實體相機的相對位置和朝向固定。

軟件需求：

• Uinty 3D：目前只有Uinty 3D 制作的程序支持MR模式；
• 視頻合成軟件：OBS或者其他。

MR視頻的制作過程

1.為游戲開啟MR模式

• Uinty SteamVR插件版本升級到v1.0.8或以上；
• 在游戲的根目錄下extemalcamera.cfg新建一個空白文件，重命名為extemalcamera.cfg ，在其中加上乳腺內(nèi)容：x=0 y=0 z=0 rx=0 ry=0 rz=0 fov=60 near=0.1 far=100 sceneResolutionScale=0.5；
• 連接第三個手柄：通過USB連接第三個手柄。

2.安裝攝像機和第三個手柄

• 硬件安裝如果有相機肩架或者手架，將攝像機和手柄都安裝在架子上。如果沒有架子，就把手柄綁在相機上，確保在移動架子上或者相機的時候，相機和手柄相對應位置和相對應朝向不變；
• 計算出攝像機和手柄之間的偏移，也就是得出extemalcamera.cfg 的參數(shù)，x,y,z是攝像機和手柄的相對位置，rx,ry,rz是相對朝向，比較方便的做法是通過特制的校準軟件來實現(xiàn)，另外也可以手動調(diào)extemalcamera.cfg 中的數(shù)值；
  

3.用OBS合成視頻或視頻流

如果準備好Mixed Reality視頻所需要的條件，PC上的體驗畫面可分為4部分：

• Foreground：合成視頻的前景；
• Foreground alpha：前景的alpha；
• Background：合成視頻的背景；
• Gameview：正常體驗畫面，不用于合成mixed Reality視頻 。

最終輸出的影像是由三個影像合成的：攝像機捕捉人的影像，覆蓋在背景上，前景覆蓋人和背景上。因此要在OBS中添加以下三個視頻源：

• 前景：視頻來源選擇裁剪體驗窗口，裁剪區(qū)域和4分畫面的左上角畫面重合；設置黑色為色鍵，摳出前景畫面；
• 攝像機捕捉：視頻來源選擇webcamera或者視頻采集卡；設置綠色為色鍵，摳出人像；
• 背景：視頻來源選擇裁剪體驗窗口，裁剪區(qū)域和4分畫面的左下角畫面重合。