隨著新冠肺炎大流行橫掃世界，從去年開始虛擬現實技術（VR）和增強現實技術（AR）在全球范圍內需求量激增。而傳統的電影制作過程也遭到了前所未有的沖擊：現在電影制作廠商們需要快速調轉方向來適應有關安全的考慮和遠程工作帶來的挑戰。一家獨立工作室——VRFX意識到了這可能是他們擴大其服務領域的機會。
VRFX實時工作室成立于2017年，工作室由自由創作人員、程序人員和技術人員組成。工作室的目標自成立以來一直都沒有改變，即：將故事帶入現實之中。
幾年前位于瑞士盧塞恩的5人團隊意識到虛擬現實/增強現實的潛力以及在各行業中的適用性，當他們最終看到了能夠開發這些定制解決方案的機構在市場上的優異表現時，他們開始了與Unity的合作之路。、
Unity的VR/AR開發者框架不僅具有極強的開放性而且兼容能力也非常出眾，可以幫助VRFX團隊創造出各種各樣的軟件和虛擬現實體驗。
VRFX將實時3D的技術帶入到了工業、影視制作、地質勘探和制造業之中，圖中展示的是VRFX使用Unity為電影節制作VR演示。
VRFX評價自己為“可視化技術的問題解決者”，工作室與多種行業的多個公司合作并為它們提供基于實時3D的定制化解決方案。通過收集他們客戶的客戶、產品和定位的深入知識，他們可以實現與各方密切合作，無論是經典的電視廣告還是藝術博物館的增強現實體驗，他們都能創建出完美的視覺表現效果。
工作室制作的內容橫跨多種格式。因此團隊需要不斷了解最新趨勢，并找到使用硬件和軟件全新的有趣的方法。
使用Unity創建的VR劇院
“由于我們擴張團隊的需要，我們尋找的不僅僅是能夠熟練使用Unity和其他動畫軟件的專業技術人員，我們還在尋找那些態度積極、渴望擁有完整的工作流程并勇于挑戰的人。”VRFX的聯合創始人兼技術總監Pascal Achermann說道，“因此我們召集來了一群熱愛他們事業的人。我認為這是目前我們能夠取得成功的關鍵。”
涉足實時電影制作的獨立工作室
盡管VR和AR在2020年仍然是VRFX團隊的亮點項目，但在這一年中VRFX也向虛擬生產等新領域發起了探索。事實上，VRFX團隊在視覺效果、3D合成、電影制作和音頻工程方面的專業經驗也為他們在探索實時電影制作時提供了很大的幫助。
在Unity高清渲染管道中的動畫場景設置
雖然Unity編輯器和MiddleVR時他們的核心工具，VRFX也通過其他的Unity開發人員開發的包來完成一些特殊任務。他們使用Unity為樹木和植物創建完美的網格，使用DMX控制器來控制實時光照，并使用他們內部正在開發的“快照”功能在播放模式下對場景進行修改。
“當我們不知道如何開始做某事時，我們會進行研究，以找出前車之鑒。”VRFX的工程師尼克·施耐德（Nick Schneider）說道，“我們目前還沒有遇到我們無法創造的東西。因為我們總能夠通過Unity社區找到解決方案，這真的很神奇。”
VRFX內部開發的“快照”功能
Silvester項目：使用Unity和ArtEngine進行虛擬制作
最近，VRFX工作室首次使用LED墻為盧塞恩政府制作了一個廣告項目。該項目的目的是制作一系列電視廣告，以鼓勵居民在圣誕節期間注意社交距離，減緩新冠病毒的傳播。VRFX提出了虛擬生產的計劃，他們認為這是保證預算和在截止日期內完工的唯一方法。由于他們花了大約一周左右的時間來編寫和發布內容，這導致了他們幾乎沒有時間來進行諸如位置搜索和后期制作等項目。
VRFX清楚的知道，有了這一部分前期的制作規劃，他們不僅可以以幾乎為零的后期制作成本交付此項目，還可以為客戶提供在未來商業場所重復使用此項目的機會。令人欣慰的是他們的客戶最終同意了此計劃。
VRFX在此項目中負責制作和設置實時內容，而其合作伙伴Orisono負責故事的編寫、場景照明、影片拍攝和后期制作。兩個團隊在位于Soundville Media Studios的駐地密切合作，大約一周內便交付了整個項目，而Unity的工作在大約三天內就已經完成了。
VRFX的藝術總監，Claudio Antonelli正在為虛擬制作測試鏡頭追蹤系統
VRFX的關鍵任務之一是創建虛擬的背景內容。因此在前期制作期間，VRFX需要在Unity中創建了一個虛擬的一比一復制的客廳，而最終真正相機將要拍攝該場景。團隊利用Unity的高清晰度渲染管道（HDRP）和MiddleVR來進行場景的創建工作。這種設置讓團隊能夠使用真實世界的照明值在他們的Blackmagic URSA相機上模擬鏡頭失真，并將3D內容投影到LED墻上。通過使用Unity ArtEngine，他們能夠非常快速的在現場復制這些材料。材料會被快速紋理化，以在Unity中創建虛擬克隆時使用。
在實際拍攝前創建虛擬環境
建立虛擬生產環境的第一步時用3D復制真實的場景——具有節日氛圍的客廳。為了做到這一點，團隊測量了集合組件，并在Modo中模擬了虛擬克隆的整個過程。
使用3D程序Modo制作的真實場景的數字復制品
通過數字模型，VRFX使用Marmoset軟件包創建了一個快速預覽模型，以幫助客戶和電影工作人員可視化場景。在Previz獲得批準后，該團隊隨后創建了一個高保真的Lookdev渲染，以展示燈光、情緒和材料的視覺效果。
在lookdev場景中，VRFX與攝影總監Alex Stratigenas合作，調整拍攝框架。在下一輪客戶反饋之后，場景會被導入到Unity的HDRP中以應用燈光和材質。
LED背景墻拍攝框架示意圖
使用ArtEngine在現場進行迭代
任何虛擬生產設置的關鍵組成部分都是靈活性，雖然實時引擎是這一設置的核心，但其他支持快速迭代和支持創造力的工具如Unity ArtEngine和MiddleVR，在實現靈活工作流方面也起著至關重要的作用。
例如，在片場時，劇組決定替換幾組材料，以更好的匹配現場場景和藝術視野。以前這些材料是通過公共圖書館下載下來的。現在團隊的成員僅需用他們的手機拍攝幾張地毯和工作室墻壁的照片，并導入到ArtEngine中，幾分鐘內就可以創建一個可平鋪的基于物理的渲染（PBR）材料。
“我們使用ArtEngine從照片中創建紋理的速度是驚人的，”Achermann說道：“對于這部作品，我們在拍攝前幾分鐘制作了地毯面料。只需點擊幾下，我們就可以對照片進行顏色校正，去除接縫和多余的雜質，并生成所有的PBR地圖。這樣的在場景中快速的迭代能力對我們的實時電影制作流程至關重要。”
手機拍攝的原始地毯圖片
使用ArtEngine的內容感知填充節點，藝術家們能夠快速移除不想要的噪音和灰塵
ArtEngine內部的最終節點圖
Unity中地毯材料的特寫，帶照明
Unity中制作的背景場景，投射到LED屏幕上
Unity中的虛擬場景被投射到LED墻上。“看到Unity界面被投射到如此大的屏幕上令人非常震撼，當我們看到從真實的電影相機中拍攝出此場景時，我們驚嘆道‘這簡直太酷了！’”Achermann說道。
通過相機鏡頭拍攝的最終LED屏幕顯示效果
將虛擬世界與現實世界的光線相匹配
將Unity中的燈光與現實生活中相機拍攝的燈光相匹配是確保虛擬現實制作真實感的關鍵部分。在這種情況下，照明的后處理設置會將對簡單。
在Unity中，團隊選擇了混合燈光（相對于烘焙或實時）。由于HDRP的照明是基于物理的，VRFX能夠以勒克斯、坎德拉或開爾文（現實世界中物理光的標準測量單位）來設置光照強度。
對于環境照明，該團隊使用了標準的基于圖像照明的照明工作流程，包括用真實世界的高動態范圍成像（HDRI）照片照亮場景，類似于其他的數字內容創建（DCC）工具中使用的工作流程。為了增加全局照明的感覺，VRFX還利用了一種使用GPU的光照圖烘焙技術，并將其余OptiX去噪想結合，以加快處理速度。
后期處理的流程很少，團隊應用了簡單的屏幕空間效果（反射、環境遮擋等），這足以讓環境看起來很棒。
演員在LED墻前表演火鍋晚餐的場景
最終的結果是電視臺在圣誕節期間播出了一些列簡短的、具有幽默性質的公益宣傳廣告。客戶對于結果非常滿意，并表示希望在未來與VRFX能夠進行進一步的合作。
來源：虛擬現實增強現實
