以 AMD 自適應計算技術進行虛擬製作



本文由 DELTACAST 產品經理 Olivier Antoine 共同撰寫

虛擬製作改變了電影製作人、遊戲開發者和視覺效果藝術家創作沉浸式內容的方式。它能夠即時整合實體與數位環境，帶來顯著的優勢，如節省成本、增強創意控制以及簡化工作流程。近來的電影及工作室製作已經展示了其潛力，透過無縫整合實景與 CGI 樹立了新的行業標準，開啟了獨特的創意可能性。現在，小型工作室和新聞媒體也正採用這項技術，以營造身臨其境的感覺。


推動虛擬影視製作轉型的一項重要技術進步是採用現場可編程閘陣列（ FPGA ）與自適應系統單晶片（ SoC ）裝置。 AMD Kintex UltraScale+ 與 Virtex UltraScale+ FPGA 屬於可在製造後編程的積體電路，能夠執行廣泛的功能，並利用可程式邏輯提供可自訂的硬體框架。 這種適應性使開發人員可以針對特定任務自訂 FPGA 配置，從而優化效能與效率。



AMD Zynq UltraScale+ 自適應 SoC 與 Versal 自適應 SoC 將多處理器與 FPGA 可程式邏輯和其他功能相結合，提供了硬體和軟體可重新配置的組合。AMD FPGA 和自適應 SoC 的可編程特性使其非常適合需要即時視訊處理和低時延性能的應用與系統。這些多功能且強大的裝置能夠提升虛擬製作流程，將複雜的視覺效果無縫整合到各種裝置中，包括電影攝影機、攝影機追蹤器、LED 牆、內容生成系統以及監控解決方案。


FPGA 與自適應 SoC 在虛擬製作設備中的優勢

在虛擬製作設備中採用自適應運算技術能夠克服多重挑戰，使系統正常運作：

• 提升效能與效率：
FPGA 與自適應 SoC 擅長管理高清、4K、8K 乃至更高解析度的即時視訊處理和傳輸所需的高資料吞吐量。

•低時延：
時延是虛擬製作中的關鍵因素，尤其是在整合實景鏡頭與數位元素時。任何延遲都可能破壞這些組成部分的無縫融合，導致視覺體驗不連貫。自適應運算技術能以最低時延處理數據，確保虛擬製作系統即時運行，同時保持不同元素之間的同步。這種低時延性能對於虛擬電影攝影等應用至關重要，因為導演需要立即看到效果，以便即時做出創意決策。

•可擴展性與適應性：
自適應運算技術可輕鬆更新和調整，確保設備在研發過程中甚至在拍攝現場都能隨著技術的進步而演進，同時也能擴展，以支援更大的系統和像素畫布尺寸。


提升電影攝影機與攝影機追蹤器性能

在電影攝影機中，FPGA 與自適應 SoC 可實現先進的影像處理功能。它們能以最低時延應對高解析度影像和感測器資料管理，同時支援 HDR 處理，確保所捕捉的素材在不同光照條件下都能保持高品質。它們還能提供即時視訊編碼與解碼，使電影製作人能夠透過遠端監控以出色的清晰度和速度捕捉和處理影像。

自適應運算也在攝影機追蹤器中發揮重要作用，實現精準且快速的資料處理，這對於無縫整合實景鏡頭與虛擬元素至關重要。這些裝置可提供即時追蹤與穩定所需的運算能力，確保流暢且準確的動作捕捉。當與AI結合時，FPGA 與自適應 SoC 還能提升目標辨識與場景分析能力，從而在拍攝過程中實現更精準的追蹤與自動調整。


為 LED 牆提供支援

LED 牆已成為虛擬製作中不可或缺的部分，為實景拍攝提供了動態和互動背景，對於營造沉浸式虛擬環境至關重要。從 LED 牆控制器和像素處理器到 LED 區塊的像素控制，FPGA 在驅動這些高解析度顯示器方面表現出色，可提供即時視訊處理與同步。其並行處理能力確保了流暢的效能，即使在應對沉浸式環境所需的複雜圖形內容時也是如此。自適應運算技術能夠動態調整顯示效果，以配合虛擬場景的照明與視角，確保實體與數位元素的無縫融合。這項功能對於保持虛擬場景的深度和真實感至關重要。此外，LED 牆還能利用 FPGA 與自適應 SoC 進行即時像素處理與色彩校正。


低時延監控解決方案

在監控解決方案中，FPGA 提供了處理多個視訊串流所需的高速資料處理能力，並實現最低延遲。這種低時延效能對於維持虛擬製作系統中不同元素之間的同步至關重要。設備製造商可以利用 FPGA 開發提供即時回饋的監控系統，使導演、製作團隊和技術人員能夠立即做出調整，確保製作品質。


音視頻介面卡在虛擬製作中的重要性

音視訊介面卡是虛擬製作處理系統中不可或缺的一部分。要用內容創造奇蹟，您首先需要能夠將其輸入和移出您的系統！這些介面卡基於 ST 2110 和 IPMX 等 AV-over-IP 標準以及 SDI 和 HDMI 標準，因此需要具備高速資料處理和低時延處理能力。 FPGA 提供了必要的效能來有效處理這些任務，確保媒體串流流暢可靠。這種能力對於維持製作內容的完整性和品質至關重要。FPGA 可處理即時資料傳輸與同步的複雜任務，確保將高品質音訊視訊訊號無縫整合到虛擬製作工作流程中。這確保了跨各種設備和格式的兼容性與互通性，促進了製作流程的順暢與高效。




DELTACAST 是為 OEM 廠商和開發商設計、開發和製造即時視訊傳輸和處理解決方案的領導者。其解決方案可提供高品質和低時延，以滿足電視廣播、專業音訊視訊、醫療和眾多其他市場中要求嚴苛的應用。



針對直播視訊應用，該公司提供了一系列 SDI、HDMI、DisplayPort 和 IP ST 2110 視訊卡。現在，這些視訊卡已完全相容於虛幻引擎 5（ Unreal Engine 5 ），使得媒體伺服器使用者能夠將虛幻引擎的即時渲染能力與 DELTACAST 視訊卡捕捉的即時視訊輸入無縫融合，並將即時 3D 渲染作為 SDI、HDMI、DP 或 IP 視訊訊號發送出去。這項功能在基於 LED 牆的虛擬製作工作室中尤其實用。

為了設計虛擬場景，業界明智地採用遊戲引擎來即時渲染令人驚嘆的逼真內容，並將其投影到 LED 牆上。 3D 環境必須根據拍攝現場攝影機的追蹤資訊進行即時計算，並以盡可能低的延遲投影到 LED 顯示器上，從而確保背景與攝影機移動保持一致。

DELTACAST I/O 卡和 FLEX 解決方案的特色是將影片以最低延遲輸入和移出虛幻引擎等遊戲引擎。透過免費的 DELTACAST Media Plugin，所有 SDI、HDMI 和 DisplayPort 卡機種均可在虛幻引擎中使用。





ST 2110（以及基於相同協定的 IPMX ）在虛擬製作中越來越受歡迎，特別是在 LED 牆控制器領域，因為它具備支援大尺寸像素畫布作為背景的可擴展性，也實現了不同音訊視訊和廣播技術之間的互通性。 ST 2110 是由 SMPTE 聯盟定義的開放標準系列，旨在為廣播基礎設施中使用的傳統 SDI（串行數位介面）連接提供 IP 串流替代方案。由於網路頻寬和電腦處理能力的不斷提升，利用 IP 基礎設施進行內容製作（其中最佳影像品質至關重要）現已成為技術現實。如今，10、25、100 和 400Gb/s 乙太網路連接可輕鬆傳輸多個 1080p、4K 甚至 8K 的未壓縮饋送。透過採用 JPEG XS 和高吞吐量 JPEG 2000 等無損影像編解碼器，甚至可以進一步優化網路鏈路的使用。

DELTACAST 已推出專門用於 IP 視訊串流的型號。其中，DELTA-ip-ST2110 10 和 DELTA-ip-ST2110 01 是雙 10GbE 介面卡，支援 SMPTE ST 2110 視訊、音訊及輔助資料流的接收和傳輸。 DELTACAST ST2110 卡因其互通性而成功贏得了「根據 JT-NM 測試計劃對 SMPTE ST 2110進行自我測試」徽章。 DELTACAST 產品組合提供了多種 I/O 卡，具備多種輸入和輸出組合，因此您可以根據特定的設定選擇合適的型號。



自 1986 年成立以來，DELTACAST 一直採用 AMD FPGA。如今，該公司在其視訊 I/O PCIe 板和攝影機控制板中使用了各種 AMD FPGA 與自適應 SoC。AMD 技術使 DELTACAST 視訊卡能夠為要求嚴苛的工作負載提供快速視訊傳輸和處理。這包括將虛幻引擎的即時渲染功能與 DELTACAST 卡捕捉的即時視訊輸入相融合的媒體伺服器。