索尼前沿虛擬制作技術讓經典芭蕾舞劇《天鵝湖》再煥生機

    索尼PCL的創意設施“清澄白河BASE”，是一個充分活用索尼技術的視頻制作工作室。 近日，該工作室制作了一部基于經典芭蕾舞劇《天鵝湖》的短片 ，并將其發布在索尼官方社交平臺上。我們與負責策劃和制作這部視頻的團隊進行了對話，了解了這部作品背后的創作過程。

△菅野尚子(右)，索尼公司技術研發實驗室

    內容技術研發本部空間影像技術開發部;

    大賀英資(左)，

    索尼PCL視覺解決方案本部內容創作部

    在這部短片中，芭蕾舞者們在平靜的、霧氣彌漫的湖邊模仿天鵝的動作，優雅地同步舞動，四周環繞著茂密的森林。觀眾可能會好奇，傳統的芭蕾舞是如何在這樣自然開闊的環境中上演的。事實上，整部影片是在清澄白河BASE的虛擬制作影棚內拍攝的。

    虛擬制作（VP）是一種電影拍攝方法，它將虛擬場景投射到LED屏幕上，并同時拍攝前方的真實演員或物體，實時合成真實與虛擬的畫面。 參與該項目的工程師菅野久子解釋道：“索尼的許多最新技術都被應用于打破現實與虛擬之間的界限中，使最終的作品看起來更加真實。”

    索尼前沿技術應用于

    經典芭蕾舞劇《天鵝湖》

    導演大賀英資表示，制作基于《天鵝湖》的電影靈感來源于他在百老匯以及其他舞臺劇中看到的前沿技術應用。

    “我們將這次挑戰看作展示清澄白河BASE在視頻制作方面的技術水平的一種方式，同時也看看如何通過虛擬制作（VP）和體積捕捉等技術，將大家熟知的傳統舞臺劇轉變為一種全新的形式。 ”

△推遠的鏡頭(使用體積捕捉技術)

△拉近的鏡頭(使用虛擬制作技術)

    索尼對這場演出制作進行了特別規劃，將影像技術融入表演的每個元素。 例如，在一個奇幻鏡頭(如上所示)中，攝像機聚焦于穿越霧靄的舞者。大賀解釋道：“我們希望在攝像機穿過晨霧時，從使用體積捕捉技術拍攝的3D CG舞者切換到在LED屏幕前跳舞的真人舞者，達到一種自然的效果。”

    體積捕捉技術通過在影棚天花板和墻壁上安裝超過100個攝像機，從多個角度捕捉對象，并將圖像轉換為3D數字數據，從而實現高質量的3D CG影像重現。與傳統技術不同的是，這項技術能夠自由地呈現那些未被攝像機直接捕捉的視角。

    大賀說：“在拍攝這個場景時，我希望將攝像機的運動設計得盡可能宏大和廣闊，以展示舞臺上無法實現的縱深感。”另一方面，如果攝像機的運動幅度過大，虛擬制作需要的LED屏幕就無法覆蓋整個背景圖像。因此，需要插入使用體積捕捉技術生成的舞者的3D CG影像，以實現逼真的視覺效果。

△清澄白河BASE的VP影棚(上)

    和體積捕捉影棚(下)。

    體積捕捉影棚于2022年安裝在VP影棚旁邊，

    2023年VP影棚得到了升級，

    增加了擴展的LED屏幕等

    菅野表示：“清澄白河BASE是少數幾個VP影棚和體積捕捉影棚位于同一樓層、緊鄰而設的工作室之一。”這種優勢也在《天鵝湖》的拍攝中得到了充分利用。

    索尼中國資訊

    受藝術家反饋啟發的

    實時摳像技術開發

    除了VP和體積捕捉技術之外，這部短片還融合了索尼的新技術——實時摳像（Live Keying）。 這種技術廣泛應用于現場音樂會舞臺制作中，能夠實時隔離圖像中的物體，并將其即時顯示在背景LED屏幕上，無論是在影棚還是舞臺上。

△菅野尚子，索尼公司技術研發實驗室

    內容技術研發本部空間影像技術開發部

    傳統的視頻處理技術在背景圖像發生劇烈變化或主體大幅移動的情況下，通常難以準確提取人物輪廓。然而，索尼的實時摳像技術通過索尼的特殊傳感器，使這一目標成為可能。

    作為該技術開發者之一，菅野強調：“實時摳像技術特別適合用于背景圖像生動變化的VP制作。”

△通過使用實時摳像技術，

    舞者在LED屏幕前表演的視覺數據

    被實時捕捉并投射攝到屏幕上

    開發這一技術的動力來自菅野收到的一位藝術家的需求。她工作的一部分就是陪同藝術家前往演出現場，為演唱會提供技術支持，她經常在現場收到藝術家和工作人員的反饋和要求。“在排練期間，我聽到一位藝術家隨口提到，‘如果能做到像實時摳像技術那樣的效果就好了’，這讓我開始了這項技術的研發。”

    菅野解釋說，將這項技術融入《天鵝湖》視頻制作的決定，源于她希望“更多的現場音樂表演能使用實時摳像技術，并且希望增加更多將該技術與VP共同使用的案例”。

    技術帶來全新的

    現場溝通方式

    在視頻制作中，所有參與拍攝的工作人員需要共享導演所構想的視覺圖像。

    大賀表示，在這次制作中使用VP技術，也讓他能夠輕松地將自己的創作構想實時傳達給舞者。“在傳統情況下，當我們計劃在背景中使用CG圖像時，需要使用綠幕拍攝。然而，使用LED屏幕實時顯示背景圖像，演員更容易直觀地理解場景內容，也有助于他們更好地進入角色。”

△大賀英資，

    索尼PCL視覺解決方案本部內容創作部

    大賀表示，許多舞者都評論說，使用這種技術幫助他們更好地完成了表演。

    在CG拍攝中，最常提到的困難之一就是燈光調整。在視頻編輯過程中，必須將現實拍攝的圖像與CG圖像的光線角度和亮度進行匹配，以實現畫面的一致。然而，由于負責拍攝的工作人員不一定熟悉CG，往往需要花費大量時間調整真實圖像和CG圖像的燈光。

    大賀解釋道：“即使我們改變舞者的燈光，實時摳像技術也能讓我們將舞者的圖像實時投射到背景的LED屏幕上。這減少了CG后期處理的需求，并大大提高了效率。 ”

    在清澄白河BASE， 貼近創作者，

    實現他們的創作愿景

    雖然這些前沿技術減少了拍攝的障礙，大賀回憶道，他也感受到了因高度自由而帶來的不知所措。“我能夠在現場和技術開發人員討論拍攝中的各種困難，讓我們能夠巧妙地使用技術來實現我設想的畫面效果。”他補充道：“這是只有索尼才能承擔的項目。”

    對于菅野來說，她從工程師的角度表達了自己的熱情：“我希望繼續通過直臨現場，直接聽取創作者的聲音，提供有助于創作的技術。”

    展望未來，大賀表示：“我愿意將與公司外部創作者合作視頻制作時獲得的經驗，用來與索尼的工程師一起在清澄白河BASE開發更好的解決方案。”