10月15日，火山引擎在視頻云大會(huì)上發(fā)布了基于歷史古建三維實(shí)景重建的「虛擬直播間」場(chǎng)景。采用AI生成3D內(nèi)容和大場(chǎng)景重建方案，火山引擎視頻云團(tuán)隊(duì)為山西高平金代二郎廟戲臺(tái)和北京正乙祠戲樓兩座百年建筑生成3D數(shù)字資產(chǎn)，并以「虛擬直播間」的形式應(yīng)用于抖音的戲曲直播場(chǎng)景，讓古建筑在現(xiàn)代人的生活方式中煥發(fā)新生，同時(shí)助力戲曲等非遺的傳承。

火山引擎視頻云負(fù)責(zé)人Yongyuan 介紹，「虛擬直播間」是火山引擎在公益助力文化數(shù)字化方面的一項(xiàng)重要探索。他表示：“隨著AI視頻時(shí)代的到來(lái)，用戶對(duì)沉浸式體驗(yàn)需求不斷加強(qiáng)，如何讓歷史古建的數(shù)字資產(chǎn)真正地融入現(xiàn)代人的日常‘活’起來(lái)，也對(duì)技術(shù)團(tuán)隊(duì)提出了考驗(yàn)。”

據(jù)了解，「虛擬直播間」采用了將3DGS先進(jìn)技術(shù)（一種用于三維場(chǎng)景表示和渲染的先進(jìn)技術(shù)）與自研大場(chǎng)景建模技術(shù)相結(jié)合的方式，實(shí)現(xiàn)了對(duì)真實(shí)場(chǎng)景的高質(zhì)量3D幾何構(gòu)建與外觀重建渲染。該方案不僅實(shí)現(xiàn)了優(yōu)質(zhì)的視覺(jué)效果，還可以接入美術(shù)管線進(jìn)行編輯，實(shí)現(xiàn)復(fù)雜的光效、陰影渲染，讓直播表演更具真實(shí)感，帶給觀眾更加沉浸式的體驗(yàn)。

圖說(shuō)：火山引擎視頻云負(fù)責(zé)人Yongyuan在大會(huì)發(fā)布「虛擬直播間」

現(xiàn)存最早古戲臺(tái)，在抖音直播間煥發(fā)新生

位于山西高平市寺莊鎮(zhèn)王報(bào)村二郎廟內(nèi)的二郎廟戲臺(tái)是我國(guó)現(xiàn)存時(shí)代最早、木構(gòu)特征及紀(jì)年最確切的神廟戲臺(tái)。該戲臺(tái)建于金大定二十三年（1183年），是國(guó)務(wù)院公布的全國(guó)重點(diǎn)文物保護(hù)單位。

作為「虛擬直播間」的首個(gè)場(chǎng)景，這座距今800多年的露天戲臺(tái)，刻獸紋路和力士雕像已暗淡模糊�；鹕揭�擎多媒體實(shí)驗(yàn)室團(tuán)隊(duì)采用基于視覺(jué)的方式對(duì)文物進(jìn)行三維重建，具有采集效率高、采集成本低、精度上限高等優(yōu)點(diǎn)，同時(shí)避免了高精度激光掃描設(shè)備對(duì)古跡帶來(lái)不必要的損害。

為了適配手機(jī)屏幕細(xì)節(jié)呈現(xiàn)難，技術(shù)團(tuán)隊(duì)還借助AIGC的能力，為戲臺(tái)生成了“守舊”、石獅子等裝飾元素和春、夏、秋、冬四季的不同效果，讓場(chǎng)景更加豐富。

據(jù)介紹，火山引擎多媒體實(shí)驗(yàn)室團(tuán)隊(duì)的AIG3D（AI生成3D）方案基于大模型強(qiáng)大的生成能力，采用創(chuàng)新的圖生3D模式：僅需上傳3D內(nèi)容參考圖，系統(tǒng)就會(huì)自動(dòng)生成關(guān)鍵視角和稀疏視角圖像，再將其輸入到3D重建大模型中，能夠快速精準(zhǔn)建模，建模時(shí)間縮短至以分鐘為單位。

「虛擬直播間」的另一個(gè)場(chǎng)景北京正乙祠戲樓始建于清康熙6年，是中國(guó)歷史上第一座木制結(jié)構(gòu)的室內(nèi)劇場(chǎng)，被譽(yù)為“中國(guó)戲樓活化石”。與二郎廟戲臺(tái)稍顯粗獷的風(fēng)格相比，正乙祠戲樓的構(gòu)造布局更為復(fù)雜精巧，講求光影明暗搭配等舞臺(tái)細(xì)節(jié)的美感。

在三維重建時(shí)，正乙祠戲樓負(fù)責(zé)人張鵬希望火山引擎技術(shù)團(tuán)隊(duì)能夠還原真實(shí)劇場(chǎng)演出的美感，并通過(guò)技術(shù)手段為虛擬場(chǎng)景添加一些現(xiàn)實(shí)中難以呈現(xiàn)的效果。

圖說(shuō)：還原演出光效的正乙祠「虛擬直播間」場(chǎng)景

對(duì)此，技術(shù)團(tuán)隊(duì)給正乙祠的「虛擬直播間」場(chǎng)景接入了美術(shù)管線進(jìn)行編輯，更大限度地還原了舞臺(tái)演出時(shí)復(fù)雜的光效，并對(duì)戲臺(tái)二層的銅鑼、舞臺(tái)背景的金箔添加了色彩渲染，這也呼應(yīng)了這座戲樓的歷史——曾是供奉財(cái)神趙公明的廟宇，讓這座百年戲樓在手機(jī)屏幕里呈現(xiàn)出美輪美奐的效果。

助力文化傳承，讓青年戲曲演員登上古老的“新”舞臺(tái)

從2024年5月起，「虛擬直播間」陸續(xù)邀請(qǐng)了抖音上多位京劇主播進(jìn)行體驗(yàn)測(cè)試，這其中既包括國(guó)家二級(jí)演員，也包括仍在戲曲學(xué)院讀書(shū)的00后大學(xué)生。

圖說(shuō)：抖音京劇主播使用「虛擬直播間」開(kāi)播

北京京劇院老生演員、國(guó)家二級(jí)演員王寧是「虛擬直播間」的首位使用主播，他表示，作為專(zhuān)業(yè)演員，日常只能在業(yè)余時(shí)間直播，受成本和場(chǎng)地限制，很難時(shí)常更換直播間場(chǎng)景，“虛擬直播間讓我們有了更多選擇。”他說(shuō)。

火山引擎的實(shí)時(shí)高精度摳圖技術(shù)方案，能夠讓主播無(wú)需綠幕背景、在相對(duì)日常的環(huán)境下使用虛擬直播間，技術(shù)團(tuán)隊(duì)還根據(jù)主播的反饋，自研了智能運(yùn)鏡算法。在直播中開(kāi)啟后，能夠配合主播的移動(dòng)產(chǎn)生專(zhuān)業(yè)的運(yùn)鏡效果。同時(shí)，還生成了京劇里常見(jiàn)的道具“一桌二椅”，主播只要在真實(shí)空間里坐在與屏幕中虛擬桌椅重合的位置，就能在直播中呈現(xiàn)出端坐在京劇桌椅旁（上）的效果。

在使用正乙祠場(chǎng)景的一次直播中，王寧收獲了京劇直播里比較少見(jiàn)的“嘉年華”。在他看來(lái)，正乙祠戲樓見(jiàn)證了京劇表演藝術(shù)從誕生、發(fā)展到輝煌的整個(gè)歷程，從程長(zhǎng)庚到梅蘭芳，眾多梨園界前輩都曾在此登臺(tái)獻(xiàn)藝，這次經(jīng)歷令他印象深刻。

“現(xiàn)代戲曲主播站在虛擬古戲臺(tái)上表演，觀眾既可回望古代建筑之美，又能品鑒主播們典雅的曲詞、婉轉(zhuǎn)的行腔，足不出戶穿越時(shí)空，更加生動(dòng)直觀地了解文化遺產(chǎn)的歷史和價(jià)值。”Yongyuan這樣闡釋項(xiàng)目的初衷。

“原汁原味的古戲樓場(chǎng)景，不會(huì)讓觀眾產(chǎn)生審美疲勞，還能夠‘觸摸’到歷史痕跡，是一件非常有意義事情。”王寧說(shuō)。