FX168財經報社(北美)訊 週二(10月3日),Meta首席執行官馬克·扎克伯格與麻省理工學院研究科學家Lex Fridman一起在Lex Fridman播客中談論Meta的AR和VR功能的未來。這次採訪是在元宇宙中進行的,扎克伯格和Lex Fridman都使用自己的真實化身展示了一些令人印象深刻的技術。
(來源:YouTube)
主持人Lex Fridman在VR中採訪扎克伯格時說道:「這確實是我見過的最不可思議的事情。他們在虛擬現實中採用Meta公司新開發的驚人逼真的虛擬形象,這些虛擬形象即將推出到Meta的虛擬現實頭戴設備Quest上,它們的逼真程度相當高,以至於出現了「怪異谷效應」(uncanny valley effect)。這是指在人工智能和虛擬現實領域中,當虛擬形象(比如人的虛擬形象)逼真程度達到一定程度時,人們對它們的認知會出現突然的變化,產生一種「怪異」或「不真實」的感覺。
扎克伯格在網上因Meta早期VR頭像的糟糕外觀而受到了很多批評,但這些新頭像絕對是一次巨大的飛躍。這爲人們展示了未來世界中,虛擬現實通信和會議將真正讓你感覺自己置身於與人們共處的房間中。
目前的虛擬形象(avatars)製作方式如下:這些逼真的虛擬形象目前是一個研究項目的一部分,製作這些虛擬形象需要扎克伯格和Lex Fridman在一個工作室裏坐了數小時,由多臺攝像機捕捉他們做出各種不同面部表情的過程。這些面部表情數據被用來構建可以通過動作控制的虛擬形象。
(來源:YouTube)
他們使用的虛擬現實頭戴設備是Meta Quest Pro型號,但這項技術同樣適用於價格更便宜的Meta Quest 3。這些頭戴設備內部內置了多個攝像頭,用來追蹤你的面部表情,特別關注眼睛和嘴巴的運動。
這些捕捉的運動數據加上來自耳機麥克風的音頻,構成了一個緊湊的數據流,可以以接近零延遲的方式跨國發送,而對話雙方的頭像副本則以預先下載的形式存入雙方的頭顯中。
這種效果顯然讓Lex Fridman印象深刻。 「這裏的逼真程度真是令人難以置信。我認爲這是人們在互聯網上以一種深層次、有意義的方式相互連接的未來。這真是非常有趣,居然可以遠程實現如此親密的對話。此前因爲這個原因,我從不做遠程播客,但這一切都改變了。」
(來源:YouTube)
Meta公司計劃將虛擬形象的捕捉過程變得更加簡單和快速,將在智能手機上僅需2-3分鐘的時間。扎克伯格表示:「在進行掃描時,我們可能採集了過多的表情數據,因爲我們還沒有找出能夠將這個過程大幅簡化並且從已經完成的掃描中進行推斷的方法。我們已經有一個正在進行的項目,目標就是進行一個非常快速的掃描,你只需拿起手機,在你的臉前晃動幾分鐘,說幾句話,做一些表情。」
在採訪中展示一些世界上最先進的面部表情捕捉和傳輸技術是一個有趣的選擇。Lex Fridman表示:「這裏令人驚奇的是表情和眼神的微妙之處,這些眼角的微妙運動在表達快樂、無聊或所有類似的東西方面是多麼具有表現力。」
這些逼真的化身可能非常適合某些親密的面對面交流,但就它們的構建方式而言,用戶當然可以用它們做各種各樣的事情,包括代表其他人說話,選擇誇張或減小面部表情,甚至完全擺脫逼真度,從而駕馭任何類型的虛擬形象。