今年天貓雙11晚會上，一場別開生面的“明星到你家”AR互動活動令人印象深刻。晚會現(xiàn)場，範冰冰、盧靖姍瞬間穿越到了所有觀衆(zhòng)家中。
這場活動不僅有大牌明星助陣，還有大批黑科技：真人動態(tài)三維建模與傳輸和SLAM、平面監(jiān)測等AR技術(shù)。 核心的真人動態(tài)三維重建與傳輸由創(chuàng)業(yè)團隊Owlii實現(xiàn)，雷鋒網(wǎng)特意采訪了Owlii團隊，全面解析“明星到你家”背后的技術(shù)實現(xiàn)和應用落地。
晚會現(xiàn)場的結(jié)果很魔幻。範冰冰走進一個魔術(shù)盒子，瞬間就消失在了舞臺上。在現(xiàn)場連線範冰冰時，她已經(jīng)出現(xiàn)在了觀衆(zhòng)的家裏。這不是視頻錄制的結(jié)果，因爲冰冰同時出現(xiàn)在了成千上萬人的家裏。
這是如何實現(xiàn)的呢？
舞臺上的魔術(shù)當然只是一個幌子，實際上是手機AR將範冰冰的“動態(tài)三維影像”投射到了每個人家裏的真實環(huán)境中。
觀眾參與的方法是：打開手機天貓/淘寶 App→首頁搖一搖→進入“明星到你家”界面， 點擊馬上開啟→前后水平移入手機，將光標對準地段或平面。
范冰冰和盧靖姍的3D影像就出現(xiàn)在了“千家萬戶”，更為神奇的是，觀眾可以走進 攝像機的拍 攝范圍，與范冰冰和盧靖姍一同合影。這可不是和一個平面影像拍照，你甚至可以圍著冰冰繞一圈，拍到冰冰的各個角度。
在幾分鍾的瞬間傳送結(jié)束後，盧靖姍還調(diào)皮地說，希望下次到觀衆(zhòng)家，能給做點好吃的！
據(jù)雷鋒網(wǎng)了解，“明星到你家”活動的技術(shù)要緊由兩部分構(gòu)成，真人動態(tài)三維重建和傳輸、手機AR技術(shù)。整個活動由天貓AR團隊和一家專注“動態(tài)三維重建與傳輸”技術(shù)的創(chuàng)業(yè)公司Owlii合作完成。
Owlii擔負生成范冰冰和盧靖姍的動態(tài)三維影像。Owlii告知雷鋒網(wǎng)( 公衆(zhòng)號：雷鋒網(wǎng))，他們采用了多個深度 攝像頭來拍 攝，捕捉真人的外貌、表情和動作，接著再用軟件處置深度圖，點云，網(wǎng)格，合成貼圖，形成三維動態(tài)影像。
動態(tài)三維重建技術(shù)早已不新奇，之因此說是黑科技在于壓縮和傳輸技術(shù)。動態(tài)三維影像的體積通常特別大，而要在手機上傳輸則需要壓縮在20M以下，這是非常難實現(xiàn)的。動態(tài)三維重建與壓縮正是Owlii的 核心技術(shù)。
雷鋒網(wǎng)發(fā)現(xiàn)，“明星到你家”這個活動可以被稱做是AR互動，但是卻與現(xiàn)在我們在線通常見到的AR互動有本質(zhì)的區(qū)別，從“全息傳送”來明白這個活動的意義更爲合適。
（微軟Holoportation演示)
微軟最先提出“Holoportation全息傳送”這一概念。2016年微軟在Build大會上演示了基于HoloLens的Holoportation全息傳送技術(shù)。在Holoportation的演示視頻中，我們在線看到遠距離對話的兩個人的影像都被傳送到了對方所處的環(huán)境中，全息影像還可以被膨脹、縮小。
大部分的AR應用的內(nèi)容是由計算機生成的三維虛擬物體。而“全息傳送”以及“明星到家”的關(guān)鍵在于對真人進行三維動態(tài)重建，把人的動態(tài)影像傳送到另一個環(huán)境進行交互。即使相隔萬裏，也能瞬間以全息影像的方法進行交流，可以說是人類傳播技術(shù)的終極目標！懊餍堑郊摇边@個活動的技術(shù)實現(xiàn)方法其實和微軟全息傳送是一樣的，基本上依賴動態(tài)三維影像重建與傳輸和AR技術(shù)。但是微軟的是實時的和多人的，而“明星到家”是離線的和單向的。
目前，國內(nèi)外有一些專注于動態(tài)三維建模和傳輸?shù)墓，除了微軟，還有美國公司8i。8i成立于2014年，專注VR/AR領域的3D人物成像，2017年獲得由時代華納領投的2700萬美元B輪融資。
Owlii CEO 溫子煜告知雷鋒網(wǎng)，“在實時那個上面，目前只有微軟和Owlii做到了！苯衲8月底在硅谷進行的2017SIGGRAPH計算機圖形學大會上，Owlii展示了其基于手機AR的“全息傳送——三維人物的重建與傳輸技術(shù)”。通過手機AR看到身處北京的工程師被“全息傳送”到美國洛杉磯SIGGRAPH現(xiàn)場。
要做到實時傳輸，最關(guān)鍵的是三維影像的壓縮技術(shù)！叭ツ辏④涀鰧崟r的傳輸需要1Gbps的帶寬，今年他們做到了50Mbps，而我們將實時傳送的全息媒體流壓縮到了10Mbps，離線的僅為2.5Mbps，僅用手機4G LTE的無線網(wǎng)絡就可以實時加載和交互。盡管壓縮的同時要保全圖像質(zhì)量很難，但是單說壓縮到那么小，就是很難的情況！
目前動態(tài)三維重建需要多個 攝像頭的拍 攝環(huán)境，動態(tài)影像合成的工具，壓縮的特殊算法，這些都導致技術(shù)在大規(guī)模應用上的障礙。溫子煜強調(diào)他們的技術(shù)全球領先，但是他們也一直在尋找一個合適的應用場景，使得真人三維動態(tài)重建與傳輸技術(shù)讓人眼前一亮。
天貓雙11晚會對新科技、新玩法一直很大膽。去年天貓雙11晚會上就嘗試了跨屏的AR互動，天貓請來了臺灣女神林志玲，志玲姐姐在晚會現(xiàn)場將她身上穿的風衣脫下來，對著鏡頭扔出去，風衣穿過電視屏幕進入觀衆(zhòng)的手機屏，在手機屏上開展了一場搶風衣的AR遊戲。
天貓一直在布局AR/VR技術(shù)。在2016年的雙11，天貓推出了VR Buy+平臺，支持VR購物。用戶通過HTC Vive或者手機360度全景視頻可以去到美國第五通道購物天堂，巴黎時尚商店。今年天貓推出了AR Buy+平臺，全面發(fā)力AR購物，同時發(fā)布了自己的AR技術(shù)開放平臺，支持更多開發(fā)者使用天貓的技術(shù)開發(fā)AR應用和內(nèi)容。今年的雙十一晚會上當然少不了秀一秀他們的AR技術(shù)。
Owlii完成對範冰冰和盧靖姍的動態(tài)三維重建和壓縮之後，後面的工作由天貓團隊完成。負責此次“明星到你家”活動的是天貓工程師蔡建平。蔡建平介紹到，此次活動采用了蘋果ARKit工具來實現(xiàn)AR功能，而其他無法使用ARKit的安卓機則使用天貓自身的AR平臺的SLAM、平面監(jiān)測和運動追蹤技術(shù)。結(jié)合owlii的解碼sdk，和天貓、淘寶的渲染引擎，經(jīng)過反複的適配和調(diào)適，天貓做到了適配全部高、中、低端手機，安裝了天貓/淘寶App的上億用戶都可以參與這場“明星到家”的活動。
據(jù)Owlii介紹，由于這場活動是大牌明星、晚會盛宴，天貓對他們的真人三維重建的影像結(jié)果要求非常嚴格。盡管天貓因為Owlii領先的技術(shù)質(zhì)量選擇了Owlii作為本次伙伴，但是為了讓消費者能夠體驗到更驚艷的互動結(jié)果，雙方對人像質(zhì)量設定了更高的標準，促使Owlii對軟硬件系統(tǒng)進行了全新的升級，在提升人像質(zhì)量的同時還將文件壓縮到了更小的體積。Owlii針對不同手機終端壓縮生成了多個內(nèi)容版本，這些版本中最大的碼率也不超過 5Mbps。
“明星到你家”這場大規(guī)模的互動活動正是Owlii想要尋求的令人驚豔的落地應用。同時天貓讓上億用戶直接接觸了“全息傳送”這個黑科技，也熟悉了AR應用的玩法。未來手機AR和真人動態(tài)三維重建與傳輸技術(shù)或許會擦出更多的火花。
