Cocos 受邀出席車(chē)載抬頭顯示 HUD 高峰論壇，助力座艙智能化升級(jí)

　　【太平洋汽車(chē)網(wǎng) 行情頻道】

隨著汽車(chē)智能化的到來(lái)，汽車(chē)座艙發(fā)展趨向以多個(gè)屏幕同時(shí)呈現(xiàn)信息，而 AR-HUD 作為 HMI 的窗口之一，以一種更加自然的圖像處理方式呈現(xiàn)在駕駛員的前方，提供更多有用的信息，成為新的趨勢(shì)。近期發(fā)布的理想 L9，通過(guò)超大尺寸的 HUD 抬頭顯示系統(tǒng)以及方向盤(pán)上方的安全駕駛交互屏來(lái)提供足夠的行車(chē)信息，被視為 AR HUD + 小型信息交互屏“代替”傳統(tǒng)液晶儀表的里程碑事件。在新的人車(chē)交互方式下，AR-HUD 的成熟以及相關(guān) HMI 設(shè)計(jì)的升級(jí)，有望重塑汽車(chē)車(chē)內(nèi)體驗(yàn)。

近日， Cocos 產(chǎn)品總監(jiān)郭萌在 2022 年第四屆車(chē)載抬頭顯示 HUD 高峰論壇上，進(jìn)行了以《實(shí)時(shí)3D渲染引擎助力座艙智能化交互升級(jí)》為主題的演講，分享了他對(duì)于 AR-HUD 的理解，以及 Cocos 引擎如何幫助主機(jī)廠(chǎng)為用戶(hù)帶來(lái)全新的座艙 HMI 交互體驗(yàn)。

Cocos 產(chǎn)品總監(jiān)郭萌

以下內(nèi)容整理自演講實(shí)錄：

Cocos 引擎：不斷拓寬應(yīng)用場(chǎng)景，提升數(shù)字內(nèi)容行業(yè)生產(chǎn)效率

大家好，我是來(lái)自 Cocos 的郭萌，很開(kāi)心有機(jī)會(huì)能和在座的從業(yè)者溝通交流。今天主要分享一下這些年 Cocos 在 3D 渲染引擎的積累，以及我們?cè)谲?chē)機(jī)行業(yè)的探索。

Cocos 成立于 2010 年，我們是一家數(shù)字內(nèi)容的生產(chǎn)平臺(tái)，旗下的核心產(chǎn)品叫 Cocos 引擎，目前服務(wù)了包括汽車(chē)、游戲、在線(xiàn)教育、XR 等行業(yè)的公司。Cocos 的注冊(cè)開(kāi)發(fā)者已經(jīng)超過(guò)了 150 萬(wàn)，分布在 203 個(gè)國(guó)家和地區(qū)。同時(shí)，Cocos 也是一家完全中國(guó)自主知識(shí)產(chǎn)權(quán)的 3D 圖形渲染引擎。

在我們接觸的主機(jī)廠(chǎng)中，很多主機(jī)廠(chǎng)都在強(qiáng)調(diào)要對(duì)座艙 HMI 進(jìn)行升級(jí)。希望座艙的視覺(jué)表現(xiàn)更加酷炫，基于 PBR 實(shí)現(xiàn)更加次時(shí)代的效果。

目前越來(lái)越多的主機(jī)廠(chǎng)也在關(guān)注一些 AR-HUD 在智能座艙的運(yùn)用，包括最近發(fā)布的理想 L9，已經(jīng)取消了儀表屏，取而代之的是用更大尺寸的 HUD 作為信息顯示。

我們認(rèn)為 AR 在座艙內(nèi)成為了繼屏幕顯示、語(yǔ)音交互和視覺(jué)交互之后的又一大交互方式。通過(guò)這種交互方式，Cocos 希望能夠幫助主機(jī)廠(chǎng)去創(chuàng)造更多的內(nèi)容生態(tài)，提升 AR-HUD 的使用范疇，將座艙的體驗(yàn)再升級(jí)。

除了車(chē)機(jī)，我們現(xiàn)在看到的 AR 產(chǎn)品幾乎都是使用很多優(yōu)秀的游戲引擎開(kāi)發(fā)的，所以我認(rèn)為后續(xù)的主機(jī)廠(chǎng)在做 AR 顯示內(nèi)容的時(shí)候，也會(huì)基于這些優(yōu)秀的游戲引擎作為工具進(jìn)行開(kāi)發(fā)。

Cocos HMI 智能座艙解決方案

Cocos HMI 智能座艙解決方案目前已經(jīng)涵蓋了車(chē)載人機(jī)交互界面，自動(dòng)輔助駕駛可視化，車(chē)載虛擬形象，車(chē)載游戲，音樂(lè)播放器等能力。已經(jīng)覆蓋到座艙內(nèi)包括 HUD、儀表、IVI、娛樂(lè)副屏在內(nèi)的多種顯示設(shè)備。

在系統(tǒng)支持上，已經(jīng)做到適配 Android，Linux，QNX，HarmonyOS 等主流車(chē)機(jī)系統(tǒng)。Metal、Vulkan、WebGl 1.0、WebGl 2.0、GLES2、GLES3 等比較常見(jiàn)的渲染后端也已完整支撐。

3ds Max、Maya、Blender 等 3D DCC Tools 導(dǎo)出的傳統(tǒng)的 3D 格式文件、傳統(tǒng)的多媒體資源，都可直接導(dǎo)入到 Cocos 的開(kāi)發(fā)工具里進(jìn)行二次開(kāi)發(fā)，再加上 Cocos Creator 自帶的 UI 編輯器、動(dòng)畫(huà)編輯器以及編碼環(huán)境，常用的 PBR 材質(zhì)系統(tǒng)、粒子系統(tǒng)、實(shí)時(shí)光影等效果，都可以直接使用，便于使用者搭建座艙內(nèi)的 3D 場(chǎng)景。

此外 Cocos 還支持 Web 系統(tǒng)，也就是說(shuō)開(kāi)發(fā)階段只需維護(hù)一套代碼，就可以支持發(fā)布到各個(gè)平臺(tái)，極大的節(jié)省了主機(jī)廠(chǎng)的維護(hù)成本。

更好玩的 VPA

越來(lái)越多的主機(jī)廠(chǎng)開(kāi)始使用 VPA 形象來(lái)替換老一代的語(yǔ)音助手形象?；趯?shí)時(shí)渲染的 3D 形象，在情感交互表現(xiàn)力上會(huì)更加的靈活，更強(qiáng)。 Cocos 目前可以提供包括形象設(shè)計(jì)、形象建模、針對(duì)語(yǔ)音場(chǎng)景的動(dòng)作制作，包括聯(lián)動(dòng)其他 App 的功能在內(nèi)的一整套框架。

主機(jī)廠(chǎng)在做新一代 VPA 的過(guò)程中，都希望引入游戲化的元素，做成一個(gè)可運(yùn)營(yíng)的功能。比如引入一些節(jié)日彩蛋，生日彩蛋。國(guó)慶中秋的時(shí)候，是不是能有一些新的東西能夠?qū)崟r(shí)地下發(fā)到用戶(hù)的車(chē)機(jī)端，讓用戶(hù)對(duì) 3D 形象時(shí)刻保持新鮮感。

Cocos 引擎作為游戲開(kāi)發(fā)引擎，本身?yè)碛袩岣驴蚣?，可以支持整個(gè) VPA 形象從模型、到代碼、到場(chǎng)景、到腳本邏輯的實(shí)時(shí)更新。

后續(xù)由 Cocos 為主機(jī)廠(chǎng)搭建后臺(tái)服務(wù)：資源管理平臺(tái)，可獨(dú)立于 OTA 提供實(shí)時(shí)熱更新能力。有了實(shí)時(shí)熱更新，可以做到每周、每天給 VPA 下發(fā)新的服裝、新的動(dòng)作，讓主機(jī)廠(chǎng)不受限于 OTA  的節(jié)奏來(lái)運(yùn)營(yíng) VPA。

比如短視頻平臺(tái)上某一個(gè)舞蹈火了，由工程師把舞蹈動(dòng)作的腳本文件打包上傳到更新后臺(tái)。第二天當(dāng)用戶(hù)打開(kāi)車(chē)機(jī)的時(shí)候，車(chē)主的虛擬個(gè)人助理形象就可以跳這段舞，這對(duì)用戶(hù)來(lái)說(shuō)是更有趣的體驗(yàn)。

讓 ADAS 不再那么“疲憊”

目前越來(lái)越多的車(chē)型都提供了自動(dòng)輔助駕駛功能。但之前看到一個(gè)調(diào)研，許多車(chē)主在使用自動(dòng)輔助駕駛的時(shí)候，反而會(huì)更累。主要原因是有時(shí)候自動(dòng)輔助駕駛的可視化做得不夠好，車(chē)主不知道自己的車(chē)下一步是要干什么，這時(shí)候他會(huì)產(chǎn)生很大的恐慌以及緊張，長(zhǎng)時(shí)間處在這樣情感下，就會(huì)感覺(jué)到疲憊。

所以自動(dòng)駕駛可視化也是自動(dòng)輔助駕駛功能的一個(gè)很重要的部分，Cocos 基于主機(jī)廠(chǎng)提供的原始地圖數(shù)據(jù)，根據(jù)相應(yīng)的 HMI 的視覺(jué)風(fēng)格進(jìn)行 3D 可視化渲染。用一個(gè)符合主機(jī)廠(chǎng)要求的視覺(jué)方案來(lái)進(jìn)行 3D 還原，從而改善車(chē)主使用 ADAS 功能的體驗(yàn)。

多模態(tài)交互車(chē)載游戲

游戲是 Cocos 重要的應(yīng)用場(chǎng)景之一。在車(chē)載游戲領(lǐng)域，Cocos 做的更多的是幫助主機(jī)廠(chǎng)去建設(shè)座艙內(nèi)的多模態(tài)交互游戲。包括基于車(chē)內(nèi)攝像頭的一些體感游戲，結(jié)合麥克風(fēng)的語(yǔ)音類(lèi)游戲，結(jié)合方向盤(pán)類(lèi)的運(yùn)動(dòng)類(lèi)的游戲。以及聯(lián)動(dòng)前后屏、主副駕屏的多屏聯(lián)動(dòng)類(lèi)游戲。

更具氛圍感的音樂(lè)播放器

音樂(lè)是座艙內(nèi)最傳統(tǒng)，也是使用率排在前三的核心功能。目前許多主機(jī)廠(chǎng)都有升級(jí)音樂(lè)播放器來(lái)打造差異化的需求，而不是千篇一律地使用某某音樂(lè)播放器車(chē)機(jī)版?；?3D 渲染引擎能力，Cocos 能夠幫助主機(jī)廠(chǎng)重新包裝音樂(lè)播放器，通過(guò)歌詞、音樂(lè)可視化的效果，來(lái)提升座艙內(nèi)音樂(lè)的氛圍感。

Cocos Runtime：低延遲、“即點(diǎn)即用”

Cocos Runtime 是 Cocos 開(kāi)發(fā)的一個(gè)支持互動(dòng)內(nèi)容免安裝即可運(yùn)行的商業(yè)化 SDK，可運(yùn)行在多種操作系統(tǒng)平臺(tái)上，可以理解為一套小程序和小游戲的底層運(yùn)行框架，支持主流 JavaScript 游戲引擎開(kāi)發(fā)的內(nèi)容，可以高效地將數(shù)字內(nèi)容的運(yùn)行效率做到最大化的提升。各種硬件設(shè)備、App 集成 Runtime 之后，用戶(hù)即可感受數(shù)字互動(dòng)內(nèi)容“點(diǎn)開(kāi)即玩”的暢爽體驗(yàn)，而不是通過(guò)傳統(tǒng)的下載的模式。

在座艙內(nèi)，目前有些 HMI 產(chǎn)品的啟動(dòng)和加載時(shí)間長(zhǎng)達(dá)數(shù)十秒，無(wú)疑這會(huì)嚴(yán)重影響駕乘人員的體驗(yàn)，再比如 AR-HUD，理想情況應(yīng)該做到毫秒級(jí)的延遲控制，才能將數(shù)字虛擬世界與真實(shí)世界精確融合，這直接決定了用戶(hù)的使用體驗(yàn)效果。通過(guò)引入 Cocos Runtime ，可以提高啟動(dòng)和加載速度，減少操作延遲。

完善 Cocos 生態(tài)鏈，探索技術(shù)的更多邊界

開(kāi)發(fā)者生態(tài)方面，Cocos 目前累計(jì)擁有 150 萬(wàn)全球注冊(cè)開(kāi)發(fā)者。除了國(guó)內(nèi)的一線(xiàn)的互聯(lián)網(wǎng)公司，海外的 Facebook、Google、育碧都在和我們進(jìn)行一些技術(shù)上的合作。

Cocos 最近還與任天堂進(jìn)行了合作共同構(gòu)建開(kāi)發(fā)者生態(tài)，Cocos Creator 即將實(shí)現(xiàn)對(duì) Nintendo Switch 的支持，屆時(shí)開(kāi)發(fā)者申請(qǐng)成為任天堂認(rèn)證開(kāi)發(fā)者后，再聯(lián)系 Cocos 獲得引擎，即可將游戲一鍵發(fā)布到 NS。

在全球最大的開(kāi)源社區(qū) Github，Cocos 在游戲引擎項(xiàng)目中的 Pull Requests 也位居前列。

Cocos 也在做一系列基于開(kāi)發(fā)者生態(tài)的沙龍巡演和線(xiàn)上直播。更多地了解開(kāi)發(fā)者的真實(shí)訴求，從而打造更好的內(nèi)容研發(fā)工具。

總的來(lái)說(shuō)，Cocos 將不斷提供更完整的工具鏈和解決方案，基于 3D 應(yīng)用場(chǎng)景，幫助車(chē)企在新一代智能座艙的競(jìng)爭(zhēng)中占得先機(jī)。