一.虛擬現(xiàn)實(shí)的基石

英偉達(dá)Omniverse本質(zhì)是英偉達(dá)專為實(shí)時(shí)協(xié)作和仿真模擬打造的一站式工具集成平臺(tái)。據(jù)英偉達(dá)產(chǎn)品介紹、e-works，Omniverse的前身來源于NVIDIA Holodeck（VR協(xié)同設(shè)計(jì)平臺(tái)），后續(xù)在客戶創(chuàng)建數(shù)字孿生的過程中，越來越意識(shí)到這是一個(gè)融合多技術(shù)、多學(xué)科的復(fù)雜工程，小到一個(gè)零件，大到一座工廠、一座城市，不同物理實(shí)體的數(shù)字孿生應(yīng)用重點(diǎn)差別很大；對(duì)此，NVIDIA將自身所擅長(zhǎng)的GPU數(shù)據(jù)處理、CUDA運(yùn)算、實(shí)時(shí)光線追蹤RTX技術(shù)等軟硬件能力，以及長(zhǎng)期深耕的圖形、AI、仿真生態(tài)系統(tǒng)經(jīng)驗(yàn)進(jìn)行集中，以更高效和兼容的方式推出了Omniverse平臺(tái)，從而解決現(xiàn)實(shí)世界與數(shù)字世界映射過程中的各項(xiàng)痛點(diǎn)，如各種數(shù)字工具的協(xié)同，高效逼真的渲染仿真等。

圖：Omniverse早期發(fā)展歷程

資料來源：英偉達(dá)產(chǎn)品介紹，民生證券研究院

英偉達(dá)Omniverse發(fā)布之初便搭建了以USD通用數(shù)據(jù)格式+五大功能模塊的平臺(tái)框架。據(jù)據(jù)英偉達(dá)產(chǎn)品介紹、OpenUSD信息速遞，Omniverse 平臺(tái)最初創(chuàng)建目的是將Sketch UP、Rhino、3DS Max等各類DCC軟件打通融合（如BIM 軟件中的資產(chǎn)即使能夠轉(zhuǎn)換成 Rhino 能夠識(shí)別的三維模型，但依然會(huì)丟失建筑構(gòu)件的大量的信息），Omniverse選擇使用USD格式數(shù)字資產(chǎn)作為平臺(tái)的數(shù)據(jù)格式，搭配五大功能模塊實(shí)現(xiàn)融合：Nucleus 負(fù)責(zé)管理協(xié)作、Connect 負(fù)責(zé)聯(lián)通第三方的DCC軟件、Kit是用于構(gòu)建原生Omniverse應(yīng)用程序和微服務(wù)的工具包、Simulation負(fù)責(zé)物理仿真、RTX Renderer 負(fù)責(zé)實(shí)時(shí)渲染等。

圖：Omniverse五大功能模塊

資料來源：英偉達(dá)產(chǎn)品介紹，民生證券研究院

經(jīng)過多年發(fā)展，當(dāng)前Omniverse平臺(tái)在通用數(shù)據(jù)格式和五大功能模塊為基礎(chǔ)的系統(tǒng)生態(tài)已經(jīng)長(zhǎng)足進(jìn)步，成為虛擬現(xiàn)實(shí)的基石。

1.1 OpenUSD

英偉達(dá)與行業(yè)巨頭聯(lián)手打造OpenUSD聯(lián)盟，并將Omniverse與USD格式數(shù)據(jù)深度優(yōu)化綁定。英偉達(dá)與Pixar、Adobe、Apple、Autodesk等公司成立了非營(yíng)利組織AOUSD（OpenUSD聯(lián)盟）致力于通過 OpenUSD 促進(jìn) 3D 內(nèi)容的互操作性，當(dāng)前USD格式數(shù)據(jù)已經(jīng)可以很好描述3D世界的幾何圖形、材質(zhì)、物理特性和行為表示。Omniverse針對(duì)USD數(shù)據(jù)進(jìn)行深度開發(fā)，包括但不限于：

1）推出材質(zhì)定義語言 (MDL) 可讓開發(fā)者在支持的應(yīng)用之間輕松地共享基于物理性質(zhì)的材質(zhì)；

2）加強(qiáng)USD物理特性仿真能力；

3）使用 Python 3 異步API在Omniverse服務(wù)器和本地文件系統(tǒng)之間安全地加載和保存素材；

4）提供USDView直觀檢查USD場(chǎng)景；

5）例如地理空間坐標(biāo)、連接 glTF 文件格式、實(shí)時(shí)程序化、能夠在網(wǎng)絡(luò)瀏覽器中運(yùn)行，以及實(shí)時(shí)串流物聯(lián)網(wǎng)數(shù)據(jù)等其他功能

圖：OpenUSD體系

資料來源：英偉達(dá)官網(wǎng)，民生證券研究院

1.2 系統(tǒng)生態(tài)不斷完善

英偉達(dá)搭建了完善的Omniverse開發(fā)棧，從工作站擴(kuò)展到云，開發(fā)者能夠以更少的編碼構(gòu)建先進(jìn)可擴(kuò)展解決方案。據(jù)英偉達(dá)官網(wǎng)，無論是獨(dú)立開發(fā)者還是企業(yè)開發(fā)者，都可以輕松構(gòu)建和銷售自己的擴(kuò)展應(yīng)用，連接器，以及 Omniverse 平臺(tái)上的微服務(wù)，如：

1）使用低代碼和無代碼的 Python 或 C++ 開發(fā)語言；

2）利用 NVIDIA 在過去 20 多年中積累的 AI、渲染和模擬技術(shù)，輕松修改或整合超過 500 個(gè)預(yù)構(gòu)建的 Omniverse 擴(kuò)展，并將其添加到您的項(xiàng)目和發(fā)行版中

3）在 Omniverse 平臺(tái)上發(fā)布您的應(yīng)用和擴(kuò)展程序，并通過 Omniverse Exchange Publishing Portal 在 NVIDIA 生態(tài)系統(tǒng)中覆蓋各行各業(yè)的眾多客戶等。

圖：Omniverse完善的開發(fā)棧

資料來源：英偉達(dá)官網(wǎng)，民生證券研究院

英偉達(dá)持續(xù)推動(dòng)Omniverse平臺(tái)與其工作流的融合，為后續(xù)Omniverse企業(yè)版以及以機(jī)器人平臺(tái)Isaac Sim為代表的前沿技術(shù)平臺(tái)打下堅(jiān)實(shí)基礎(chǔ)。英偉達(dá)首先利用OpenUSD打通數(shù)據(jù)孤島，再利用RTX等技術(shù)實(shí)現(xiàn)精確的物理模擬能力，最后提供真實(shí)世界數(shù)據(jù)和合成數(shù)據(jù)相結(jié)合訓(xùn)練AI的能力，被全世界的開發(fā)者廣泛使用。憑借完善的服務(wù)流程，各行各業(yè)的客戶紛紛將該Omniverse與自身工作流相結(jié)合，包括AWS、寶馬、索尼等科技巨頭。

圖：Omniverse與其他工作流的協(xié)同

資料來源：英偉達(dá)官網(wǎng)，民生證券研究院

二.企業(yè)版解決方案

企業(yè)版Omniverse以PaaS的方式為企業(yè)提供基于 NVIDIA OVX 基礎(chǔ)設(shè)施構(gòu)建的全棧云環(huán)境，以設(shè)計(jì)、開發(fā)、部署和管理基于OpenUSD 的 3D 工業(yè)數(shù)字化應(yīng)用程序。英偉達(dá)提供完全優(yōu)化的基礎(chǔ)架構(gòu)和開發(fā)平臺(tái)，只需訂閱即開即用；還支持Omniverse Cloud API（如Avatar Cloud Engine、ChatUSD、DeepSearch、Picasso和 RunUSD）來加速高級(jí) 3D 應(yīng)用程序和開發(fā)；同時(shí)還支持使用 NVIDIA 的全球云流媒體基礎(chǔ)設(shè)施為任何 Web 設(shè)備提供高保真、交互式的 3D 體驗(yàn)。

圖：Omniverse的PaaS服務(wù)

資料來源：英偉達(dá)官網(wǎng)，民生證券研究院

2.1 AI和數(shù)據(jù)科學(xué)

在AI和數(shù)據(jù)科學(xué)領(lǐng)域，開發(fā)者甚至可以利用Omniverse模擬地球上未來會(huì)發(fā)生什么，例如如何處理全球變暖以及如何處理氣候變化。英偉達(dá)Earth-2項(xiàng)目通過結(jié)合GPU加速計(jì)算、深度學(xué)習(xí)和內(nèi)嵌物理信息的神經(jīng)網(wǎng)絡(luò)的突破以及人工智能超級(jí)計(jì)算機(jī)三大技術(shù)，再加上大量可供學(xué)習(xí)的觀測(cè)和模型數(shù)據(jù)，第一次擁有了構(gòu)建超高分辨率氣候模型的技術(shù)，能夠以光速來預(yù)測(cè)未來幾十年的區(qū)域極端天氣變化。

2.2 制造業(yè)

Omniverse共享協(xié)作環(huán)境為制造業(yè)從業(yè)者提供如Slack一樣的云端協(xié)作平臺(tái)。以寶馬項(xiàng)目為例，寶馬公司正在內(nèi)部推進(jìn)NVIDIA Omniverse平臺(tái)的使用，以協(xié)調(diào)全球31座工廠的生產(chǎn)，寶馬所需應(yīng)對(duì)的挑戰(zhàn)不只是各工廠之間的協(xié)調(diào)，還有如何共享從不同來源導(dǎo)入的數(shù)據(jù)。寶馬員工使用Autodesk Revit、Dassault Systèmes CATIA和數(shù)據(jù)點(diǎn)云等多種不同的軟件工具，通過Omniverse，他們能夠清楚訪問這些來源的數(shù)據(jù)，這與目前必須傳輸不同應(yīng)用數(shù)據(jù)的工廠規(guī)劃技術(shù)形成了鮮明的對(duì)比。此外，Omniverse平臺(tái)未來還支持用戶能夠在協(xié)作模擬中合并所有相關(guān)數(shù)據(jù)庫的實(shí)時(shí)數(shù)據(jù)，因此無需重新導(dǎo)入數(shù)據(jù)；以及一位同事可以使用動(dòng)作捕捉技術(shù)生成虛擬影像，并出現(xiàn)在任何其他工作地點(diǎn)的另一位同事身邊以一起解決問題的新時(shí)代協(xié)作模式。

2.3 創(chuàng)意行業(yè)

對(duì)于創(chuàng)意行業(yè)，Omniverse能夠提供獨(dú)特的功能來應(yīng)對(duì)加快迭代速度，并獲得準(zhǔn)確的模擬結(jié)果與逼真感等新型挑戰(zhàn)。以立方數(shù)科項(xiàng)目為例，公司在設(shè)計(jì)建筑時(shí)面臨著諸多挑戰(zhàn)，其中協(xié)作與設(shè)計(jì)思想的交流是項(xiàng)目團(tuán)隊(duì)其中較為棘手的問題，如當(dāng)團(tuán)隊(duì)成員遠(yuǎn)程工作并且分散各地時(shí)，需要轉(zhuǎn)換和合成來自不同軟件工具、數(shù)據(jù)集和其他項(xiàng)目貢獻(xiàn)者的數(shù)據(jù)，導(dǎo)致問題復(fù)雜度加劇，設(shè)計(jì)流程推進(jìn)緩慢；同時(shí)，設(shè)計(jì)團(tuán)隊(duì)持續(xù)面臨著在緊張的交付期限所帶來的壓力，因此，對(duì)高效協(xié)作、高保真渲染的迭代速度，以及準(zhǔn)確模擬和逼真度的期望日益增長(zhǎng)。從初始概念設(shè)計(jì)、全球協(xié)作，到快速設(shè)計(jì)評(píng)審、演示，Omniverse 可以改變建筑、工程和施工的每個(gè)工作階段。通過 NVIDIA Omniverse 和 Omniverse 提供的相關(guān)組件，如 Omniverse Create 和 Omniverse View，以及 NVIDIA RTX 實(shí)時(shí)光線追蹤等技術(shù)，立方數(shù)科輕松實(shí)現(xiàn)了產(chǎn)業(yè)園項(xiàng)目的建筑設(shè)計(jì)方案。

三. Isaac Sim機(jī)器人具身智能平臺(tái)

英偉達(dá)致力于將Omniverse與前沿技術(shù)結(jié)合，打造頂尖的開發(fā)平臺(tái)，Isaac Sim機(jī)器人平臺(tái)便是其中代表者。Isaac Sim機(jī)器人平臺(tái)充分利用了 Omniverse 平臺(tái)強(qiáng)大的仿真技術(shù)，其中包括使用 NVIDIA? PhysX? 5 實(shí)現(xiàn)的高級(jí) GPU 物理模擬、具有實(shí)時(shí)光線和路徑追蹤的照片級(jí)真實(shí)感，以及對(duì)基于物理的渲染的 MDL 材質(zhì)定義支持；提供適用于各種應(yīng)用的模塊化架構(gòu)，包括操作、導(dǎo)航和用于訓(xùn)練數(shù)據(jù)的合成數(shù)據(jù)生成；開發(fā)者可以通過 Isaac ROS/ROS 2 界面、功能齊全的 Python 腳本以及用于導(dǎo)入機(jī)器人和環(huán)境模型的插件輕松地將機(jī)器人連接到虛擬世界。

圖：英偉達(dá)Isaac Sim機(jī)器人平臺(tái)技術(shù)框架

資料來源：英偉達(dá)官網(wǎng)，民生證券研究院

Isaac Sim平臺(tái)為開發(fā)者提供了從機(jī)器人仿真開發(fā)、訓(xùn)練、部署、維護(hù)等全流程的數(shù)字孿生平臺(tái)。

3.1 機(jī)器人仿真開發(fā)

NVIDIA Isaac 平臺(tái)由 NVIDIA Isaac Sim 和 NVIDIA Isaac ROS 組成。前者是一個(gè)仿真器，為測(cè)試機(jī)器人算法提供仿真環(huán)境，后者是針對(duì) NVIDIA Jetson 優(yōu)化的硬件加速軟件，其中包含機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺和定位算法。基于 NVIDIA Isaac 平臺(tái)進(jìn)行 HIL 測(cè)試，您可以驗(yàn)證和優(yōu)化機(jī)器人軟件棧的性能，從而獲得更安全、更可靠、更高效的產(chǎn)品。通過使用 Isaac ROS，開發(fā)者可以創(chuàng)建復(fù)雜的機(jī)器人應(yīng)用程序，精確地執(zhí)行復(fù)雜的任務(wù)。

圖：英偉達(dá)Isaac ROS架構(gòu)

資料來源：英偉達(dá)企業(yè)解決方案微信公眾號(hào)，民生證券研究院

3.2 機(jī)器人訓(xùn)練環(huán)境搭建

Isaac Sim 利用 Omniverse 內(nèi)置的強(qiáng)大連接器功能，內(nèi)置了對(duì)流行產(chǎn)品設(shè)計(jì)格式的支持：先進(jìn)的URDF導(dǎo)入器已在多種機(jī)器人型號(hào)上進(jìn)行了測(cè)試；CAD 文件可以直接從 Onshape 和 STEP 文件導(dǎo)入，只需最少的后期處理；為了更輕松地將資源添加到不同的環(huán)境，Isaac Sim 支持 Shapenet 導(dǎo)入器，該導(dǎo)入器提供對(duì)大量 3D 資源的訪問。

3.3 機(jī)器人訓(xùn)練

訓(xùn)練機(jī)器人需要大量多樣的數(shù)據(jù)集，準(zhǔn)備這些數(shù)據(jù)集可能耗時(shí)耗錢又危險(xiǎn)，甚至在某些極端情況下無法進(jìn)行。利用 Isaac Sim 的 Omniverse Replicator，開發(fā)者在開發(fā)周期早期階段可以使用合成數(shù)據(jù)可以加速概念驗(yàn)證或驗(yàn)證 ML 工作流；在開發(fā)周期的后期階段以使用合成數(shù)據(jù)來增強(qiáng)真實(shí)數(shù)據(jù)，從而縮短訓(xùn)練產(chǎn)品模型的時(shí)間。

英偉達(dá)發(fā)布Eureka機(jī)器人訓(xùn)練助理，通過生成的獎(jiǎng)勵(lì)程序（可讓機(jī)器人進(jìn)行試錯(cuò)學(xué)習(xí)）在超過 80% 的任務(wù)上優(yōu)于人類專家編寫的程序，這使得機(jī)器人的平均性能提高了 50% 以上。Eureka還會(huì)利用 Isaac Gym 中的 GPU 加速模擬，Eureka 能夠快速評(píng)估大批獎(jiǎng)勵(lì)候選者的質(zhì)量，從而提高訓(xùn)練效率；Eureka 隨后會(huì)基于訓(xùn)練結(jié)果匯總關(guān)鍵統(tǒng)計(jì)數(shù)據(jù)，并指導(dǎo) LLM 改進(jìn)其獎(jiǎng)勵(lì)函數(shù)的生成。通過這種方式，AI 可以自我完善。Eureka 教會(huì)了各類機(jī)器人，包括四足機(jī)器人、雙足機(jī)器人、四旋翼機(jī)器人、靈巧手、協(xié)作機(jī)器人臂等，來完成不同類型的任務(wù)。

3.4 機(jī)器人部署

Isaac AMR 是一個(gè)可用于打造新一代 AMR 車隊(duì)的平臺(tái)，包含了從邊緣到云的軟件服務(wù)、計(jì)算以及一套參考傳感器和機(jī)器人硬件，用于仿真、驗(yàn)證、部署、優(yōu)化和管理 AMR 車隊(duì)，在大型、高動(dòng)態(tài)、非結(jié)構(gòu)化的環(huán)境中確保先進(jìn)的測(cè)繪、自主和仿真能力。按照 Isaac AMR 所提供的藍(lán)圖，就能夠輕松地以更低的成本、更快的速度部署最先進(jìn)的 AMR。Isaac AMR 建立在 NVIDIA Nova Orin 參考架構(gòu)的基礎(chǔ)上，該套件集成了包括立體攝影機(jī)、魚眼攝影機(jī)、2D 及 3D 激光雷達(dá)等多個(gè)傳感器，以及強(qiáng)大的 NVIDIA Jetson AGX Orin 系統(tǒng)模塊，并取得部分最先進(jìn)的人工智能和硬件加速算法，實(shí)時(shí)在邊緣以 275TOPS 的算力執(zhí)行這些算法，藉此成為 Isaac AMR “學(xué)霸朋友般”的大腦與 “時(shí)刻觀察路況”的眼睛。第三方企業(yè)等開發(fā)者還可以基于 Isaac AMR，結(jié)合自身需求進(jìn)行二次開發(fā)。

圖：英偉達(dá)Isaac AMR部署示意圖

資料來源：英偉達(dá)企業(yè)解決方案微信公眾號(hào)，民生證券研究院

免責(zé)聲明：本文檔所有信息來源于英偉達(dá)官網(wǎng)、英偉達(dá)官方系列微信公眾號(hào)，任何情況下不構(gòu)成投資建議。