在传统互联网的基础上,“元宇宙”在沉浸感、参与度、真实性等多方面提出了更高的要求,而nvidia过去20多年技术的集大成平台包括:ai、hpc计算、图像处理三大领域,这也是够成了“元宇宙”的基础技术。
在数字时代,创新正在变成企业的核心竞争力。在今年的《政府工作报告》中,43次提到了“创新”,例如将制造业企业研发费用加计扣除比例从75%提高到100%,进一步刺激企业创新能力。
伴随着用户需求自由化、个性化和多样化特征的转变,企业产品开始朝着智能化、互联化和个性化方向转变,对产品的创新过程自然也产生了深远的影响。为了加速创新,企业需要更加敏捷、智能的研发协作平台,以沉浸式的设计方式随时随地化灵感为现实。
这也是为什么nvidia在2年前宣布推出omniverse多gpu实时模拟和协作平台,并且牢牢占据近年来nvidia gtc大会核心内容的原因。在日前举办的gtc大会上,nvidia创始人兼首席执行官黄仁勋带来了针对omniverse的一系列功能更新和生态拓展,包括令人眼前一亮的互动式 ai 虚拟平台omniverse avatar,以及合成数据生成工具omniverse replicator。
图 互动式 ai 虚拟平台omniverse avatar
omniverse如何释放创新活力
对于企业而已,构建高效的数字化协同创新平台至关重要。如今的产品开发一般都是跨越多个专业技术领域和具有多种关键技术特征的,涉及多学科跨专业技术领域高度交叉与融合。随着新品上市速度加快,产品设计周期不断缩,要求企业必须具备灵活多变的产品变型设计能力。
omniverse基于pixar的通用场景描述和nvidia rtx的基础上构建而成,最大的特点是实现了各种应用间的通用实时互操作性,充当了互联客户机和应用的中心枢纽,为创意工作者带来应用体验飞跃和工作效率提升。
例如omniverse可以与autodesk maya、autodesk revit、trimble sketchup、包含grasshopper的mcneel rhino、autodesk 3ds max连接,并且还将连接流程内的更多软件。通过多工具流的“一站式”解决,用户无需进行数据准备或抽样,就能使用兼容的照片级逼真的渲染软件浏览大型模型,把数字资产解析成在不同软件平台、不同isv应用程序下都可以进行合并使用。此外,omniverse采用分层式管理数据资产,让大型团队的不同部门在同一个场景工作并共享数据,进行协同和发布,不必担心因为疫情带来的地理隔绝风险,让整个协作就像是在线上共同编辑文档一样简单。
在公测版发布至今,已有超过7万个人创作者下载并使用omniverse。此外,诸如宝马集团、cannondesign、epigraph、ericsson、建筑公司 hks 和 kpf、lockheed martin 以及 sony pictures animation等全球知名公司也进行了前期应用,对自身研发创新带来了极大帮助。
图 omniverse正在被各个领域所使用
打造虚拟沉浸式创新引擎
在使用过程中,omniverse并非单个实体,其丰富组件能够赋予平台极高的灵活性与协作性,多种功能结构将omniverse打造成应用、连接器、服务、扩展程序和渲染器的结合体。
在早期的版本中,omniverse enterprise包含nucleus 服务器(管理客户端之间的共享数据库)和connectors(业内领先的设计应用程序插件)两部分。它还包含两个终端用户应用:nvidia omniverse create,可加速场景构成,用户可通过实时互动来装配、点亮、模拟和渲染场景;nvidia omniverse view,支持无缝设计协作,并能通过逼真的渲染技术实现建筑和工程项目的可视化。该平台还包含 nvidia rtx virtual workstation(vws)软件,它能让协作者在任何地方自由地运行各类图形密集型 3d 应用。
在本次gtc大会上,nvidia针对omniverse enterprise进行了一系列功能更新。其中包括用于生成交互式ai虚拟形象的技术平台omniverse avatar。在展示中,黄仁勋化身的虚拟形象toy-jensen可以根据实时环境和问题进行交流,例如有两名顾客正在订购素食汉堡、薯条和饮料,该虚拟形象看到了他们、与他们交谈并理解了他们。这些演示由nvidia ai软件和目前全球最大的可定制语言模型——megatron 530b驱动。
由此可见,omniverse avatar可以将nvidia现有的图像技术、模拟技术和ai技术整合,进而满足一些复杂的实时应用需求。在该平台上创建的虚拟形象是具有光线追踪3d图像效果的交互式角色,可以“看到、说话、谈论”各种主题,以及合理地理解表达意图。
会上,nvidia还发布了合成数据生成器omniverse replicator,能够生成用于训练深度神经网络的物理模拟合成数据。基于replicator nvidia推出了应用在汽车自动驾驶虚拟世界领域的drive slim和应用于操纵机器人虚拟世界的isaac slim。
这两个基于replicator的应用,能够使开发者能够以人类无法做到的方式引导ai模型、填补现实世界的数据空白,并标记真值数据。在这些虚拟世界中产生的数据可以涵盖各类不同场景,包括在现实世界中无法经常经历或安全体验的罕见和危险情况。
突破想象,让元宇宙离我们更近一步
近年来,随着云计算、人工智能、5g等新兴技术的快速发展,以“元宇宙”为代表的数字世界成为了一个令人心驰神往的地方,人们可以尽情的释放自己的创造力,以虚拟现实技术打造无限可能。
在传统互联网的基础上,“元宇宙”在沉浸感、参与度、真实性等多方面提出了更高的要求,而nvidia过去20多年技术的集大成平台包括:ai、hpc计算、图像处理三大领域,这也是够成了“元宇宙”的基础技术。
相较于facebook偏向个人娱乐和企业办公,nvidia更希望通过“元宇宙”创造一种多元化的经济功能,最终得到一个虚拟和现实连接的可创造性环境。通过打造真实世界和虚拟世界的闭环,让两者如dna般螺旋上升,开创一个更加美好的明天。举例来说,当我们进行产品设计时,西门子、ptc等设计软件isv提出用数字映射的方式,在产品开发过程得到实物的“数字孪生”,指导并加快研发设计过程。当nvidia将这一理念拓展至宇宙级,可以基于omniverse构建一个全新“数字世界”,每个人都可以释放想象空间,在自身领域进行创造发挥。反过来,“数字世界”的创新可以指导真实世界的实际改善和运行。这也是为什么nvidia除了将元宇宙应用于游戏和娱乐外,正在加速制造业、工程与施工以及bim、hpc等多行业、多领域的拓展。
实际上,作为第一个吃螃蟹的,宝马集团已经采用nvidia omniverse 来设计整个工厂,实现端到端的数字孪生。其全球生产网络中的数千名规划师、产品工程师、设备经理和精益专家能够在同一个虚拟环境中进行协作,可在工厂实际建成或集成新产品之前,对极其复杂的制造系统进行设计、规划、工程、模拟和优化。其它诸如cannondesign、epigraph、ericsson、建筑公司 hks 和 kpf等也都有各自领域的典型实践。
在本次gtc大会期间,nvidia又带来了两个生动的案例。
其一是爱立信(ericsson)基于omniverse打造的数字城市。这家总部位于斯德哥尔摩的电信设备制造商拥有数十年的无线电网络仿真专业知识,通过整合nvidia omniverse enterprise——适用于 3d 工作流程的实时数字孪生仿真和协作平台。在nvidia omniverse 中,爱立信正在构建城市规模的数字孪生,帮助准确模拟 5g 基站与环境之间的交互作用,从而更大程度地提高性能和覆盖率。
图 ericsson 在 nvidia omniverse 中为 5g 网络构建数字孪生
另一个案例是洛克希德马丁公司通过omniverse对抗森林大火。众所周知,由于气候变暖和空气干燥,大规模森林火灾正在困扰美国西部,去年一年就造成近200亿美元的损失。为处理数据并训练人工智能模型,洛克希德·马丁公司在使用nvidia dgx系统基础上,进一步宣布携手nvidia与美国农业部林务局和科罗拉多州火灾预防与控制部门(dfpc)达成合作,共同创建全球首个专门预测和应对森林火灾的人工智能实验室。该实验室将使用nvidia人工智能基础设施以及nvidia omniverse高级可视化和虚拟世界仿真平台来确定火灾等级,并对其发展态势做出预测。该系统将在一个高度仿真的数字孪生体中再现火灾,从而为灭火提供最佳的行动建议。
图 nvidia、洛克希德·马丁公司与美国州立及联邦林务局携手借助ai抗击森林大火
实际上,如同当初gpu的出现是为了加速图形计算一样,omniverse本身就是一个新的创新加速引擎。包括nvidia studio的各项创新应用,最终也都会落在omniverse平台上。从
studio到omniverse,nvidia一直致力于加速创新,使未来拥有更多可能。