近年来,随着云计算、人工智能、5g等新兴技术的快速发展,以“元宇宙”为代表的数字世界成为了一个令人心驰神往的地方,人们可以尽情的释放自己的创造力,以虚拟现实技术打造无限可能。
看过《头号玩家》的都知道,影片中提供了一种前所未有的游戏方式,游戏者可以根据自己喜好的外观和性别制定一个虚拟形象,自主进行各种行为和创造的世界。近年来,随着云计算、人工智能、5g等新兴技术的快速发展,以“元宇宙”为代表的数字世界成为了一个令人心驰神往的地方,人们可以尽情的释放自己的创造力,以虚拟现实技术打造无限可能。
实际上,从1992年科幻作家neal stephenson首次提出“元宇宙”概念后,人们就开始不断的探索数字世界和现实世界的映射关系,在工业领域,人们凭借“数字孪生”更好的进行产品设计与仿真;在游戏领域,人们通过ar/vr获得沉浸式体验……以虚拟现实为基础的“元宇宙”,正在为数字化娱乐、社交联系和企业发展业务提供广阔的前景。
但不可否认的是,受限于各种技术,通往“元宇宙”的道路还很漫长,第一道门槛就是如何将全世界的用户都聚集在一起,让世界各地的创作者和开发者跨应用、跨数据的协同工作,这同样也是cg影视特效制作中的一大挑战。
日前,nvidia组织了“对话omniverse先锋人物”直播活动,由nvidia中国区传媒娱乐行业经理何展作为主持人,邀请了中央广播电视总台imr系统技术负责人王子建、3d艺术家光叔、资深视效总监/视效制片人高枫、autodesk技术销售专家/前中央电视台三维特效制作部门负责人沈映、xgrids总经理/cloudminds首席架构师赵开勇以及nvidia高级凯发k8官网下载的解决方案架构师宋毅明共同探讨了影视特效工作流程中的特点与挑战、如何应用omniverse实现远程协作,并对“元宇宙”内涵进行了解读。
图 “对话omniverse先锋人物”直播现场
图 “对话omniverse先锋人物”嘉宾名单
痛点解读,cg行业面临的核心挑战
在全民审美水平和视觉要求提高的大环境下,影视图像处理和视觉特效处理上的复杂度也不断提升,这也为cg制作带来了新的挑战。在沈映看来,主要包括以下两点:
一方面是算力,如何拥有大量数据的处理能力。由于cg创作过程中建模、渲染、迭代等产生巨大数据吞吐量,特别是在影视动画、特效制作等行业渲染需求量增多,4k/8k以及各高分辨率会陆续成为主流,算力与资源存储将会成为一大挑战。
另一方面是协同,如何应对大规模生产的团队协作。身处数字化、全球化的发展趋势当中,尤其是随着疫情的客观推动,使得企业对于数字化办公手段的应用需求变得越来越旺盛。以影视特效制作而言,从开发、设计到渲染、合成需要经历跨部门、跨团队的合作,但现实情况是制作部门通常规模庞大、应用技术繁多且所在地点分散。随着实现工作流程所需的软件数量不断增加,以及这些软件通常互不兼容,协同研发难度也因此进一步提升。
此外,高枫指出影视特效制作具有典型的单向线性流程特点,业内称之为“瀑布流”的制作方式。所以在定期的视效流程如何做到实时、交互、协同非常重要,这样可以使线性制作产生的错误在前端感知,避免带来的连锁反应。
王子建则以《飞向月球》纪录片为例,介绍了cg制作中的另一大挑战 “高还原度”。王子建表示不同于科幻片,纪录片必须以科学为依据,例如月球表面制作过程,必须依靠实际数据为蓝本,而实际上在制作《飞向月球》第二季的过程中,需要将“嫦娥二号”探月数据结合“嫦娥五号”的实际轨迹进行仿真,还需要将dem(digital elevation model, 数字高程模型)数据导入到maya、dcc(digital content creation)等软件,他认为cg制作过程中一个很重要工作就是数据资产的转化和工具的协同。
实战分享,omniverse带来远程协作新体验
其实早在2019年,nvidia在gtc大会上就宣布推出omniverse这款功能强大的多gpu实时模拟和协作平台。作为最早一批omniverse的用户,沈映表示当时最惊喜的莫过于usd(universal scene description)技术,omniverse可以实现在不同软件平台、不同isv应用程序下都可以进行合作使用并统一存取的格式。此外,它还能够分层式管理数据资产,让大型团队的不同部门在同一个场景工作并共享数据,进行协同和发布。沈映介绍当时在打开了两个maya和一个max界面,轻松的实现了数据交互协作,并且材质和视觉的实时折射和反射效果非常好。
对于高枫而言,2019年开始关注omniverse的首要原因,是其协同能力。高枫介绍在视效管理的时候,会有专业的制片、总监在中间翻译导演的语言,或者是传递大家的诉求,其实就是表达艺术诉求。一方面,omniverse可以让设计师、艺术家和审核人员在任何地点、任何设备上进行线上实时协作,而不需要召开面对面会议或就大量文件进行交流和迭代。另一方面,借助实时引擎展现等手段,制片初期即可生成高质量图像,不同团队创建的资源会彼此兼容,使制作人(包括部门主管)以协作方式快速对视觉细节进行实时迭代,而不是将所有决定推迟到最后阶段。
在光叔看来,omniverse平台这种协同特性,甚至可以成为一个项目管理“工具”。此外,经过导入模型测试,光叔表示omniverse的模型效果展示让人眼前一亮,在通用格式下具有较高的计算能力,nvidia omniverse create可加速场景构成,用户可通过实时互动来装配、点亮、模拟和渲染场景。
王子建介绍omniverse平台除了usd带来的设计协作体验外,还拥有新一代nvidia rtx技术,可加速图形、光线追踪、ai和计算性能。无论是流式多处理器(sm)架构、rt(实时光线追踪)core、tensor core(张量计算核心)方面都有大幅度的能力提升,为omniverse平台性能提供了强大的性能基础。通过将usd和rtx相结合,让其整个团队开启了数据元素到数据资产的拓疆之旅。
赵开勇则以机器人仿真为例,介绍omniverse如何重塑模型的材质,并配以对应的特性,可以为创新带来更多可能。此外,赵开勇介绍在大型模型如飞机的设计过程中,可能有结构设计,也可能有流体动力学设计等,omniverse平台让各个设计者专注于自身优势的同时,又可以实现整合叠加。
最后,宋毅明从omniverse的设计特点出发,强调了omniverse的平台化理念。宋毅明表示在使用过程中,omniverse并非单个实体,其丰富组件能够赋予平台极高的灵活性与协作性,多种功能结构将omniverse打造成应用、连接器、服务、扩展程序和渲染器的结合体。值得一提的是,宋毅明强调omniverse支持path trace以及多卡gpu,结合rtx平台可以快速渲染出图,进一步为创意工作者释放算力,提升效率。
探索未知,共话“元宇宙”无限可能
在传统互联网的基础上,“元宇宙”在沉浸感、参与度、真实性等多方面提出了更高的要求,何展表示nvidia过去20多年技术的集大成平台包括:ai、hpc计算、图像处理三大领域,这也是够成了“元宇宙”的基础技术。
在高枫看来,“元宇宙”类似一个“库”的概念。所有影视特效行业的人都希望存在这么一个“数字孪生”的媒体库,去实现数据共享资源共用。例如某部电影中可能需要以长城为故事场景,现实通常采用“搭景 扫描”的方式,如果存在一个虚拟数字世界有长城的数据信息,那么在棚里拍摄的环境光源以及精度甚至能达到高真实度,实现99%以上的真实感官,这对于视觉效果制作和提升创作效率,都有极大的帮助。
光叔认为“元宇宙”就类似一个“数字工地”,每个创作者都可以凭借自身优势,在自身领域进行创造发挥,并且能很好的协作,大家各施其职,犹如一个航母战斗群,利用强大的算力和usd格式的便利性,完成一个复杂的系统工程。
赵开勇表示从产品形态上看,游戏是“元宇宙”的雏形。但未来“元宇宙”有着更广阔的前景,通过真实世界和数字世界的闭环,在“元宇宙”这个数字世界的数据可以反向指导真实世界的研发设计和实际运行,两者螺旋式上升,共同推动社会的进步。
王子建介绍2021年作为“元宇宙”的元年,实际上创造一个现实空间的虚拟世界第二世界,用户能够以数字身份进行验证。其核心在于有序性、实时性的无准入限制,创造一种多元化的经济功能,最终得到一个虚拟和现实连接的可创造性环境。这里,他认为omniverse是现阶段搭建“元宇宙”一个很好的协作平台,并将其特点总结为“尊重思想、保护原创、高度协同”。
沈映介绍数字世界由来已久,从gis、dem到bim,人们一直强调基于数据搭建数字模型和数字样机去更好的指导设计生产。沈映认为以“元宇宙”为代表的数字世界将越来越真实,例如未来真如《头号玩家》一样,以玩游戏的方式进入到科学严谨的数字孪生世界,这时候数字世界的数据其实可以进一步促进真实世界的发展,当然这也需要图形技术、5g、ar/vr等发展支撑。
实际上,在nvidia内部,omniverse翻译名为“全能宇宙”。一直以来,nvidia致力于将“图形、计算、ai”打通,释放平台价值。在宋毅明看来,omniverse最显著的特点如果用一个字来形容,就是“快”。如同当初gpu的出现是为了加速图形计算一样,omniverse希望能够帮助用户本地或远程实时协作,加快研发和设计流程,随时化灵感为现实。“我们也期待着omniverse成为‘元宇宙’这个概念的起点,为未来带来更多的可能。”何展总结期望道。