本周二，nvidia创始人兼首席执行官黄仁勋介绍了nvidia的多项新技术，这些技术有望为万亿美元的产业带来改变。nvidia的多项新技术可助力各领域实现现实和虚拟世界模拟，包括自动驾驶、虚拟形象、机器人、以及地球气候建模等领域。
黄仁勋在本周二的gtc线上大会发表了主题演讲，带来了nvidia omniverse avatar和nvidia omniverse replicator等多项最新发布和演示，并展示了用于3d工作流程的虚拟世界模拟和协作平台 —— nvidia omniverse，以及omniverse是如何将nvidia的各项技术相结合。
他分享了使用omniverse avatar平台的多个使用案例，包括用于客户支持的project tokkio和用于视频会议的project maxine。
nvidia 首席执行官黄仁勋展示了project maxine如何利用omniverse avatar平台将计算机视觉、riva语音ai以及虚拟形象动画和图形连接到一个实时对话的ai机器人——“toy jensen omniverse avatar”上
黄仁勋表示：“如何使用omniverse模拟仓库、工厂、物理和生物系统、5g边缘、机器人、自动驾驶汽车，甚至是虚拟形象的数字孪生，是一个永恒的主题。”
在主题演讲的最后，他宣布nvidia将建立一个数字孪生来模拟和预测气候变化。该数字孪生名为earth two，简称e-2。
全栈数据中心级开放式平台
黄仁勋表示，加速计算推动了现代ai的发展，它掀起的浪潮正在涌向科学界和全球各行各业。而这一切都基于3类芯片 —— gpu、cpu、dpu，以及从云端到边缘部署广泛的多种系统 —— dgx、hgx、egx、rtx和agx系统。
从图形、ai、数据科学到机器人，nvidia已经为300万名开发者创建了150个加速库。
在gtc上，nvidia还发布了65个全新以及更新的sdk。
黄仁勋表示：“nvidia加速计算是一个全栈数据中心级开放式平台。”
在介绍nvidia quantum-2时，黄仁勋将其称为“到目前为止最先进的网络平台”，并且随着bluefield-3 dpu的发布，全球将迎来云原生超级计算。“quantum-2 所提供的超高性能、广泛的可访问性、以及高安全性，正是云计算供应商和超级计算中心所需要的。
网络安全是企业和国家的首要问题，黄仁勋发布了依托于三大支柱的零信任框架，以应对这一挑战。
bluefield dpu将应用程序与基础架构隔离。最新bluefield sdk——nvidia doca 1.2实现了新一代分布式防火墙。黄仁勋介绍道， nvidia morpheus假设入侵者已进入其内部，会利用“加速计算和深度学习的超强力量来检测入侵者的活动”。
omniverse avatar和omniverse replicator
黄仁勋表示，有了omniverse，“我们就有了创建全新3d世界，或对物理世界进行建模的技术。”
nvidia还发布了omniverse avatar，致力于助力开发者使用omniverse创建交互式角色，并使此角色具备视觉和语言能力，能够就各类主题进行交谈，并理解自然语言中的深层含义。
黄仁勋展示了project maxine如何利用omniverse avatar平台将计算机视觉、riva语音ai以及虚拟形象动画和图形连接到一个实时对话的ai机器人——“toy jensen omniverse avatar”上。
他还演示了project tokkio，这是一个位于自助式餐厅服务亭中的虚拟服务员，其可看到两名顾客，与之交谈并理解他们的对话。
黄仁勋还展示了project maxine为虚拟协作和内容创建应用添加先进视频和音频功能的能力。
一项演示中，一位女士在嘈杂的咖啡厅中用英语进行视频通话，在去除背景噪音后可以清楚地听到她所说的话。她的话被实时转录并翻译成法语、德语和西班牙语，而且借助omniverse，以上多门外语均出自虚拟形象之口，并且这位虚拟形象在对话时的声音和语调与她本人完全相同。
为了帮助开发者创建训练ai所需的海量数据，nvidia发布了omniverse replicator——一款用于训练深度神经网络的合成数据生成引擎。
nvidia开发了两款replicator合成数据生成引擎：面向通用机器人、用于isaac sim的omniverse replicator，以及面向自动驾驶汽车、用于drive sim的omniverse replicator。
自去年年底发布以来，omniverse已被500家公司的设计师下载了7万次。
ai模型和系统
黄仁勋发布了用于训练大型语言模型的nemo megatron。他表示，此模型 “将成为有史以来最大的主流hpc应用。”
图形作为现代数据科学中的一种关键数据结构，现在可以通过全新python软件包deep graph library（dgl）投射到深度神经网络框架中。
今日发布的nvidia modulus用于构建和训练物理学机器学习模型，这些模型可以学习并充分遵守物理学法则。
triton是一款适用于所有工作负载的推理服务器，其升级版现在可以推理森林模型，并执行大型语言模型的多gpu多节点推理。
黄仁勋共发布了三个新的库：
• reopt – 面向10万亿美元的物流行业
• cuquantum – 致力于加速量子计算研究
• cunumeric – 致力于为python社区的科学家、数据科学家以及机器学习和ai研究者而加速numpy。
黄仁勋还发布了nvidia launchpad，以助力将基于nvidia ai技术的服务带到边缘。nvidia正在与数据中心巨头equinix合作，将nvidia ai预安装并集成到全球的数据中心中。
机器人技术
nvidia isaac生态系统现已有700多家公司和凯发k8官网下载的合作伙伴，这个数字在过去4年里增长了5倍。
黄仁勋宣布，nvidia isaac机器人平台现可轻松集成至机器人操作系统（ros）中。这是一套应用广泛的软件库和工具，适用于机器人应用。
黄仁勋解释道，建立在omniverse之上的isaac sim是有史以来最逼真的机器人模拟器。
“该模拟器的目标是让机器人无法分清自己是在模拟环境中还是在现实世界中。” 为此，isaac sim replicator可生成用于训练机器人的合成数据。
黄仁勋表示，replicator可以模拟传感器，生成自动标记的数据，并通过一个域随机化引擎，创建丰富、多样化的训练数据集。
自动驾驶汽车
黄仁勋表示，所有移动之物都将实现完全或近乎完全的自主化。“到2024年，绝大多数新电动车都将具备真正的自动驾驶功能。”
nvidia drive是nvidia的自动驾驶汽车全栈开放式平台，而hyperion 8是nvidia最新的完整硬件和软件架构。其传感器套件包括12个摄像头、9个雷达、12个超声波和一个前置激光雷达，所有处理均通过两个nvidia orin 系统级芯片进行。
黄仁勋详细介绍了hyperion内置的几项新技术，包括用于drive sim的omniverse replicator。omniverse replicator是一个基于omniverse的自动驾驶汽车合成数据生成引擎。
nvidia目前正在运行hyperion 8传感器、4d感知、基于深度学习的多传感器融合、特征追踪和一个新的规划引擎。
汽车内部也将被彻底改变。nvidia maxine技术将重新定义我们与汽车的互动方式。
“maxine将把您的汽车变成一位管家。”
earth two
黄仁勋最后宣布，nvidia将构建earth two （e-2）来模拟和预测气候变化。“为了创建earth two，我们将需要使用迄今为止发明的所有技术。”