虚拟世界|元宇宙+自动驾驶,英伟达(NVDA.US)让特斯拉害怕( 二 )


虚拟世界|元宇宙+自动驾驶,英伟达(NVDA.US)让特斯拉害怕
文章插图
元宇宙NPC雏形—— Avatar
据了解,英伟达昨天在GTC大会上最新发布的Omniverse Avatar,进一步坚定了其全面进军元宇宙的决心。Omniverse Avatar是Omniverse 平台下的一款基于语音、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术生成的交互式AI化身,有点类似于现在的游戏世界中提供指引、触发剧情的NPC,延伸至元宇宙的话正是元宇宙世界里NPC的雏形。
Avatar是以3D形式呈现的互动角色,可以说话交谈,并且与使用者就有关主题进行交谈,并理解对话的意图。黄仁勋表示:“Omniverse Avatar结合了英伟达的图像处理、模拟技术和人工智能技术,协作机器人和虚拟助手的具体使用效果令人难以置信,预计将影响深远。”
虚拟世界|元宇宙+自动驾驶,英伟达(NVDA.US)让特斯拉害怕
文章插图
在GTC大会,英伟达详细解释了Avatar的构造,Avatar的语音识别和生成能力基于英伟达Riva,自然语言理解是基于Megatron 530B大型语言模型,可以识别、理解和生成人类语言。Avatar的推荐引擎由英伟达Merlin提供,该框架允许企业建立能够处理大量数据的深度学习推荐系统,以提出更智能的建议。Avatar的感知能力由NVIDIA Metropolis提供,这是一个用于图像分析的计算机视觉框架。Avatar的头像动画由NVIDIA Video2Face和Audio2Face(二维和三维AI驱动的面部动画和渲染技术)驱动。Omniverse Avatar将这些技术组成一个应用程序,并使用NVIDIA统一计算框架进行实时处理。
开创自动驾驶新生态
4年前英伟达已进军自动驾驶领域,其中在2019年年底,英伟达宣布推出新一代用于自动驾驶和机器人平台的高度先进的软件定义平台——NVIDIA DRIVE AGX Orin,该平台集成170亿晶体管,采用全新的NVIDIA GPU及12核ARM CPU。
黄仁勋在昨日GTC大会上表示:“到2024年,绝大多数新电动车都将具备真正的自动驾驶功能。”
正如前面提到的,英伟达最新推出的DRIVE Hyperion 8,就像是一个集合了各种自动驾驶功能模块的全栈式自动驾驶平台,具备智能感知、规划、高精地图、数据标注等各种超强能力,各种传感器插件均可由客户或车企进行调用,而该平台建立在英伟达的两个NVIDIA Orin系统级芯片的基础上,所有处理均需经过Orin芯片。
虚拟世界|元宇宙+自动驾驶,英伟达(NVDA.US)让特斯拉害怕
文章插图
传感器插件方面,Drive Hyperion 8 结合了一系列传感器,包括 12 个摄像头、9 个雷达、12 个超声波传感器和一个前置激光雷达,并且整个设置定义为模块化,客户或车企可以按照需求及实际情况进行调控。
在昨日的介绍中,英伟达的虚拟数字世界中加入了自动驾驶高精地图的数字化供应商DEEPMAP的顶尖技术。这家企业正是在2021 年 6 月,英伟达收购的高精地图明星企业 DEEPMAP。这一技术让整个虚拟世界与真实世界几乎一致,并预测同时针对激光雷达和毫米波雷达的采集仿真,英伟达还建立了不同材质库,让采集的数据与真实情况一致。
英伟达推出的这一套体系旨在占领自动驾驶领域更大市场份额,包括让开发乘用车辅助驾驶软件系统的供应商和汽车制造商融入英伟达自动驾驶生态链。
英伟达已经开始接触一些客户,他们正在英伟达的Orin芯片上进行开发工作,其中包括Cruise、梅赛德斯-奔驰以及沃尔沃。
新推出的Drive Concierge则是一个AI自动驾驶语音助理,类似“Siri”,它结合了语音辅助、驾驶员监控和自动停车技术,并且还能够执行从简单到复杂的语音命令。
从自动驾驶的底层核心——芯片,再到自动驾驶传感器和衍生软件平台,英伟达正在打造出全新的以英伟达技术为核心的自动驾驶生态链。

推荐阅读