所以 ， 这就是特斯拉在纯视觉取代激光雷达上所做的?点?作 。
除了?体像素 ， 占??络还能输出路?相关信息 ， ?如它的路??何情况（?如坡度） ， 还有路?语义 。
这会对系统规控有很?的帮助 。
直接上案例吧 。 看这?的这张图 ， 坡道三维信息也被很很好的预测出来 ， 有了这样的信息输? ， 后续系统可以决定接下来是否要减速?驶 。
如果这件事交给直接采??精地图?案的公司来说 ， 这?步就很简单 。
因为?精地图公司已经将这些道路信息包括坡度、弯道曲率等信息录?地图 ， 当?辆?驶到这? ， ?辆可以提前根据这些已知做出预判和控制 。
所以 ， 这就是特斯拉在替代?精地图上取得了不错的进展 。
04
具体怎么实现的？
?先 ， 摄像头提取图像数据并校正 ， 然后采?RegNets和BiFPNS 来提取图像特征 ， 构建3D 位置查询 ， 所有图像以及特征都有其??的键和值 。
通过这些键和值 ， 你可以知道前?是什么物体 ， 亦或者是某个部分被遮挡的物体 。
这些内容再通过注意?模块输出?维空间特征 ， 这些空间特征?致 。 然后使??辆瞬时测程推导运动轨迹 。
将这些时空特性通过反卷积神经?络 ， 推出最终的占?率和占?流 ， 形成固定尺?的盒? 。
但是这对于规划和控制来说精度可能不是很够 。
为了获得更?分辨率 ， 特斯拉还?成每个像素形状映射 ， 你就当做是?个个坐标 ， 然后把这些坐标和 3D 空间点查询送?给MLP（多重感知机） ， 以获得任意点的位置和语义 。
很多?看到这?可能就晕了 ， 来看看这个案例：
特斯拉在不断?驶 ， 前?的?巴被识别为「L」的红?盒? ， 当?辆逐渐靠近 ， 巴?也在移动 ， ?头直接从红?变成了蓝? 。
随着时间推移 ， 整个巴?都变成了蓝? ， 你甚?可以看到这个?络预测巴?向左运动时的精确曲率 。
对于传统?标检测?络来说 ， 这是?个?常复杂的问题 ， 可能会??个或者两个??体来拟合曲率 。
但是对于占??络来说 ， 只需注意有可?空间的占?情况 ， ?后就能精确的建?曲率模型 。
此外还有刚刚说的 ， 弯曲路?的?何以及相关语义的识别 。
最后就是使??型?动标记数据集对占??络进?训练 。
此外 ， 特斯拉也在关注其他神经?络 ， ?如NeRF（(Neural Radiance Fields)
这?简单解释?下 。 NeRF ， 神经辐射场 。 是?项利?多?图像重建三维场景的技术 。
直接上案例吧 。
?如眼前的这个架?? 。 通过多组图像在神经?络的训练 ， 就可以构建出这个架??的三维场景 ， ?且还能给到两组不同于之前图像的新视图 。
显然 ， 这个技术很对特斯拉胃? 。
特斯拉考虑将?些功能整合到占??络训练中 。
这是他们做的?个演示案例 ， ?的是为了给?动驾驶呈现呈现3D 世界 。
不过要做到这点并不容易 ， 特斯拉在这个地?继续邀请??们加?特斯拉?动驾驶团队 。
有了强?模型 ， 下?步就是要训练它 。 这就需要海量可?学习的数据视频 。
看到这张图了吗？这并不是故障或者是雪花 ， ?是视频 。 ?概1.4 亿帧 。
这个量?常巨? 。 如果?10 万个GPU 进?训练 ， 需要1 个?时 ， 如果你有1 块GPU ， 需要10 万?时 。
这个时间?常? ， ?特斯拉想要更快的训练速度 。
这也是为什么特斯拉要建造??的超级计算机的原因 。
特斯拉有3 个超级计算机 ， 共计14000 个GPU ， 其中1 万个?于训练 ，另外4 千块?于?动标注 。
所有的视频都存在容量在30PB 的分布式视频缓存设施中 。
这些数据集并??尘不变 ， ?是处于变化 ， 每天有?概有50 个视频在集群中替换流动 ， 系统每秒跟踪40 万个视频实例 。
?在优化视频模型训练上 ， 特斯拉也是做了很多?作：
结果就是：通过这些积累和优化 ， 特斯拉现在训练占??络的速度提升了2.3 倍 。
05
车道检测&周围物体未来行为预测
早期特斯拉是在2D 图像空间进?实例分割 ， 同时神经?络也很简单 ， 只能识别为数不同的?种类型的道路 。
这种?较简单的道路建模适合在?度结构化的道路上 。
现在 ， 特斯拉要做的是?个系统 ， 可以适?在更复杂的路况 ， 不仅仅要?成全套?道实例还有它们之间的连接 。
推荐阅读
- 大叔刷了200万礼物，终于在如家跟网红女神见面，场面不忍直视！
- 实拍零跑C01：合资看了摇摇头，20万级纯电卷中卷静态表现如何？
- 小米Civi2与小米Civi1S全面对比：优缺点很明显
- 争产、绑架、自杀、失踪：这个香港豪门，到底有多乱？
- 谁说买苹果14Plus不如买苹果13Pro 各有各的好吧
- 目前值得买的手机，这四款用三五年没问题，十月购机必看
- 男子结婚，遭邻居大娘怒斥，知情人：大娘养大男子，新郎拒不拜她
- 实体店行业怪象：大量旺铺招租，药店遍布，年轻人盲目开店创业
- 首创电池底盘一体化先河，集成135项NVH技术，堪称性价比“卷王”