媒体滚动|特斯拉马斯克访谈实录:SpaceX载人飞船上天前我曾跪地祈祷(15)


马斯克:我们的团队在车里设计神经网络很多次了 , 超疯狂的 。
50、Lex Fridman:所以每次有一个新版本 , 你都会把它重命名为更荒谬或更难忘和美丽的东西吗?啊不对 , 不能说是荒谬 。
马斯克:目前操纵汽车的神经网络的完整阵列有非常多的层级 , 这是非常复杂的 , 所以我们没有采用这种方式 。
我们采用简单的神经网络 , 基本上就是在一个摄像机的一帧图像上进行识别 , 然后试着把它们结合在一起 。 我们有自己的 C 语言编译器 。 因此 , 为了获得最大的性能 , 我们也在不断优化我们的 C 语言编译器的最大效率 。
事实上 , 我们最近在 C 语言编译器上做了一个新的 REV 命令 , 它将直接编译到我们的 Autopilot 自动驾驶硬件上 。
51、Lex Fridman:你想要用你自己的编译器编译所有的东西吗?
马斯克:对 , 有各种各样的计算 。
52、Lex Fridman:那就是说也包括 CPU、GPU 这些基本的东西吗?所以你自己也参与到编译代码中了?
马斯克:对 , 我们还安排了很多人参与其中 。
这涉及到很多的硬核的软件工程 , 所以我们也在 FSD 计算机上做了大量的计算 , 并且我们需要在有限的计算能力下尽可能地达到每秒最高的帧数 。
特斯拉团队有很多非常有能力的软件工程师 , 他们也在致力于提高我们的计算效率 。
53、Lex Fridman:你想要达到像电子游戏一样多的高帧率的话就需要全分辨率 , 高帧率 , 低延迟 。
马斯克:对 , 除了上述几点 , 还需要低抖动 。 现在我们要做的事情之一就是不需要通过图像信号处理器对图像进行后处理 。
比如一般的相机为了让照片看起来更漂亮 , 需要做很多后处理 。 但我们不关心图片是否漂亮 , 我们只想要数据 , 所以我们的相机收集的只是原始的光子计数 。
所以我们的系统在电脑上看到的图像实际上比人们通常看到的要多得多 。 人眼看到差不多光线的两个点 , 实际上光子数量可能相差很多 。 这意味着我们的相机在黑暗中也能看得很清楚 , 因为它能探测到光子数的微小差异 。
由于去掉了图片的后处理过程 , 我们的延迟提升了 13 毫秒 。 其中每个摄像头大概是节省了 1.5 或者 1.6 毫秒 , 8 个摄像头加起来就节省了 13 毫秒 。
我们如何统计延迟?包括景象进入摄像头 , 摄像头数据进入多种神经网络 , 进入基于 C 语言和少量 C++ 写的程序 , 再到自动驾驶系统给出驾驶指令 , 并将指令发给电驱动执行单元 , 以实现加速、制动或者转向操作 。
一些控制器的工作频率在 10Hz(每 100ms 工作一次) , 所以这时候已经产生了 100 毫秒的延迟 。 所以我们想要升级电驱动系统的控制器 , 让它以 100Hz 或者更高的频率进行工作(每 10 毫秒工作一次) , 这样就能减少整个系统的反应延迟 。

推荐阅读