使用 K8S 几年后,这些技术专家有话要说( 六 )

卢承山也介绍了 GPU 虚拟化的难点,并具体解释了腾讯和英伟达在 GPU 虚拟化上的不同。怎么在容器内使用 CUDA?容器可以做到 CPU 内存和 CPU 核的隔离,包括细分到 0.01。GPU 的最底层是 GPU 的设备,上面是 GPU 运行的环境。

腾讯是做法是:

一、最底层的两层是在物理机层面的,需要把它挂到容器上,最上层的 CUDA 是在镜像层面做的。

二、解决在使用容器过程中 License 的问题。

算法服务和普通服务不同的地方在于,算法厂商不希望这个服务你拿去就用,它有一些鉴权,不可能把服务给你。最早都是物理机过来的,它依赖物理机设备上的东西。怎么把这些东西挂到容器内,它依赖 MAC 地址,而容器的 MAC 地址是虚拟的。腾讯在这里面做了一部分改造,把物理机挂到容器,然后再做 License 的鉴权。

使用 K8S 几年后,这些技术专家有话要说

图4/15

GPU 虚拟化也涉及一些选型问题,英伟达 GPU 虚拟化存在一些问题:

推荐阅读