实例|新入坑的SageMaker Studio Lab和Colab、Kaggle相比，性能如何？( 二 )_ai|Lab|小时|Kaggle|Stu

基准
数据集和模型
我选择了两个小数据集来对 SageMaker 和 Colab 进行基准测试：Imagenette 以及 IMDB 。 Imagenette 数据集用于计算机视觉， Hugging Face 的 IMDB 用于 NLP 。为了减少训练时间，在训练 IMDB 时，我随机抽取了 20% 的测试集。
对于计算机视觉，模型选择 XResNet 和 XSE-ResNet ，即 ResNet 的 fast.ai 版本；对于 NLP ，我选择 Hugging Face 实现的 RoBERTa 。

Imagenette 地址：https://github.com/fastai/imagenette#imagenette
IMDB 地址：https://huggingface.co/datasets/imdb
fast.ai 地址：https://docs.fast.ai/

训练设置
训练 Imagenette 采用 fast.ai，其在进行数据扩充时，可以对图像进行随机调整 crop 和随机水平翻转。
训练 IMDB 采用 blurr 库，该库将 fast.ai 和 Hugging Face Transformers 集成在一起。除了向 fast.ai 添加 Transformers 训练和推理支持外， blurr 还集成了每 batch token 化和 fast.ai 文本数据加载器，后者根据序列长度对数据集进行随机排序，以最大限度地减少训练时的填充（padding）。
XSE-ResNet50 和 RoBERTa 采用单精度和混合精度训练的方式。 XSE-ResNet50 训练图像大小为 224 像素，混合精度 batch 大小为 64 ，单精度 batch 大小为为 32 。 RoBERTa 混合精度 batch 大小为 16 ，单精度 batch 大小为 8 。
为了探索 CPU 使用极限，我还训练了一个 XResNet18 模型，图像大小为 128 像素， batch 大小为 64 。
blurr 地址：https://ohmeow.github.io/blurr/
结果
当进行混合精度训练时， SageMaker Studio Lab 的 Tesla T4 优于 Google Colab 的 Tesla P100 ，但在训练全单精度模型时表现稍差。
XSE-ResNet50
在相似的设置下， Colab Pro High RAM 和 SageMaker 比较， XSE-ResNet50 在 SageMaker 上的总体训练速度提高了 17.4% 。仅查看训练循环（training loop）时， SageMaker 比 Colab Pro 快 19.6% 。 SageMaker 在所有操作中都更快，但有一个明显的例外：在向后传递中， SageMaker 比 Colab Pro 慢 10.4% 。
当以单精度训练 XSE-ResNet50 时，结果相反， SageMaker 的执行速度比 Colab Pro High RAM 慢 95.9% ，训练循环比 Colab Pro 慢 93.8% 。

实例|新入坑的SageMaker Studio Lab和Colab、Kaggle相比，性能如何？

文章图片

XSE-ResNet50 Imagenette 简单分析器结果
RoBERTa
混合精度训练 RoBERTa ，SageMaker 进一步领先 Colab Pro ，执行速度提高了 29.1% 。 SageMaker 在训练循环期间比 Colab Pro 快 32.1% ，并且在所有操作中 SageMaker 都更快，除了在计算损失时， SageMaker 比 Colab Pro 慢 66.7% 。
在单精度下， SageMaker 训练的结果再次翻转，总体上 SageMaker 比 Colab Pro 慢 72.2% 。训练循环比 Colab Pro 慢 67.9% 。当以单精度训练 XSE-ResNet50 时，由于向后传递和优化器步骤， SageMaker 比 Colab Pro 慢了 83.0% ，而 SageMaker 执行所有其他操作的速度快了 27.7% 。