文章图片
表 6 总结了各种网络在 CIFAR10 和 CIFAR100 上的性能 。
文章图片
消融实验
为了测试是否可以简单地减少 ResNet 的深度并使它们变宽 ， 研究者测试了三个 ResNet 变体：ResNet12-Wide、ResNet14-Wide-BN 和 ResNet12-Wide-SSE 。 ResNet12-Wide 使用 ResNet 基础 block ， 深度为 12 ， 而 ResNet14-Wide-BN 使用 ResNet 瓶颈 block ， 深度为 14 。 表 7 展示了对网络架构和训练协议的各种设计的消融研究结果 ， 其中包括使用数据增强、SSE block 和 SiLU 激活函数的 3 种情况 。
文章图片
在表 10 中 ， 研究者评估了参数总数相同但分支数不同（ 1、2、3、4）的网络 。 实验表明 ， 对于固定数量的参数 ， 具有 3 个分支的网络具有最高的准确率 ， 并且在网络分辨率分别为 224x224 和 320x320 这两种情况下都是最优的 。
文章图片
另一种网络并行化的方法是创建由多个网络组成的集合体 。 因此 ， 该研究将 ParNet 和集成的网络进行对比 。 如下表 9 所示 ， 当使用较少的参数时 ， ParNet 的性能优于集成的网络 。
文章图片
推荐阅读
- 技术|“2”类医械有重大进展：神经介入产品井喷、基因测序弯道超车
- 重大进展|“2”类医械有重大进展：神经介入产品井喷、基因测序弯道超车
- Tencent|原生版微信上架统信UOS应用商店：适配X86、ARM、LoongArch架构
- 国家|2022上海国际热处理、工业炉展览会
- IT|8号线、14号线将全线贯通 北京地铁?今年开通线路段创纪录
- 软件和应用|iOS/iPadOS端Telegram更新：引入隐藏文本、翻译等新功能
- Intel|Intel谈DDR5内存价格贵、缺货问题：新技术升级在所难免
- IT|宝马电动转型成果初显：i4、iX供不应求 新能源车销量已破百万
- 制造业|稳健前行开新局 制造业未来五年转型升级迎来“加速度”
- 银行|银行卡、社保卡可直接刷卡坐公交 上海公交开始试点