文章图片
是实际 FLOPs ， C_j 是预先计算好的第 j 个分辨率的 FLOPs ，
文章图片
是在样本层面的期望值 ，
文章图片
是目标 FLOPs 。 经过这个正则 ， 如果平均 FLOPs 值过大 ， 将会有一个惩罚 ， 促使提出的分辨率预测器高效且准确 。 最终 ， 整个损失函数是两者加权和：
文章图片
文章图片
是超参数以用于平衡
文章图片
和
文章图片
的幅度 。
Gumbel Softmax 可以使得离散的 decision 在反向传播中可微 。 对于前述概率值 P_r = [p_r1, p_r2, , p_rm] ， 离散的候选分辨率选择可以由此得到：
文章图片
g_j 是 gumbel noise ， 由下式得到：
文章图片
在训练过程中 ， 独热操作的求导可以由 gumbel softmax 近似 ， 其中
文章图片
是温度系数：
【网络|不是每张图都要高清，华为诺亚动态分辨率网络入选NeurIPS 2021】
文章图片
实验
研究者在 ImageNet-1K 和 ImageNet-100 数据集上训练和验证 DRNet 模型 ， 其中 ImageNet-100 是 ImageNet-1K 的子集 。
ImageNet-100 实验
从下表 1 可以看出 ， 在 ImageNet-100 数据集上 ， DRNet 相比于 ResNet-50 ， 减少了 17% 的 FLOPs ， 同时获得了 4.0% 的准确率提升 。 当调整超参数和时 ， 可以减少 32% 的 FLOPs 并提升 1.8% 准确率 。 另外 ， 采用分辨率感知的 BN 获得了性能提升而 FLOPs 相似 。
文章图片
表 1 ：ResNet-50 骨干网络在 ImageNet-100 上的结果 。
下表 2 中 ， 研究者进一步减少 ， 可以获得 44% 的 FLOPs 减少而准确率还是增加 。
推荐阅读
- 年轻人|人生缺少的不是运气，而是少了这些高质量订阅号
- 网络|天津联通全力助推天津市入选全国首批千兆城市
- 网络化|工信部：2025年建成500个以上智能制造示范工厂
- 视点·观察|张庭夫妇公司被查 该怎样精准鉴别网络传销？
- 数字化|70%规模以上制造业企业到2025年将实现数字化、网络化
- 人物|俄罗斯网络博主为吸引流量 闹市炸毁汽车 结果够“刑”
- 协同|网文论︱网络文学与AI写作：人机协同演化时代的文学之灵
- 周鸿祎|网络安全行业应提升数字安全认知
- 安全风险|网络安全行业应提升数字安全认知
- 海康威视|智能家居战场又添一员，海康威视分拆萤石网络上市，半年营收20亿 | IPO见闻