评委|谷歌等揭露「AI任务疑难」：存在局限的ImageNet等基准，就像无法代表「整个世界」的博物馆( 三 )

2022-01-04

文章插图

不同于前三位评委的「慷慨」，第四位评委只给出了5分的评价，认为这篇论文只是：当前基准测试的简史（History of the benchmarks we use today）。从这个评语不难看出，这位评委觉得这篇论文列举了很多基准测试且强调了它们的局限性，但作者团队并没有采取任何立场。

文章插图

最后，评委五号不见其人，先闻其声：很棒！但还有上升空间（Great, but improvements needed）。第五位评委认为这篇论文在梳理和总结相关工作的方面做得非常好，同时有大量的研究支撑文中的论点，希望这篇论文能引起相关领域研究人员的重视。

文章插图

正因为对这篇论文寄予了极高的期望，因此评委只给出了6分的评价，同时罗列了非常详细的修改建议，希望论文的作者能加以改进。

3

Reddit网友怎么说

看完五大评审的官方评论，总结起来基本就是：论文不错，观点新颖，论据充分，要是能提出解决方案就更好了。此外，有三位评委都不约而同地希望这篇论文能引起相关领域的重视。
Reddit上关于这篇文章的讨论热度也不小，我们来看看神通广大的网友怎么说。

评委|谷歌等揭露「AI任务疑难」：存在局限的ImageNet等基准，就像无法代表「整个世界」的博物馆

文章插图

某位网友一针见血地指出，虽然ImageNet等基准测试像「有限的博物馆」一样存在不足，但却是目前我们训练模型最有力的工具。

评委|谷歌等揭露「AI任务疑难」：存在局限的ImageNet等基准，就像无法代表「整个世界」的博物馆

文章插图

确实，就像上述评委提到的，ImageNet是有局限性，但是否有更好的解决方案？因此，有热心网友为论文的作者修改了摘要：没有任何数据集能够捕捉所有细节的全部复杂性，就像没有博物馆可以包含整个世界中所有的事物一样。

评委|谷歌等揭露「AI任务疑难」：存在局限的ImageNet等基准，就像无法代表「整个世界」的博物馆

文章插图

一些网友则认为论文不错，尤其是「芝麻街」故事情节的插入加深了他们对该论文的理解。

评委|谷歌等揭露「AI任务疑难」：存在局限的ImageNet等基准，就像无法代表「整个世界」的博物馆

文章插图

这些网友觉得，用「无法展示一切的博物馆」类比「ImageNet在一些模糊任务上的局限性」非常恰当。
大概论文的作者们也没想到，写个文章还能为一本书代言，有网友调侃：宇宙万物的答案就隐藏在这本「芝麻街」故事书中。

评委|谷歌等揭露「AI任务疑难」：存在局限的ImageNet等基准，就像无法代表「整个世界」的博物馆

文章插图

更多网友表示赞同论文作者的观点，毕竟相比解决问题，发现问题太容易了。（狗头）

评委|谷歌等揭露「AI任务疑难」：存在局限的ImageNet等基准，就像无法代表「整个世界」的博物馆

文章插图

所以，解决方案究竟在哪？
就算博物馆「无法展示一切」，也没有人能否定其价值。同理，ImageNet这类基准定义的存在意义也不容置喙。不断发现问题并解决问题，历史的车轮才会滚滚向前（狗头）。
参考链接：

https://openreview.net/forum?id=j6NxpQbREA1
https://www.reddit.com/r/MachineLearning/comments/r45wdo/r_ai_and_the_everything_in_the_whole_wide_world/

雷峰网雷峰网

推荐阅读

上一篇：快件|圆通上线“圆准达”快递产品

下一篇：用户|2022年，扎克伯格能不能“洗白”？