新闻资讯

联系我们

地址:北京市朝阳区沿江中路298号江湾商业中心26楼2602-2605
电话:+86-0000-96877
公司新闻

当前位置: 主页 > 新闻资讯 > 公司新闻 >

NeurIPS2020接收率创史低千篇论文被摘要拒稿:错误

时间:2020/11/18    

  本年有了「看摘要拒稿」合节,但 NeurIPS 2020 的审稿期却依旧变长了。10 月 8 日,正在进程几个月核阅和延期之后,人工智能顶会 NeurIPS 2020 放出了罗致论文列外。比来几天,相合本届大会的论文统计结果逐步展现,少少亮点论文也开首被人们商议起来。

  最初是总体罗致环境,NeurIPS 2020 得回了 12115 篇论文摘要的提交,以及 9467 完全论文的提交。比拟 2019 年,论文提交的数目扩大了 40%,增进幅度与 2018-2019 年一样。审稿之前,共有 184 篇论文因为非匿名缘由、作家撤回、页数过众等缘由被拒,11% 论文被 desk-reject,随后剩下 8186 篇论文分派给审稿人。

  正在浩瀚审稿人、区域主席和高级区域主席的勤苦奋发下,大会最终罗致了 1900 篇论文,本年的「考取率」仅为 20.07%(略低于 2019 年的 21%),个中有 105 篇被罗致为 oral,280 篇为 spotlight 论文。

  科技公司 Criteo 的磋议科学家谢尔盖·伊万诺夫对 NeurIPS 2020 的罗致论文举行了发端统计,出现谷歌、斯坦福大学和 MIT 辞别以 169、104 和 98 篇成为论文被罗致数目最高的机构,清华大学位列第七,有 63 篇。而假若统计邦度的线 篇论文遥遥领先,中邦和英邦排正在其后。

  个体中稿数目上,UC Berkeley 的 Sergey Levine 有高达 12 篇论文被罗致排名第一,美邦西北大学的 Zhaoran Wang、UCLA 的 Lin Yang 等人均有 9 篇论文被罗致。

  值得防备的是,本年的 NeurIPS 大会引入了「机械练习的社会影响」偏向,个中琢磨的实质囊括平正与隐私。此类论文以往被包罗正在算法偏向下。能够看到,NeurIPS 2020 最热门的三个偏向和以往没有太大变更,仍是「算法」、「深度练习」和「行使」,不事后两个偏向热度有所消浸。

  咱们能够窥察到「外面」和「神经科学」依旧是罗致率最高的两个规模,另一方面「行使」、「数据挑衅、行使和软件」则是本年罗致率最低的偏向。

  本年环球遭受了新冠疫情的进攻,大会也极度召唤人们提交与新冠合联的论文,结果共收到 40 篇合联磋议,最终有 1 篇成为口头通知论文,4 篇 spotlight,另有 4 篇 poster。新冠合联论文的罗致率 24%,略高于 20% 的总体罗致率。

  人工智能规模的热度仍正在连接晋升,每一年 NeurIPS 都邑成为新的「史上最大」AI 顶会,人们面对的最要紧挑衅便是怎么统治海量的论文提交。面临本年逾越 9000 的提交数目,大会须要招募 7100 名审稿人以到达每篇论文 4 名以上审稿人,起码 3 份审稿成睹的秤谌。NeurIPS 2020 是怎么竣工这个浸重的劳动的?

  最初,大会邀请了 64 位资深规模主席,480 位规模主席以及 4969 名审稿人。这些磋议者们来自 NeurIPS 2019 的突出审稿人,同时也有不少人来自其他机械练习顶会、专业顶会、研讨会(如 CVPR、EMNLP、医学研讨会等)。正在论文提交 deadline 之前几个月,会方就奋发说服了浩瀚步伐委员会成员更新了己方的 TPMS 和 OpenReview 档案,以包管正在随后的分派论文的光阴有足够高的结果。

  正如之前所揣摸的,尽管审稿人数目到达 4969 人,但依旧远不敷以竣工劳动。是以 NeurIPS 2020 采用让论文提交者审核论文。正在论文提交者当中,大会选出了 1778 名出格的审稿人。他们的筛选准则是:1)务必有 TPMS 或 OpenReview 档案,2)起码插足过一次机械练习顶会的审稿,3)起码投过 10 篇论文,4)起码正在机械练习顶会上以第一作家身份揭橥过一篇论文。

  尽管准则看起来对照合理,但让投稿人审稿的睡觉仍然会存正在必然争议。人们一定会问:老例审稿人和他们的评判准则是否会有区别?量度这一点的自然本领是运用区域主席分派给评审成睹的品级:1 体现未到达希望,2 体现到达希望,3 体现超过预期。这一机制会被用于肯定来岁大会一连邀请哪些审稿人,以及给谁授予大会免费注册的优惠。

  假若咱们把每个审稿人的均匀分数和他们提出的审稿成睹联系起来,能够出现被邀请的审稿人实在比论文作家审稿人秤谌高,只是差异并不明白。NeurIPS 大会机合者以为,这剖明本年大会的审稿秤谌并没有由于新的计谋而舍弃太众。

  风趣的是,咱们还能看到审稿人的经历秤谌和区域主席给的评议合联性本来并不高。不才图中咱们能够看到经历最雄厚的审稿人(正在顶级机械练习集会中担负审稿人逾越十次)并不行得回最高分。农业新闻最新新闻实践环境和人们的猜念相反:审稿界的新人能够得回最高评分,极度是关于那些曾正在其他集会担负评审,第一次来 NeurIPS 的人来说。

  正在 desk reject 之后,80% 的论文被分派了 4 名审稿人,以尽量包管正在作家知照 Deadline 之前,论文的提交者起码也许收到 3 篇论文审稿成睹(正在这个岁月线 份审稿成睹)。最终,NeurIPS 2020 收到了共计 31,000 份审稿成睹,审稿人数目到达 7062 人。

  如前面所说,除了包管审稿人数目除外,本年的 NeurIPS 还扩大了提前拒稿合节。正在这一阶段,区域主席和高级区域主席会核阅分派给他们的论文摘要,并记号他们以为不应罗致的论文。

  至 2020 年 6 月底,大会共收到 1097 份提前拒稿成睹。规模主席关于这种不经全文核阅即拒稿的式样观念不尽一样:有 82 名规模主席正在这个阶段肯定不给出任何拒稿成睹。为了评估这一阶段的审稿质地,大会随机采用了 100 篇被记号为提前拒稿的论文参加老例审稿阶段,并分派给区别区域主席和资深区域主席举行审稿。结果出现,这些论文有 94% 被拒稿,「差错率」仅为 6%。

  总体来说,提前拒稿合节有利有弊。可是思索到区域主席和高级区域主席为此花费了三周岁月,被拒绝的论文比例(小于 11%)却是相当低的。少少正在该阶段被拒的作家也体现,他们没有足够的道理来做肯定。好处是,区域主席正在提前拒稿合节对全部论文的环境尤其熟谙,促使了其他阶段核阅结果的晋升和核阅质地的降低。

  本年,浙江涂装机械工程师NeurIPS 官方条件作家正在提交实质中扩大一份「影响力声明」,但没有因未知足此条件而拒绝任何论文。只是大会依旧条件已罗致论文正在 camera-ready 版本中保存这一个别。

  下图显现了「影响力声明」的单词数目直方图,能够看出,大约有 9% 的磋议者没有提交这一个别,而且大个别提交的声明实质正在 100 字驾御。

  NeurIPS 委用了一名德性参谋,并邀请了 22 名德性审查员。审稿人能够举报疑似具有德性题目的论文,比如运用欠妥数据、本领存正在私睹等题目。

  最终有 13 篇论文给与了德性审查。正在进程手艺审核人、区域主席、高级区域主席和步伐主席的通盘评估之后,出于德性考量,惟有 4 篇论文由于新规矩被拒。个中 7 篇论文的结果是「conditionally accepted」,这些论文将会正在改正后一连由区域主席评估,有的论文须要对潜正在危机举行更懂得的商议,有的论文须要删除有题目的数据集。

  其它,NeurIPS 还举行了少少其他改正,助助优化审核进程。比如,正在 discussion 阶段,区域主席能够向作家发邮件以办理官方 rebuttal 阶段之后的题目。据统计,正在 rebuttal 之后,区域主席总共向作家们发送了 604 封邮件,作家和区域主席对该本领的反应总体对照主动。就像 OpenReview 平台相通,正在统统核阅进程中成立与作家的疏导渠道短长常有用的。

  另一项更改是答允作家公然统统的从头提交消息,让其他人能够看到和前次被拒绝的版本比拟,实质有那儿更新。正在提前拒稿合节之后,区域主席和高级区域主席都能够拜访此消息,总体来说有 30% 的磋议都是从头提交过的。

  同时,NeurIPS 也答允作家正在 discussion 阶段举行评论,云云做是为了扩大核阅进程的透后度,使作家能够得知论文上的最新分数。由于该分数关于确定提交作品是否相符 AAAI「疾捷通道」核阅步伐很无意义。

  最初对照一下 NeurIPS 2019 和 2020 的骨子审查(meta-review)岁月。如下图所示,本年的骨子审查岁月更长,这或许是由于 summary-rejection 合节让区域主席从一开首就更众地加入了审查进程。

  该趋向与审稿人内部 discussion 的趋向是同等的,食品机械新闻如下图所示,本年的 discussion 岁月比昨年长。

  很少有论文涉及德性合心题目,NeurIPS 官方有特意的流程来统治此类事情,为作家供应来自德性或机械练习的更众专家反应;

  现正在,论文审稿期仍然告终,正在 12 月份大会正式开张之前,咱们能够先看论文了。

  10月19日,第一讲:音频根蒂与声纹识别。谷歌资深软件工程师、声纹识别与说话识别团队担任人王泉教员将先容声纹识别手艺合联根蒂常识,囊括进展进程、听觉感知和音频统治合联根基观点与本领、声纹规模最重心的行使声纹识别等。

  增加机械之心小助手(syncedai5),备注「声纹」,进群一块看直播。

  原题目:《NeurIPS 2020罗致率创史低,千篇论文被摘要拒稿,官方:差错率惟有6%》

地址:北京市朝阳区沿江中路298号江湾商业中心26楼2602-2605 版权所有:网上购彩墙绘装饰工程有限公司

网站地图