新智元报道
:Aeneas 好困
【新智元导读】 欧洲博士生的这篇帖子火了!为啥美国博士生人手10篇顶会,5篇一作?有人现身说法:这里卷疯了,博士打底每天工作10小时,7天无休,不少人都卷出了心理问题。而且顶尖机构还有丰富的GPU资源和大佬的背书,能不能站在巨人的肩膀上,自然差之千里……
明明都是人,怎么美国的博士就人手十篇AI顶会,还有五篇是一作?
最近,欧洲博士的一篇质疑,在机器学习社区火了!
他表示,自己正在欧洲大学攻读博士学位,研究方向是AI/机器学习/CV领域。
自己的博士学业为期4年。
第一年,主要就是学习怎样真正地搞研究,了解整个的学术运作机制。
第二年,自己就已经作为共同,在顶会CVPR上发表了首篇论文。
第三年,他已经能够管理研究项目,了解了如何申请资助,掌握了资金运作机制和其中的各种细节。
此时,他的简历中新增了两篇论文,一篇是期刊论文,一篇是会议论文,都是以一作身份发表的。
在此期间,他深度参与了产业界的事务,为和自己实验室有合作的公司写了大量跟AI、系统架构、后端、云计算、部署等相关的生产级代码。
看起来,自己应该算比较成功的博士了对不对?
然而,当他看到美国同背景的博士履历时,直接惊呆了!
他们几乎人手十篇顶会论文,全是CVPR、ICML、ICLR、NeurIPS级别的顶会,而且还有五篇是一作!
这位欧洲博士表示,自己受到相当大的冲击——
这些人究竟是怎么做到完成这么多工作,还能每年在A类期刊上发3篇论文的?他们难道不需要睡觉吗?
这位博士表示,我并不认为这些人比我聪明。
每当自己有了新idea,就会去查找是否已经有人研究过。
他时常发现,某个斯坦福或者DeepMind的博士生刚好在一个月前发表了类似的研究,这就证明自己的思路是很前沿的,并不落伍。
然而如果要深入理解这些论文中的概念,就要需要投入的努力,再加上有获取所有必要资源的过程,会耗费大量时间,绝不可能是2-3个月的项目就能搞定的。
最后,这位博士发出了心底的疑问——
面对网友们的各种反应,他也澄清道:自己并不是喜欢拿自己和别人比较的人,因为每个人所处环境不同。
但是,对于仅有3-4年研究经验的人来说,短短一年内就源源不断地产出高质量研究和创新成果,这从人类角度来看是不可能的事!自己仿佛完全被蒙在鼓里。
背后到底有什么因素,导致了人和人之间的这种巨大差别?
美国汇集世界顶尖人才,个个都是「卷王」
有人现身说法表示,这是因为,美国大学里充满了卷王!
首先,美国学术界存在一种很卷的发表和工作文化。
曾在美国顶尖CS项目之一的实验室做过本科生的层主表示,自己亲眼目睹了研究生们的工作节奏——
一周七天都在工作,每天超过10小时,全年无休。
有一次,他无意中晚上7点去实验室,发现自己的研究生同学还在那里。
因为好奇他究竟会工作到多晚,层主干脆在实验室等他,结果是——直到凌晨1点,他才回家!
当然,这并非实验室的强制要求,每个人都可以和项目负责人约定自己的工作界限。
但在美国这个人才竞争如此激烈的领域,每个人都会感受到巨大的压力,没有谁能不受影响。
第二点,美国实验室的显著优势,就是吸引了来自世界各国都顶尖人才。
这里层主特意拿清华举了例子,据悉这个顶尖项目对于清华学生的录取率仅有0.1%……
如果能吸引到中国和其他国家的顶尖人才,还让他们每天工作10小时,那你很难不产生一些疯狂的成果。
总之,全球顶尖人才,汇聚在了一个高强度的工作环境里,这就造成了美国研究生惊人的学术产出。
基于NeurIPS 2022被接收论文数据
的确,立马有人证实了他的说法。
他表示,在自己的实验室,每周工作六十小时简直是家常便饭。
在紧急时期,甚至可能飙到每周七十小时。
另一位博士说,每天工作超过10小时,7天无休是很常见的,很多博士都是这样的。
不过他也指出,研究团队的规模也是造成这种情况的一个因素。
在大学里,自己花了一年时间才完成一篇论文,而第二篇论文用了6个月,只有自己、导师和联合导师。
但最近,当自己在谷歌兼职实习时,那里的期望是让他6个月写出三篇论文……
因为那里有一个规模不小的研究团队,所以这种要求应该是常态。
总之,简单概括就是两点原因:
1. 他们很卷,卷到不可思议。
2. 全世界最顶尖的学生都去了美国,而不是欧洲。
而且,这种情况绝不仅仅是在AI领域存在,几乎所有的STEM(科学、技术、工程和数学)领域都是如此!
有人说,自己在读物理学博士的时候,也是这种状态:生活里根本没有除了学习以外的东西。
这种影响其实很残酷,不少在读博士的心理健康状态都不太好,已经有大量文章讨论这一现象了。
既不缺GPU和资源,还有大厂/大佬背书
GPU Rich vs GPU Poor
此外,帖子中还有人一语道破:大家都没提的一个重要因素,就是资源。
的确,即使在美国的不同高校,手握GPU的资源也差别巨大。
他表示在自己读博期间,计算资源是主要瓶颈。如果能有更多高性能的GPU,计算时间会显著缩短,研究进度也会快很多。
普林斯顿、哈佛这样的「GPU豪门」,手上的H100至少以三四百块打底,但是连AI教母李飞飞的斯坦福自然语言处理(NLP)小组,也只有64块A100 GPU。
在这种巨大的差异面前,出成果的速度自然也是一个天上,一个地下。
「名人效应」
有人提到,知名机构的title,就是很有分量的隐形资产。
首先,很多知名机构和美国的大型科技公司保持着密切联系。
这种关系不仅会激发出创新项目的灵感,还能提供额外的资源支持。
另外,斯坦福大学或者谷歌等知名机构的title,也无形中起了很大作用。
这些论文,通常都配有专业的图表、完整的项目网站和精心策划的公关宣传。
这篇文章,就被大佬戏称为「PR工作的典范」
这种情况下,每个人都知道是谁的工作,为什么这项工作很重要。
你敢说审稿人不会受此影响吗?
这种情况下,他们很可能不敢给出过于严厉的批评。
即使他们认为论文质量很差,但这是DeepMind论文,谁敢在评审意见中直接开麦diss呢?
总之,这些顶尖机构拥有雄厚的资源,自然而然就吸引了最有抱负、最优秀的学生,可以快速推进各种项目。
而在这些机构中,也就培养出了一种跨越好几代学生和教师的机构文化——优先考虑如何在最短时间内,发表尽可能多的高影响力论文。
其实是「幸存者偏差」?
稍显安慰的是,也有人对欧洲博士表示,其实这就是幸存者偏差。
可能他关注的都是美国顶尖的机器学习项目,他们的成果自然也是世界一流的。
但如果去了解一下普通大学里博士生的情况,就会发现他们作为一作在顶会上发论文的情况并不常见。
当然也有不那么成功,或者干脆转行了的人。
有些人可能费了老劲也就发表了一篇论文,然而选择去私营企业上班,不混学术圈了。
有人对这位博士表示,你所观察到的样本,并不具有统计学意义上的随机性和代表性。
被偶然看到的美国博士生的论文或简历,几乎可以肯定地说,代表了学术成就分布中最为top的那一波。
这些高产出的学生,往往会被他们所在的知名实验室和机构更多地推广。他们的成功可能源于良好的科研环境、出色的个人能力、一定的运气成分、严格的竞争性选拔以及其他因素。
其实这就类似于社交媒体会导致人们焦虑和抑郁。
在社交平台上,人们倾向于展示自己最好的一面,这导致我们常常将自己与一个经过筛选、存在偏差且被美化过的样本进行比较。
在学术界也是如此,每个研究者都在某种程度上「推销」自己的研究成果,而那些最引人注目的成果,自然会得到更多关注。
在这种情况下,退一步、获得更广阔的研究视角,会很有帮助。他强烈推荐这位博士去读一下阅读Richard Hamming的经典演讲稿「你和你的研究」(You and Your Research)。
也有人指出,虽然楼主的描述有些夸大了,但的确存在一个临界点,超过这个点之后,单纯增加数量和投入时间并不能等同于提高质量。
参考资料:
https://www.reddit.com/r/MachineLearning/comments/1g7dzkp/d_why_do_phd_students_in_the_us_seem_like/
如何看待新加坡南洋理工大学博士生凭三篇水会论文成功提交毕业论文外审?
首先,作为 NTU 的校友我先说 句,南洋理工Q没有对pha毕业时候的论文发表硬性规定(至少我们SSS是没有的,比如我们有个教授几年都没期刊论文只有会议论文,学生不是照样毕业么)。 有的话,也是学院级、或实验室内部的导师的规定。 当然,为了好找工作大家都是认真发论文的。 但是不发,亦或者只是会议是个人和实验室选择。 只要一个人能元许外市,那无论如何他的发表(倘若有要求的话)是达到了标准的。
在遵守规则角度NTU是很严格的,我当年做RA批考卷没有放在有单独锁的柜子里都被系主任训话。 不要把别的地方发特定论文的潜规则套到看到的每一个地方其次,申请外南的负责人是导师和学院系的工作人员,以及自己的thesispanel。 他们都觉得没问题就没问题。 比如当年我们毕业论文提交被打回一个原因就是封面错把 「in partial fulfillment」写成了 Finfulfillment].
第三,正如我白己毕业论文图中所示,一篇thesis哪怕通过也只是成为哲学博士PhD路上的一部分而己。 所以到底有没有做到成为博士,用毕业论文,或者用发表来衡量都是片面的。
而且,坐业论文只是些业过程的一 部分而已,thesis+答辩才是核心。 甚至说,开始的QE开题,每年的年底汇报都做了过程中考核。 退—步,ntu°的所有毕业论文只要不涉及保密都公开,你有兴趣不妨去看看同专业的别人如何。 最后,这语气怎么这么酸呢?倘若这人不行,外市专家会教做人的!返回意见如果是Majorrevision ,那可有的改。
这件事的逻辑是这样的。 如果一个学校有信心自己的教授组成的答辩委员会能够判断-个学生学位论文的水平是否达到博士,那么这个学校就会用答办作为授予学位的方式。 但如果一个学校对自己教授的水平没有充足的信心 ,觉得咱们这些教授恐怕判断不了这个学生学位论文的水平够不够授予博士学位,那么这个学校会怎么做呢?一个很简单的方法就是看学木发表尤其是sc作为指标。 因为sCi起码有国际同行评议嘛。
我还是想跟与题主抱有同样观点的师弟师妹们说一下我的几个观点!
第一,水会发表的论文不一定是水文 ,只是水会上的水文占比比较高而己!院士写了篇综述发在了水会上,那不一定就是水文!这一点同样适用于期刊,很多人都觉得MDPI下的期刊比较水,开源不就是收钱嘛,能有什么水平!但是我发现最近很多大牛在MDPI的期刊上开始发文了,质量很不错,不输于top期刊!
第二,科研成果是否有价值 ,是否有创新性,说了不算,你也说了不算,是宙稿人说了算!千个读吉中有一千个哈姆雷特!你觉得这文章是废品,有的人觉得是宝藏!为了解决这个问题,才有了盲市制度,才有了同行评议!审稿人觉得他OK他就是OK,审稿人觉得应该把他挂了,那他就挂了!他申诉,那就再说!你可以把院士的博士论文翻出来看看,可能你觉得他写的也很废品,就不应该授予博士学位!那如果没有个制度,谁都可以评判一下的话,那不就乱套了吗?
第三,小论文的作用只是背书!国外很多高校都不要求发小论文,大论文达到一定水平后,就可以授予博士学位!国内自从提出了 “五不唯”之后,很多学校,比如清华,已经取消了对小论文数量的要求!
那发小论文的目的是什么?是青书!评市论文的时候,专家一看你的研究内容发表了很多SC期干文,那专家给你打个优秀或良好,他自己心里也有底。 说白了,盲市对于友家来说其实是个囚徒困境,因为专家不知道其他专家打多少分。 如果你博士其间一篇SC 都没有,专家大概率打C或D,因为他会认为你做了这么多年,没有一丁点儿成果是经元
同行评审的,或者是同行评市的结果都是认为你做的不好 ,那如果我冒险给你打了高分,其他专著给你打了低分 ,那不就突显出我的外行了嘛,为了保险起见我只能打低分 ,低分再错也是说明我要求严格,要求严还能算错吗?这就是你多发小论文的目的,就是得到好评的概率更大一些!你要是没有小论文,那你的大论文一定要足够硬,要不然就容易悲剧!
所以提交外市°和外南通过是两个概念,外南通过和顺利毕业是两个概念!决定你能不能被授予博士学位的环节是答办,外南只是为答辩背书而己!还是希望题主管好自己的事儿就可以了,如果你觉得NTU的博士很水,你也想去水,你大可以退学然后重新甲请!如果你觉得你比NTU的博士强,那就自信点儿,人这辈子要工作到60岁,滥竽充数°能充到60年吗?领导都是傻子吗?
请去查—下其他学校没有论文的博士有没有毕业的?
博士能不能毕业千要都看导师的要求,没有论文导师觉得你这几年工作还不错,那是差不多能毕业。 论文很多,导师觉得你做的不行照样延毕博导跟我们聊过他市的博士毕业论文 ,说有些同学—两篇水会就被导师放过了,他也觉得很震惊。 这种事情每个学校都有,非要质疑南洋理工博士的毕业要求,那作为NTU的博士,觉得很无语。
我们实验室的毕业要求是两篇顶刊,但是师兄师姐毕业基本都四五篇期刊,所以我们的毕业要求根本不低。 如果发的文章不够,老师即使勉强放过了,外南也很难通过。 NTU博士毕业了去当副教授教授的也挺多的,都看个人的选择和能力。 最近两年新加坡这两所招收的中国学生,很少是985以外的 ,生源提高了毕业要求不可能降低了。