作者 | 于剑、高新波
编辑 | 贾伟
编者按：近日，教育部、科技部发布重磅文件，要求规范SCI论文相关指标应用，树立正确的论文评价导向。这一重大决策显然地必将影响着千千万万从事科学研究的人们，因此一经发出，立即引发了广泛的关注和讨论。 计算机科学（同样包括人工智能领域）同样会受到广泛影响。北京交通大学于剑教授和西安电子科技大学高新波教授认为，"顶会顶刊模式"是当今中国大陆计算机流行的科研模式，该模式曾推动了中国科学技术的进步和发展，但如今却成为科学原创性的阻碍；我们需要科研评估体制的改革，特别是科研人员评估体制的改革，希望能有一批人不以短期目标为主，能够追求更长远的目标。
本文转载自公众号：中国计算机学会
原标题：科研模式与评估体制
包云岗发表在CCCF 2020年第1期卷首语上的《伯克利科研模式的启发》，我们反复读了三遍。在当今这个时代，好多文章能让人读完一遍都难，更别说再三研读了。这篇文章令人深思，但文中对科研模式的划分似可商榷。
科研存在轻工业模式吗？
简单说来，科研“轻工业模式”是指发表大量高水平论文，科研“重工业模式”是指做出高水平原型系统。诚然，高水平原型系统由于难度高、工作量巨大，不可能有很多。高水平的论文难道有很多吗？这可能取决于对高水平论文的定义。如果高水平论文是指发表在顶级会议、顶级期刊上的文章，那么包云岗的意见也许是正确的。因为近年来，顶级期刊、顶级会议越来越多，论文的录用也越来越慷慨，甚至在同一个会议上，同时发表九、十篇文章惊人记录的高手也是大有人在。
如果学生时代甚至获得教授职称以前，认为高水平论文就是发表在顶会、顶刊的论文，而且这样的论文越多就代表学术水平越高，这也许是无可厚非的，甚至值得赞赏和倡导。毕竟学生要在三五年内毕业，教师要在三五年内晋升职称。但是，如果真的把顶会、顶刊论文就等同于高水平论文，对于整个社会来说，则是极大的误导。在某种程度上，甚至可以说是本末倒置、是非不分了。
举例来说，俄罗斯数学家格里戈里•佩雷尔曼(Grigory Perelman)解决庞加莱猜想(Poincaré conjecture)的三篇文章都是在arXiv上发布的，甚至不能算是正式发表的论文，但是能说这不是高水平论文吗？日本诺贝尔奖获得者本庶祐曾经说过，真正一流的工作往往没有发表在顶刊上。对于顶会，大抵也是如此。当然，这并不是说顶会、顶刊上就没有一流的工作。
严格意义上说，只有包含一流学术成果的论文才是高水平论文。这样的“高水平论文”与“高水平的原型系统”相比，对工作量和时间的要求一点也不低。这样的高水平论文，从孕育到完成，常常以八年、十年为时间单位，这还是鸿运当头的时候。当年的陈景润，今天的张益唐，为了解决一个数论问题，耗费的时间与精力，显然不是一篇顶会、顶刊论文能比拟的，也绝不会比一些高水平原型系统少。这样的高水平论文，也不见得比高水平原型系统数量多。
非常遗憾的是，除了极少数一流学术成果能即时判定外，大多数一流成果的判定需要较长的时间，其时间跨度经常以十年，甚至百年为单位。人生有几个十年？即便是著名的爱因斯坦，也并不是因其最重要的研究成果——相对论而获诺贝尔奖的。
顶会顶刊模式与评估体制
在中国改革开放初期，很多领域的研究还达不到顶会、顶刊的水平，更不要说更高水准了。因此，以顶会、顶刊论文为评判批准，对于当时国内的研究水平，无疑具有极大的促进作用。在这样的情况下，如果人人努力，个个争先，顶会、顶刊文章必然是韩信点兵，多多益善。包云岗定义下的科研“轻工业模式”必然流行。这种模式称为“顶会顶刊模式”，似乎更为准确。
顶会、顶刊的论文，大多体现的是热点问题与时髦方法，虽然会有极少例外。一个问题或一个方法是热点，必然有一个特征，就是做的人多。所以顶会、顶刊的论文，大多是热点问题的扩展修正或热点方法的延伸改进，特别适合学生和年轻老师练手——既有一定难度和品味，又不至于老虎啃天，无处下嘴，可以比较容易地做到前有车，后有辙。时间可控，结果可期，可以做批量化的研究，既能显示研究水平，又不至于露怯，让同行小瞧。
更何况，当下国内的所有绩效考评，从学生毕业到教师晋升晋级，大多以年度为单位。能以年为单位产出的最常见优秀成果，可能也就是发表在顶会、顶刊上的论文了。平均来说，顶会、顶刊的论文，水平也还是相当不错的，它们也是很多未来研究的起点。对于学生和年轻研究人员，是否能发表顶会、顶刊论文，确实是一项衡量科研能力的客观标尺。对于他们来说，如果只有一流工作才算成果，那实在是太苛刻了，可能全世界也剩不下几个人适合做科研了。目前来看，用顶会、顶刊论文来评估学生和年轻研究人员，是一个相对具有操作性的合理指标。
一流成果与学术自信
当前的各种考核，确实也不以一流成果为基准。发表顶会顶刊论文，是应付当前各种考核的一大杀手锏。在这样的考核体制下，鼓励人们去做真正一流成果，效果等同于劝人自动退出学界。但是，如果止步于此，认为顶会顶刊就是科研最高水平，显然就像登山到了半山腰，却以为半山腰就是山巅一样可笑。
实际上，经过四十多年的开放改革，国内很多方向的研究水平已经达到了顶会顶刊的水准。国家对于研究人员的期望，也已经不再是跟踪模仿，而是原始创新。因此，对于研究人员特别是正高级职称研究人员而言，不宜再以“顶会顶刊模式”作为自己追求的“大目标”了，而只能作为训练学生的“小目标”。正高级职称研究人员应当不再满足于跟踪模仿、改进修正的“从1到N”的研究，而是要追求原始创新、颠覆既有的“从0到1”的研究。即便没能彻底解决问题，能提出原创问题或猜想也很好。做公开的难题，做有用的研究，做自己的问题，这是一个学者成熟自信的表现。可以解决难题促进科学进步，可以攻克难关推动技术革新，也可以勇闯无人区开辟新天地。这样的勇气，这样的定力，这样的自信，这样的气魄，这样的志向，岂是顶会、顶刊论文可以度量的？只有到这个时候，我们才能自信地说，我们已经有一流的人才了，做出一流的成果也是迟早的事。
结束语
为此，我们需要科研评估体制的改革，特别是科研人员评估体制的改革。囯外终身教授体制的一个目的，就是希望能有一批人不以短期目标为主，能够追求长远一些的目标，比如以一流成果作为目标。总体看来，国外的终身教授体制大致是成功的。如果没有这样的合理体制保护，科研以发表顶会、顶刊论文为目标还是比较安全合理的，顶会顶刊模式必然流行。
期待中国也能有类似国际上终身教授一样的制度。在这样制度的保护下，一批屠呦呦式的科研人员一定会不断涌现的，我们期待着！
延伸阅读：
CCCF卷首语 | 伯克利科研模式的启发
作者 | 包云刚
国内陷入了某些科研模式上的思维定势。如何打破？伯克利给了我们一些启发：科研模式也是多元化的，“科研轻工业模式”发表大量高水平论文能产生影响力，而“科研重工业模式”做出高水平原型系统，可能产生更大的影响力。
近来，RISC-V（第五代精简指令集架构）在全球受到越来越多的关注。2019年10月，著名财经杂志《经济学人》(The Economist)刊出了“Your own RISC”一文，判断“像RISC-V这样的开源硬件也许会在未来十年实现类似开源软件式的扩张”。RISC-V的发明者与推动者——加州大学伯克利分校在计算机体系结构领域的引领地位，令绝大多数大学和研究机构难以企及。
然而3年前，依托于中科院计算所的计算机体系结构国家重点实验室（以下简称国重）开展的一项论文发表统计工作，却让我们对伯克利的论文发表情况产生了困惑，甚至一度怀疑统计数据是否出了问题。当时国重统计了2006~2015十年间全球所有研究机构（包括企业）在计算机体系结构领域四大国际顶级会议(ASPLOS、HPCA、ISCA、MICRO)上发表论文的数量，结果显示：德州大学奥斯汀分校、威斯康辛大学曼迪逊分校和密歇根大学位列前三（分别发表了99篇、92篇和90篇）；计算所共发表了19篇，位列世界第25名、亚洲第一。但是，我们惊讶地发现伯克利竟排在计算所之后，10年间只发表了18篇论文！而2010年启动的RISC-V项目正好处于这十年间。
这表明伯克利在计算机体系结构领域的学术声誉和产业影响并不是通过论文数量产生的。伯克利有自己的学术评价标准，并不追求论文数量，那他们追求的是什么呢？带着这些困惑，国重开始探究伯克利的科研模式，发现另一个令人吃惊的数据——虽然那10年间伯克利只发表了18篇论文，但伯克利在5年里(2011~2015)围绕RISC-V进行了12次流片。这种处理器级别的流片次数和频率远远超出了全世界所有其他大学！5年12次流片必然需要大量的工程投入，以至于很多美国大学的教授对此并不认可，他们甚至认为大量工程会扼杀创新思想的产生，但事实确实如此吗？
回顾伯克利的科研历程，可以发现他们在过去几十年研制了大量的原型系统，不仅推动了技术进步甚至颠覆产业，也培养了一代代杰出人才（其中多位获得图灵奖）：1950年代CALDIC系统(Doug Englebart)，1960年代Project Genie系统(Butler Lampson与Chuck Thacker)，1970年代BSD Unix操作系统与INGRES数据库系统(Michael Stonebroker)，1980年代RISC处理器(David Patterson)，1990年代RAID存储系统与NOW机群系统……如果用一句话来总结伯克利的科研模式，那就是——热衷于研制真正能改变现状的原型系统，哪怕需要大量工程投入。国重主任孙凝晖院士称之为“科研重工业模式”。
最近李国杰院士在《新时期呼唤新的科研模式》一文中指出，国内陷入了某些科研模式上的思维定势。如何打破？伯克利给了我们一些启发：科研模式也是多元化的，“科研轻工业模式”发表大量高水平论文能产生影响力，而“科研重工业模式”做出高水平原型系统，可能产生更大的影响力。但是“科研重工业模式”也是一种“Hard模式”，论文少、见效慢、风险高，即使在全世界范围内愿意选择这种模式的学者也很少。不过在美国，至少还有伯克利在践行。而在中国，随着论文数量不断攀高，是时候通过科研机制上的创新，鼓励一部分人去试一试“科研重工业模式”、去试一试“Hard模式”了。
