德国马普所专题研讨会：多位学者批评“Nature远程团队不颠覆”新研究

698次阅读

导语

根据发表在Nature的最新研究，如果研究者能进行现场合作，实现突破性成果的可能性将会更大。原因在于：远程团队在创新思维生成上投入的时间较少，参与整个研究过程的人数较少，新进研究者的贡献也相对有限。然而，在近日德国马普所为这篇论文召开的特别研讨会上，来自欧洲多个单位的研究者认为，这种测量方式颇有不足之处，并对该研究结论提出了批评。学者们从颠覆性指数的测量方法、研究结果评估、现场团队重要性、远程团队面临挑战、过去重大突破是否影响未来创新等多个角度提出了观点。

论文通讯作者吴令飞是匹兹堡大学计算与信息系助理教授；通讯作者Carl Benedikt Frey是牛津互联网研究所Dieter Schwarz副教授，牛津大学曼斯菲尔德学院研究员；第一作者林意灵是匹兹堡大学计算与信息学院在读博士。吴令飞是集智科学家社群成员和集智-凯风研读营学者，2019年曾发表Nature封面文章；林意灵是集智科学家社群成员。对这项研究主要发现的介绍请见：Nature最新：远程合作往往沦为打工人，颠覆式创新还得靠面对面交流

研究领域：合作创新，科学学

德国马普所专题研讨会：多位学者批评“Nature远程团队不颠覆”新研究

Science Media Center Germany | 作者

林意灵 | 译者

原文地址：

https://www.sciencemediacenter.de/en/our-offers/research-in-context/details/news/weniger-innovative-forschung-in-remote-teams/

过去几十年来，科学的突破性研究减少，远程研究团队的增加可能是原因之一。匹兹堡大学和牛津大学的研究人员近日在发表在《自然》杂志上的研究中得出了这一结论，他们分析了过去半个世纪的2000万篇研究文章和400万项专利申请，使用了“颠覆性指数（D-score）分数”评估一个论文或专利是否有开创性。为某一主题领域的知识带来根本性改变的研究被认为是开创性的。在实际计算中，一篇论文的颠覆性指数反应了后续研究直接引用该论文，而不引用其参考文献的概率。此外，他们还研究了参与的研究机构的相互关系以及学术团队的各种特征。结论是，线下团队比远程团队更有可能取得突破性研究成果。研究人员解释了这一结果，称在远程工作的团队中，任务被更多地切碎，完整参与研究过程的人较少，年轻研究人员贡献较少，特别是科学研究的第一阶段，也就是想法构思的阶段太短。
远程工作团队不易创新的现象，其实还有其他解释，比如容易取得的重大发现已经被完成，年轻研究人员发表论文的压力导致深度研究较少，或者大量出版物淹没了新颖想法的产生。
我们（德国马普所）针对这个论文召开了研讨会。来自多个机构的学者们重点讨论了以下问题：颠覆性指数是否能识别开创性研究？远程工作的增加在开创性研究减少中究竟起到了多大的作用？
与会人员Harry Collins博士，社会科学教授，英国卡迪夫大学Christian Leibel，路德维希·马克西米利安大学社会学研究员，马普所管理部Ulrich Dirnagl教授，柏林夏里特大学实验神经学主任Dirk Tunger博士，科学传播研究员，朱利希研究中心Jürgen Renn教授博士，马普所科学史研究所所长Wolfgang Huber博士，欧洲分子生物学实验室（EMBL）数量生物学和统计学工作组组长

Harry Collins博士社会科学教授，英国卡迪夫大学
颠覆性指数作为测量方法的评价
“科学合作的关键在于默会知识，这种知识植根于科研实践中，并通过人际社交过程传递。因此，我对基于论文引用来代表知识之间关系的研究持怀疑态度。科学家是否引用一篇论文，原因多种多样。理由包括为了讨好审稿人而引用审稿人之前发表的论文。实际上，近年来’科学复现危机’出现的原因之一就是，研究结果因为例行引用习惯而被引用，这种习惯常见于许多科学领域，甚至还被自动工具推广，从而导致研究结果的有效性是虚假的。大量引用可以使一项工作看起来很科学，但实际上并没有产生真正的科学价值。所以我不会依赖颠覆性指数来评价知识的重要性。”
对结果的评价

“这里的情况似乎是，作者使用的庞大的数据库使得统计很容易显著，然而在如此巨大努力下，效应量（effect size）却显得出奇地小，这不是值得采取行动的效应量。实际上，在井喷式论文出版的背景下，已经发表的论文之间在质量上有巨大差异，其中顶多只有十分之一的论文可能真的有用。因此，我并不认为使用庞大的数据库研究大量论文会有多大帮助。在我看来，使用参与式方法和访谈更能有效地解决这个问题。”
基础研究中突破性进展比例降低的原因是什么，是否是主要突破已经被实现？“考虑到这种大数据方法本身的问题，我不会对此结论过多解读。”
线下团队的重要性
“我认为在科学中，个人间的直接交流至关重要。这一点在我参与的一项研究[1]中有所阐述，并通过一项关于疫情封锁期间经历的调查问卷[2]进行了检验。但是，尽管相距甚远，默会知识的传递是可以通过一系列国际研讨会和会议实现的。例如，大约有1250名科学家参与了引力波的发现，并因此获得了诺贝尔奖，而他们多年来每年会在不同地点会面几次。这样的会面足以发展出一种新的‘实践语言’，来应对不断进化的科学领域。”
“促进和支持国际会议的持续举行对于突破性进展至关重要。但有一类科学可能不受此影响。这些是已变得常规化的科学领域。分子生物学就是这种情况的一个例子[3]。”

Christian Leibel路德维希·马克西米利安大学社会学研究员，马普所管理部
本研究表明，与在线下团队相比，远程团队进行的开创性研究较少。颠覆性指数被用作量化开创性研究的衡量标准。
“尽管颠覆性指数在研究中扮演了核心的角色，但大量关于该指数优劣的新文献却被忽视了。作者将颠覆性指数描述为‘新提出但广泛验证的衡量方法’，但鉴于目前的研究状态，这一说法是有争议的[4]。其他研究测试了颠覆性指数的有效性，却得出了不一致甚至相互矛盾的结果。总的来说，使用颠覆性指数伴随着一定的不确定性。”
“我认为，远程团队进行的颠覆性研究较少的这一发现应被谨慎解读。一方面是因为，Lin, Frey 和 Wu 在他们的研究中使用了Funk和Owen-Smith[5]提出的颠覆性指数的原始版本。然而，现在有了对颠覆性指数显著改进的新版本[4]。这就引出了一个问题，即这项研究的发现是否也能被改进后的颠覆性指数复现。
此外，Lin, Frey 和 Wu对颠覆性指数的解释过于简化：将任何D值大于零的出版物归为开创性，D值小于零的归为非开创性。实际上，大多数出版物的颠覆性指数非常接近零，因此，有很多出版物的颠覆性指数在-0.01和0.01左右。这些出版物在D指数上的差异非常小，但研究却以0为界限将其分为两类。考虑到这个指标的局限性，原文作者发现远程团队与线下团队相比产生较少的突破性研究，这种差异实际可能仅仅是由于颠覆性指数的微小变化所致。特别值得注意的是，远程团队和线下团队之间的差异实际上相当微小，仅为六个百分点（28%对比22%）。此外，还应该指出的是，对于某些学科，尤其是人文和社会科学，文献计量数据的质量不是特别好。一般来说，不建议将文献计量指标应用于社会科学和人文学科。因此，不应毫不犹豫地将Lin, Frey 和 Wu的发现应用于所有科学领域。”
“总的来说，需要更多未来的工作去支持远程团队减缓了科学进展的这一发现，这之后才能探索其中的原因。仅仅基于这一项研究就推动学术系统中远程与线下团队的重新布局，甚至直接减少远程工作比例，将是极为不成熟的。”

Ulrich Dirnagl教授
柏林夏里特大学实验神经学主任
使用一个（过于）简单的指标（“颠覆性指数”），Lin 等人分析了在1960年至2020年期间发表的大量论文和专利，发现了尽管在不同地点的科学家之间的合作有所增加，但这些“远程合作”相比于本地团队的研究产生的‘颠覆性’成果较少，即开创性成果较少。
“我对该文章的方法论以及由此得出的结论都持有很大的怀疑。在我看来，结果完全基于方法论，因此本质上是一种人为造成的结果。主要批评点有：一个发现是否具有开创性，不能仅仅通过一个从-1到+1的数字来衡量，即使之前有些发表在名牌学术杂志——主要是同一批作者的研究——声称如此这个指数经过验证，他们的‘验证’同样值得质疑。
我的批评包括：
1. 颠覆性指数没有考虑到不同科学领域中不同的论文发表实践（领域之间的差异性），也没有考虑到随时间变化的论文发表实践（时间上的变化）。2. 这项研究的方法论的另一个重要部分依赖于作者在已出版论文中基于作者贡献声明关于团队内部分工的研究。每个科学家——尤其是年轻科学家——都知道，这些作者贡献声明往往与现实无关，而更多地与研究团队中的权力结构有关。3. 关注‘颠覆性’也否定了所谓常规科学[6]的贡献，正是现有这些‘常规科学’，才使得‘颠覆性’——如果科学中真的存在这样的事物——成为可能。4. 研究在评价突破进展时，只考虑其他论文引用，没有考虑到科学成果在科学界之外的广泛社会影响，而这对于某些研究领域是一个重要的方面。5. 由于方法论的复杂性——包括使用机器学习模型进行预测团队成员贡献——一些计算结果无法轻易被其他工作组复制。6. 即使你完全遵循论文方法论并认为所找到的分数是有意义的，该研究汇报的效应量也很小（即‘距离’对‘颠覆性’的影响），它们更多是因为统计显著性而不是实际相关性而引人注目。7. 除此之外，统计数据本身也是有问题的，比如缺乏关于灵敏度、特异性、统计功效和其他的定量信息。”
“为什么这项研究会发表在《自然》上呢？因为它保证了期刊的关注度。这也从另一个角度启发我们思考为什么科学存在创新递减的现象。期刊往往更高度重视容易引起公众注意的发现而不是深入的研究。这对研究资助分配、科学家的职业发展等方面都产生了后果。当然，这是另一个话题了……”
当被问及在多大程度上，开创性研究比例降低是因为基础研究中的主要突破已经实现时：
“这当然是一个重要的解释；所有学科中的‘低垂的果实’已经被摘取。我们必须不断拓展边界，以从知识之树上采摘更多果实。这也是团队科学的任务，不论是本地还是远程团队。文艺复兴时期的科学家和爱因斯坦的时代已经结束，尽管诺贝尔奖这样的历史遗迹依然让我们相信那个时代还在继续。为了发现新事物或者扩展已找到的事物，我们需要越来越多的智力投入和更复杂的技术——正如托马斯·库恩所说的‘常规科学’[6]。由此，才能产生开创性成果，而不是靠那些相对罕见且不可预测的范式转变（任何能预测这一点的人都会在很短的时间内成为亿万富翁）。”
在线下研究团队工作的重要性
“至少自从冠状病毒大流行以来，这里所呈现的‘远程’（远距离）与本地、科学家之间的个人互动之间的二分法已经不存在了。科学家们现在通过ZOOM或TEAMS在虚拟互动场景中合作，并且这样的合作能跨越数千公里，而这些场景原本是需要在咖啡厅或实验室中面对面进行。即使有人可以支持这种典型的炒作性结论（因为这是一篇《自然/细胞/科学》级别的工作），这项研究充其量只是回顾了历史，对此刻的科研实践没有太多指导意义。如今的科学在远程和本地合作的复杂交织中进行，你们甚至在自己的实验室中也是更频繁地通过视频通话，而不是在实际生活中与团队成员会面。”
当被问及如何看待研究中介绍的远程团队难以一起构思概念时：
“如上所述，一方面，我认为这部分结果是微不足道的。当多个研究小组合作时，随着作者数量增加，形成概念、实施、分析和讨论在更多人之间进行。对于个人而言，这降低了在‘形成概念（想法生成）’方面获得认可的可能性。然而，由于研究小组中存在权力结构，这种情况对于‘年轻人’和‘老年人’的影响是不一样的。年轻人提出想法的可能性并不比老年人少，但老年人更频繁地通过重要的作者身份来彰显自己的贡献。“

Dirk Tunger博士科学传播研究员，朱利希研究中心
我认为，仅像作者使用的方法那样，从科学出版物上的作者地址信息，是难以断定这项研究是线下完成的还是远程进行的。地址信息有时只包含了科学家的隶属机构，并没有这项研究是在哪里被创造的信息。在许多情况下，作者不会在隶属关系中提及隶属机构地址，而只写访问研究的地址。因此，我认为从隶属关系推断作者团队的合作形式——是在线下的还是远程的——是不合理的。”
“另一方面，我认为根据其论文引用来判断一项出版物的颠覆性也是不可能的。颠覆性不仅仅是知识来源的问题，还是与社会的关联程度的问题。例如，第一代微波炉滞销的原因是必要的社会变革尚未发生。只有当这种变革完成后，微波炉才变得成功。如果创造颠覆性工作像研究中描述的那样轻易，只需要获得独占性论文引用，那么未来每个人都会设法这么做。在我看来，颠覆性需要从理论到实践的整体思考。只有这样，一个想法最终有多颠覆性才会得到决定。

Jürgen Renn教授博士马普所科学史研究所所长
创造性的科学合作需要一种只有在个人间相遇时才可能产生的自发性和活力。这一点对于研究当中那些无法预先规划的部分尤其如此。比如像新想法的探索、概念性问题的提出以及新思路的意外融入。这样的头脑风暴还需要团队成员相互之间的信任和只有在物理空间上的接近时才能产生的熟悉感。科学史提供了许多这样的例子；毕竟，早在数字技术出现之前，科学合作就已经存在着远程交流与面对面相遇之间的选择。

Wolfgang Huber博士欧洲分子生物学实验室（EMBL）数量生物学和统计学工作组组长
颠覆性指数作为测量方法
“颠覆性指数旨在量化研究文章（或专利）的开创性或‘颠覆性’程度，区别于那些发展现有见解或将其转化为技术和产品的工作。然而，基于绝大多数被分析的文章的可用信息，无法判断他们的的开创性。颠覆性指数这种工具旨在基于文章的少量可获取信息（基本上是引文统计：像是哪篇文章引用了哪些其他文章）来进行此类分析。颠覆性指数并不声称对个别文章是准确的，而是只想在统计层面上与颠覆性相关联。但即使对于这一主张，现有工作也几乎没有提供任何实证证据。我也无法验证颠覆性指数的合理性，因为数据不是公开的。”
“作者选择了颠覆性指数的一种特定数学定义（数学公式）。然而，还有许多同样合理的替代定义。从文章中不清楚为什么作者选择了这个特定公式。”
“尽管颠覆性指数原则上变化范围是从-1到1，但其实际值范围接近零：对于95%的所有文章，它在-0.04到+0.04之间。研究没有明确说明，结论在多大程度上是由于这些微小差异导致，以及所声称的差异与实践是否真的相关，同时文章的数据也不是公开可用的。”
结果评价
“我们必须记住，相关不等于因果。根据该研究，远程团队产生较少的开创性创新。然而，分析并没有清楚地表明，这是因为距离决定了结果，还是因为某些项目从一开始就被设定得具有更多或更少的创新性。或者是否有其他第三方因素同时决定了这两者。”
“要从这项分析中真正得出可以指导实际的结论，还需要考虑成本和实用性，这在这里并未完成此类分析。例如，相较于组建远程团队，本地组建同等效力的团队通常会更加昂贵和耗时，有时甚至根本不切实际。并且论文中的数据对此没有任何说明。并且，鉴于每个项目的颠覆性差异并不特别大，考虑到远程团队的低廉成本，如果以一块钱而不是一个团队作为思考成本的方式，远程团队可能是每单位成本更颠覆的。”
当被问及基础研究中突破性研究比例较低是否可能是因为主要突破已经被实现时：
“我认为这是无稽之谈，也是缺乏想象力的表现。认为基础研究中的主要突破已经发生的观点至少自1860年代以来就存在，而这种观点那时可能和现在一样是错误的。”
在线下研究团队工作的重要性
“远程的合作能够促进更多的多样性和包容性。不同地方的人，或者由于各种原因，无法在同一重要时间内出现在某个特定位置，都可以一起工作。因此，通过启用远程工作形式，可以吸纳来自不同地理、文化和社会背景的人员参与，从而促进更广泛和多样化的创新。”
“远程与物理空间上的接近并不是相互排斥的。我认识的许多成功团队都结合了这两者，例如定期面对面地进行团队活动、研讨会等，之后使用电子通信和云技术远程继续工作。根据我的经验，一些社会因素，比如团队建设和成员之间的熟悉度，对于有效合作至关重要。毫无疑问，面对面交流比通过线上聊天或电子邮件更能解决冲突和分歧。然而，这并不意味着你们必须一直坐在同一个房间或建筑物中。”
“当前研究基于1960年至2020年这个时期的数据。今天的许多重要协作工具，如视频会议、在云端的办公软件、GitHub、电子邮件和聊天工具，都比当前研究分析的时期要年轻得多。COVID-19疫情也改变了工作和互动模式，但并未包含在当前研究中。在我看来，是像作者说的那样，‘距离使年轻研究人员难以贡献想法’，还是说大多数远程团队从组建时，就不是以让年轻人和地位较低的人参与为目标，这一点是不确定的。

参考文献：[1] Collins H et al. (2022): The Face-to-face Principle. Cardiff University Press. DOI: 10.18573/book7.[2] Collins H et al. (2022): Scientific conferences, socialisation and lockdown. Social Studies of Science. DOI: 10.1177/03063127221138521.[3] Collins Harry et al. (2023): Hypernormal science and its significance. Perspectives on Science. DOI: 10.1162/posc_a_00572.[4] Leibel C et al. (2023): What do we know about the disruption index in scientometrics? An overview of the literature. Scientometrics. DOI: 10.1007/s11192-023-04873-5.[5] Funk RJ et al. (2017). A dynamic network measure of technological change. Management Science. DOI: 10.1287/mnsc.2015.2366.[6] Kuhn TS (1962): The Structure of Scientific Revolutions gehen. University of Chicago Press.

计算社会科学读书会第二季

计算社会科学作为一个新兴交叉领域，越来越多地在应对新冠疫情、舆论传播、社会治理、城市发展、组织管理等社会问题和社科议题中发挥作用，大大丰富了我们对社会经济复杂系统的理解。相比于传统社会科学研究，计算社会科学广泛采用了计算范式和复杂系统视角，因而与计算机仿真、大数据、人工智能、统计物理等领域的前沿方法密切结合。为了进一步梳理计算社会科学中的各类模型方法，推动研究创新，集智俱乐部发起了计算社会科学系列读书会。

【计算社会科学读书会】第二季由清华大学罗家德教授领衔，卡内基梅隆大学、密歇根大学、清华大学、匹兹堡大学的多位博士生联合发起，进行了12周的分享和讨论，一次闭门茶话会，两次圆桌讨论。本季读书聚焦讨论Graph、Embedding、NLP、Modeling、Data collection等方法及其与社会科学问题的结合，并针对性讨论预测性与解释性、人类移动、新冠疫情、科学学研究等课题。欢迎从事相关研究或对计算社会科学感兴趣的朋友参与学习。

详情请见：

数据与计算前沿方法整合：计算社会科学读书会第二季启动

复杂系统视角下的科学学读书会

科学是研究实践、是理性精神，也是一个由学者、文献、科研项目、科学思想与灵感等一起构成的自组织、自生长的复杂系统。科学学则是一门学科，旨在深入理解科学研究的种种因素并推动科学发展。认知层面上，从复杂系统的视角研究科学，能否给我们带来对科学更深刻的理解？个人科研实践中，什么样的论文高引？怎样规划科研路线？哪些课题大有可为？
集智俱乐部组织了6期「复杂系统视角下的科学学」读书会，讨论科学学相关的科研进展和经典文献，形成了包括数十位相关领域的研究者和硕博在内的科学学社区。欢迎感兴趣的朋友报名加入交流讨论。