吴新宙入职NVIDIA首次专访｜加大中国区招聘，建设全球自动驾驶解决方案

  新智元报道  

编辑：润 好困

【新智元导读】AI算力巨头NVIDIA，在自动驾驶领域同样是头部玩家。最近发布的包括小米首款汽车在内的多款新车，都采用NVIDIA DRIVE Orin芯片。今年8月底入职NVIDA的吴新宙在与新智元的独家专访中透露，未来NVIDIA将持续重注中国市场，并通过扩充中国工程师团队，持续在自动驾驶赛道发力。整个自动驾驶行业，也将迎来巨变。

这段时间，国内连续多款车型重磅登场，堪称是新能源汽车圈最精彩的年末压轴大戏——12月20日奇瑞星途星纪元ES发布；12月27日极氪007上市等等……就在昨天，小米的首款车型SU7也正式亮相！发布会上，小米SU7一镜到底全程零接管的智驾演示惊艳众人。不仅如此，人流密集区域的自动泊车也丝滑流畅。如此顺滑的智驾体验背后，是变焦BEV、道路大模型、超分辨率占用网络等先进的智能驾驶技术。而支撑这些技术的便是超强的算力芯片和感知硬件。这3款最新发布的新车，都不约而同地采用了NVIDIA DRIVE Orin自动驾驶芯片，提供充足的算力支持。作为智能汽车的「智能源动力」，自动驾驶芯片和配套的自动驾驶平台是保障汽车安全性和驾乘用户体验最核心的组件之一。而AI领域的算力巨头NVIDIA，正是自动驾驶赛道中的头部玩家。

NVIDIA DRIVE Orin今年8月，吴新宙正式加入NVIDIA，并在车圈引起了不小的轰动。最近，吴新宙本人也回到国内，以NVIDIA汽车事业部负责人，汽车副总裁的新身份会见了国内各家车企和很多合作伙伴。新智元在吴新宙即将返回NVIDIA美国总部的当天，对他进行了一次专访。他详细地和我们聊了NVIDIA在自动驾驶业务和中国市场的布局上会有什么样的变化，以及未来NVIDIA在这一领域的发展方向。

吴新宙加入之后，NVIDIA加大对中国市场支持

在一个多小时的专访之中，吴新宙多次强调了中国对于NVIDIA的自动驾驶业务的重要性。在他看来，中国市场是世界范围内极少数被完全证明了自动驾驶商业价值的地方。中国车企的产品经验和积累已经走在了世界前列。NVIDIA一直致力于推动中国自动驾驶市场的发展。吴新宙的上任，更是体现了NVIDIA对中国市场的重视与投入。一方面，中国市场的旺盛需求和特殊的驾驶环境都需要更好的产品来满足，NVIDIA从云端到车端的NVIDIA DRIVE端到端平台，将成为开发出能充分满足中国市场需求的产品的前提。另一方面，中国能提供全世界少有的有丰富量产经验、落地经验的人才。如果能将他们与NVIDIA现有的AI团队结合起来，NVIDIA将进一步扩大影响力，为中国、乃至全球市场提供安全、领先的产品。

中美联合，「007」无缝研发

NVIDIA中国团队不仅仅是为了解决中国市场的业务需求，也是NVIDIA全球研发团队的有机组成部分。在这样的大背景下，吴新宙加入NVIDIA 3个月后，NVIDIA在中国开放了上百个自动驾驶岗位的招聘。这些岗位，对候选人的技术背景有很高的要求，需要在感知、定位、规控三方面有过实战经验，而且在理论上也要有深刻理解。

NVIDIA微信公众号近期发布的招聘信息

吴新宙希望中美两边的团队能够形成一个飞轮的开发模式，在中国的团队解决完问题以后，把当天的测试问题或者是还没解决完的问题，可以给到美国时区的团队接着来做，从而实现项目侧的7*24小时不间断稳定运行。NVIDIA需要有自动驾驶产品落地经验的人才来完成从技术到产品的「最后一公里」，将NVIDIA积累的大量自动驾驶方面的前沿技术落地为能服务于用户的产品。同时，他们也需要在工作流程上能和身处美国时区研发人员无缝衔接，充分沟通交流，甚至是轮岗，将中国的落地经验整合到研发的工作流程之中。这样就需要那种「进能落地保交付，退能研发战未来」的全能型人才。将中国的人才和市场全面整合到NVIDIA自动驾驶业务的版图之中，是吴新宙加入NVIDIA后的首要目标之一。而长远来看，按照吴新宙的说法，NVIDIA将以赋能者，竞争者，引领者三个不同角色，深度参与到全球智能驾驶市场的竞争中来。

NVIDIA在自动驾驶领域的雄心

在自动驾驶领域的长期投入和积累，以及在芯片和AI领域的丰富经验，使得NVIDIA能为车厂，自动驾驶服务供应商，根据他们不同的需求，提供不同的软硬件服务，从而促进整个行业的快速发展。NVIDIA是全球自动驾驶市场的赋能者「一切恐惧，都源于火力不足。」NVIDIA给全球的客户都提供了最好的硬件，然后再加上最好的底层软件，以及深度学习工具链。在硬件方面，NVIDIA每隔2-3年就会推出具有代际差的高性能AI处理器，保障算力遥遥领先。

NVIDIA自动驾驶芯片演进

NVIDIA DRIVE Thor，下一代车规级芯片，预计2025年上车其次，不管是NVIDIA的数据中心还是车规级芯片，其实都是同源的，它们都基于相同的架构构建。因此，车厂在跨不同平台芯片，或者跨不同芯片系列所开发的软件和API，绝大部分是可以被重复利用，并且可以迁移至下一代产品上。例如，NVIDIA DRIVE整个智驾平台，最鲜明的特点是开放的、模块化的平台，客户或者生态合作伙伴可以基于NVIDIA的平台去做自己定制化的开发，也可以选择自己所需要的整个软件堆栈中的任何一层去构建他们的自动驾驶技术。这种在适配性、可扩展性上的优势，能为车辆的更新换代带来极大的便利。在仿真软件方面，由NVIDIA数十年技术积累打造的NVIDIA Omniverse，可以帮助车企实现从整车设计，到生产制造，再到测试验证，甚至到销售体验上的全面赋能。尤其是当下在自动驾驶领域，市场一直以来饱受长尾场景、真实世界数据不足、有效数据低以及数据隐私保护等问题的困扰。而由Omniverse驱动的NVIDIA DRIVE Sim，就提供了一个物理精准的仿真平台，让车企能够快速、高效地进行大规模的自动驾驶汽车测试和验证。具体来说，开发人员可以通过DRIVE Sim，反复进行常规驾驶场景的仿真，并实现一些在现实世界中进行测试可能风险过大的罕见和危险情况的仿真。另外，Omniverse中的生成式AI功能还可以将真实传感器数据引入仿真中，生成可交互的仿真环境。在制造上，车企可以通过将汽车的产品开发工作流程引入虚拟世界，来规避传统工作流中存在的瓶颈，从而提升效率、缩短时间、降低成本。比如，梅赛德斯-奔驰正在利用Omniverse将改造或建设总装车间的速度提高了一倍，而且还通过AI的引入将过程中的能耗节省了20%。在营销上，比亚迪与梅赛德斯-奔驰联合打造的汽车品牌腾势汽车，正在与市场营销巨头WPP一同使用Omniverse Cloud构建和部署了首个汽车配置器。NVIDIA将以竞争者的身份参与到自动驾驶产品（全栈软件）的竞争中来吴新宙表示，自动驾驶的量产落地一定是汽车业发展未来十年最主要的趋势，且未来汽车生态圈一定是（少）部分车企选择自研，其他车企则是通过和供应商的合作来实现。NVIDIA汽车业务的核心策略就是为不同车企的不同需求，提供不同的产品和服务。这其中也包括为部分全球车企提供一站式的软硬件自动驾驶解决方案。NVIDIA在全球范围内发力全栈软件开发，在这里头肯定会有一些竞争。NVIDIA认为竞争是健康的，这也是对汽车市场重要性的认可。安全的自动驾驶，只有通过更多行业参与者的合作才能实现，无论是竞争对手、其他公司、合作伙伴、供应商、监管机构或是政府。只有通过更多行业参与者的密切合作，才可以应对我们这个时代最复杂的挑战之一。在接下来的2到3年，NVIDIA全栈软件最主要的任务是在奔驰和捷豹路虎这两个全球伙伴车厂完成产品落地。这个过程对NVIDIA来说也是一个学习的过程，特别是向中国区的同行们取经；包括吸纳更多来自跨行业的专家人才，壮大现有团队，夯实量产经验，完成量产流程的优化，以及在车企客户量产过程中始终保持敏捷和快速反应。吴新宙在其过往履历中已经证明这些是可以做好的地方，并且他有经验可以复现。引用他的原话，他需要在NVIDIA「再成功一次」。NVIDIA在未来落地产品上，在LLM上积累的经验，一定也会体现在最终交付的产品中。吴新宙希望，NVIDIA和车厂，能够充分发挥LLM的潜力，将自动驾驶的用户体验变得更顺滑自然、更安全。NVIDIA将以引领者的姿态推动自动驾驶技术的发展在吴新宙看来，未来自动驾驶的发展有两个重大趋势，自动驾驶算法栈的大模型化，以及更高阶（L3/L4）自动驾驶的落地和量产。而NVIDIA，将在这两个方向都承担「引领者」这样的角色，带领行业进入自动驾驶驾驶的下一个阶段的角逐。首先，作为技术发展的下一个大方向，大语言模型将会直接对现有的软件架构产生深远的影响。目前，感知——预测——规控中的每一个任务，都是由不同的小模型驱动的。而LLM或者说VLM（vision language model），最终可能会实现这些模型的整合，变成一个端到端的模型。不难想象，下一代的自动驾驶汽车架构，大概率会建立在大型、统一的AI模型基础之上。这些模型整合了车辆堆栈的各个层，包括感知、规划和控制等等。当然，如何真正地用更强大的模型和更多的更好的数据闭环去提高整体算法的能力，还需要更加综合性的优化和部署。在吴新宙看来，自动驾驶的未来一定是AI定义汽车。通过车端算法的大模型化，云端的训练体系和仿真能力，能够很快地促进自动驾驶技术的迭代和优化。NVIDIA目前在大语言模型的训练，部署上，包括软硬件的联合优化上，都是投入巨大；从某个意义上讲，NVIDIA在推动LLM和生成式AI在各行各业的落地和运行，以及其带来的革命性的用户体验提升。吴新宙坚信NVIDIA在大模型上的积累和深耕也能够在自动驾驶上引领行业运用大模型在智驾体验上，以及软件适应性（generalization）上提升到新的高度。这其中不仅可以在大语言模型在车端，云端的部署和落地上给到提供足够的支撑，而且还会在评价体系，以及工程实践上提供支持。NVIDIA正在打造这样的一个生态，引领全球的自动驾驶发展方向。关于第二个趋势，也就是行业向L3/L4的演进，这里要解决的核心问题是安全，这也是NVIDIA自动驾驶开发始终关注的首要问题。行业必须有这样的关注点才能建立公众信任，最后才能取得成功。从开发硬件到丰富的可编程软件系统，再到自动驾驶汽车的训练、测试和验证，NVIDIA都正在努力开发能够实现安全、可靠的自动驾驶系统解决方案。在安全系统和流程方面，NVIDIA研发已经投入了1.5万人工年，包括对500万行的代码进行了安全评估。NVIDIA DRIVE的核心开发流程，包括芯片和平台，符合ISO 26262标准以及ISO 26262 ASIL-D最高级别的功能安全认证。从数据中心到汽车，安全架构、设计和方法在NVIDIA的系统中无处不在。除了搭建这个面向未来的自动驾驶生态之外，NVIDIA也在跟车企紧密合作，推进对于L3和L4的演进。这里，除了算法的演进，更重要的是整体硬件架构以及传感器冗余的设计。比如说高精地图，以及激光雷达，虽然在L2++这个维度上，因为成本的原因很难被广泛应用。但是到了L3， L4，意味着驾驶员是可以被解放出来，而对人的解放源自于自动驾驶汽车的安全与可靠，这意味着更强的冗余和多样性来保障更高的安全性。高精地图和激光雷达这些技术都是对物理世界理解的一个信息来源，它们就会非常重要。

吴新宙和NVIDIA认为：安全性和用户体验决定了智驾的未来

在吴新宙看来，对于「有图还是无图」，纯视觉还是配合雷达等不同技术路线的取舍，都要基于不同的自动驾驶阶段来考虑。「有图无图」只是一个成本考量在有图无图这个路线差异上，主要有两个因素需要考虑：第一是地图的使用成本，第二也是更重要的问题——地图的鲜度怎么保持。由于制作和维护城区的高精地图成本极高，因此，对于这个区域的辅助驾驶，业界基本都在逐渐往更加轻图的方向去走。在国内，NVIDIA的生态合作伙伴，比如小鹏、Momenta、元戎启行等，都在这个方面有深入的、被引证的经验累积。当然，事情都有它的两面性，目前在辅助驾驶在成本为先的角度，NVIDIA会尽量地去减少地图的使用，采用轻图的路径。但是对于高速，高精地图维护和生产成本都比较低，而且是工艺非常成熟的技术，因此还就有很多的厂商都在用。而到了L3、L4阶段的话，又会有一个不同的视角。作为一个提供物理世界理解的关键信息来源，高精地图在提供冗余和加强安全性方面，就会显得更加重要。所以说，有图还是无图，是一个动态发展的问题。是否使用毫米波雷达，或者说纯视觉路线，最终都要由安全性和用户体验来决定。谈到对纯视觉的路线的看法，吴新宙的观点是，NVIDIA是一个赋能者的角色，无论是为汽车客户提供L2++的软件，还是辅助驾驶（ADAS）方面的高级功能，如泊车辅助、车道保持、变道等。至于最终采取哪种形式，各家车厂还是会按照自己的能力和路线来确定。毕竟，你可以从第一性原理认为，人类既然只用眼睛就够了，那么自动驾驶也可以，对吧？从吴新宙的理解来看，到底用不用毫米波雷达，L2++阶段可能还存在一定的争议，但到了L3、L4阶段驾驶员可以真正被解放出来的时候，毫米波雷达甚至激光雷达都可能会变成是一个必须的组件。汽车的安全性从来都是第一位的，用户肯定是希望自动驾驶汽车能比人开更安全。而这就需要留有一部分的冗余。NVIDIA希望能够让自动驾驶软件的能力，超越人类的水平。自动驾驶行业的发展态势，已经慢慢从之前的百花齐放开始朝着稳态的方向收敛了。当聊到自动驾驶整个行业的发展格局的问题时，吴新宙看来，辅助驾驶和自动驾驶已经过了百花齐放的时候了，现在行业已经向一个稳态、收敛的方向去发展。他用手机打个比方，从3G时代开始，人们才把手机当为一个计算机来用，这个历史其实也不是特别长。刚开始也是百花齐放，到后来的话也是一个稳态的生态，垂直整合的玩家不会太多，因为投入太大。垂直整合的玩家一定有很好的一个市场份额，可以非常领先的一个位置才能支撑这样的战略。除此之外一定也会有一些横向的玩家，包括软件硬件供应商。吴新宙相信自动驾驶的一个稳态的市场也会是这样的。让每个车厂都去做全栈肯定是不行，投入太大，而且也不一定做得好。NVIDIA作为赋能者，不管合作伙伴希望往哪个方向发展或是希望与谁合作，NVIDIA将提供一系列的硬件和软件解决方案，供客户选择，为车企和软件供应商提供足够的支持。他相信，行业的整合在接下来的5~10年里，一定会是非常剧烈的、快速的变化。高阶自动驾驶落地的时间表对于未来高阶自动驾驶的落地，吴新宙认为很难做一个明确的预测，像奔驰现在其实就有一个L3系统。自动驾驶演进其实是一个渐进的东西，还有很多因素需要考虑，比如技术层面、监管层面、标准制定等等。换句话说，NVIDIA要做的是把L3的ODD（运行设计域）逐渐放大，然后到某一个时间节点，可以击穿用户体验在某个阶段的阈值，这样来不断地向前推进。在这个过程中可能会经历阵痛与成长，这条路线确实很难走，但是从L2++到L3，然后把L3逐步做好，真正变成一个高度可用的L3，这是大有可为的。然后再向L4的这样的方向演进。时间线的话，L2++可能从2023年到2024年，然后可能还要通过2~3年通过头部车厂的积累，把体验做得足够好。然后在中间的时间点，可能在2027、2028的时候，市场上就能看到一些比较好的L3产品。至少在某些市场上，某些ODD下，市场上会看到高度可用的L3产品的出现。而对于直接就做高阶自动驾驶的公司，可能就要面临一个问题，在技术成熟落地之前，他们很难产生价值，这样企业的生存就会是一个很大的挑战。聊到NVIDIA和富士康最近的合作，在未来将联手创建新型的数据中心，用于包括自动驾驶汽车、自主机器人和工业机器人在内的开发。富士康将作为一级制造商，面向全球汽车市场生产基于NVIDIA DRIVE Orin的电子控制单元（ECU）。同时，富士康生产的电动汽车将采用DRIVE Orin ECU和DRIVE Hyperion传感器架构，来实现高度自动化的驾驶功能。此时，当把视角收到一个更广的维度，在吴新宙眼里，自动驾驶将会是NVIDIA走向一个全面拥抱AI世界的开创性业务。

自动驾驶业务是NVIDIA在未来转型成为「AI算力工厂」的重要支柱

吴新宙说，接下来的5~10年，生成式AI更多的是在虚拟世界带来一些非常大的变化。互联网，搜索引擎都会以一种完全全新的方式来出现在大家面前。NVIDIA在这个过程中不仅仅是成为数据工厂，甚至要成为一个模型工厂，通过提供的各种预训练的模型（pre-trained model），给各种各样的用户来使用，可以极大地减少生成式AI模型开发落地的复杂程度，这个是NVIDIA在努力的一个方向。通过机器人，在未来第二个10年，AI会真正对物理世界产生巨大的影响。目前来看，机器人和物理世界的互动这部分是非常困难的。机器人的广泛普及与落地，目前来说还有很多的技术难点要去突破，所以可能下一个十年会发生的事情。因此从这个维度上来讲，虽然汽车安全很重要，复杂程度也很高，但和机器人相比，它恰恰还只是一个入门级的技术，是一个起点。吴新宙表示，展望未来，希望NVIDIA的汽车事业部可以充当公司宏大目标的一个前站，真正把算力工厂，模型工厂，乃至数字孪生工厂能够在汽车上实现出来，推动实现软件定义汽车、AI驱动汽车这样的一个愿景。