岑明,在中国科学院光电所获得光学工程博士学位,曾担任重庆邮电大学自动化与机器人工程系主任,汽车电子与嵌入式系统研发中心的软件系统分析师和副主任。他的研究方向包括信息融合、多目标跟踪、自动驾驶以及智能机器人等多方向,是中国自动化驾驶研究领跑者之一。
从电气自动化到信息自动化,再到智能自动化,岑明见证并推动自动化技术的时代性飞跃。他指出技术的最终目的即实现傻瓜化。解析无人驾驶与大模型的结合如何赋能车辆“见多识广”,致力于推动功能型无人车打破自动化孤岛的壁垒,解决多种场景的“最后一公里”难题。
他坚信模块化是开发过程中的金钥匙,通过任务建模、共性功能标准化等手段实现降本增效。作为开源社区的忠实拥护者,深知技术的力量在于分享与协作,AI 与开源社区的协作才是未来。
GOSIM 很荣幸邀请到岑明教授与全球的技术人畅谈与分享宝贵的经验。在 GOSIM CHINA 2024 大会中,他带来了《面向功能的无人车任务建模方法》主题的精彩演讲。会后,GOSIM 对话栏目 Open AGI Forum 特别邀请到他,与 CSDN 《新程序员》执行总编唐小引展开独家对话,分享自动化发展的历程,深入探讨关于大模型与自动化驾驶、无人车安全性能及程序模块化等方面的独到见解。
-
无人驾驶在大模型中能够运用并马上见效的就是做仿真。
-
将人的经验规则与大模型结合,各取所长,折中联合。当模型不是那么成熟时,规则占 60%,其余的占 40%。当大模型成熟以后,规则就变成建议性的,更多依赖于模型来决定。根据成熟度,折中做联合的方法。
-
技术的迭代为我们提供新的解决思路,但仍需肯定经验积累的价值。
-
功能型无人车打破自动化壁垒,解决物流的最后一公里。
-
安全技术不是问题,自动化驾驶的安全性能与成本呈正相关。
-
一个东西要成熟,变得社会化,就得傻瓜化,傻瓜化的才是大众化的东西。我们开发的最终目的是要尽可能达到傻瓜化。现在大模型让人人都能成为设计师。
唐小引:您是光学工程毕业,但这些年深耕自动化与集成,您是怎么走上这条路的?
岑明: 光学工程不仅是做图像处理,也不仅是做镜子。光学有一个非常重要的领域叫光束控制,比如说一个光学设备,要让它瞄准或跟踪一个期望的目标时,如果目标在移动,如何准确确认目标并提取,这就涉及到控制加信号处理,实际上就是自动化的内容。因此,光束控制与自动化这二者大有渊源。
唐小引:重庆邮电大学的自动化与机器人工程系非常有名,请介绍一下该系的特色。
岑明:自动化与机器人工程系最早的名字是自动化系。它是自动化学院成立时下属的第一个,也是最强的专业。随着专业本身的不断挖掘,接着我们又建立了车辆工程、机器人等专业。所以我们的专业名字也在不断地调整。早期,自动化主要以传统电气自动化为主,其中计算机在控制系统中的作用至关重要。然而,传统基于电器的自动化系统在环境变化时适应性较差。为了更好地适应信息化,可以通过软件替代部分硬件功能,实现程序刷新后功能的即时更新。这不仅能有效降低成本,还能显著提升控制系统的灵活性和功能表现。
随着人工智能的兴起,仅靠信息化已无法满足需求,我们的专业也逐步从传统自动化迈向了智能自动化。自动化的发展经历了三个阶段:从最初的电气自动化,到信息自动化,再到如今的智能自动化,这是一个逐步演进的完整过程。我们研究的对象,无论是机器人还是车辆,都经历了从传统到智能的转变。例如,工业机器人逐渐升级为智能机器人;车辆从最初的电气化,发展到智能化,再到如今的无人驾驶阶段。在过去十多年间,我不仅亲眼目睹了这一演进历程,还亲身参与其中。
唐小引:在无人驾驶领域,尤其是机器人领域。随着大模型热潮来袭,具身智能频频被大家提及。现在有很多的创业者投身具身智能领域。大家认为它是通往 AGI 的一个非常关键的方向,我们想听听您的看法。
岑明:很多领域是高度重叠的。最早的时候,我们做车辆的自动驾驶,实际上就是相机、雷达、惯导及控制的组合。在自动驾驶领域,我们造一辆车除了能行驶,在上面设置手,车是不是就可以实现搬运之类的工作?如果在上面设置相机,是不是就可以实现巡逻了?如果设置扫地的系统,车辆是不是就能变成扫地的车了?
等车辆有了这些功能以后,现在我们反思,这还是车吗?它是车还是机器人?如果是按做车辆的角度来观察的话,这类东西叫做功能型无人车。如果从做机器人开发者的角度来看,可能把它叫做智能机器人或是移动机器人。同样的东西,换个角度看会是另一番景象。那么具身智能这样的提法是相对于以前聊天的机器人而言的。现在的机器人兼具行动和感知及智能。相较于那些不能动的没有实体的智能体,现在既具实体、能动又有传感器的智能体被称为具身智能。所以具身智能和做客服等那种没有实体的智能体就区别开来了,但实际上没有本质区别,只是我们怎么看待它,实际上很多问题都是语言上的问题。
岑明:从近期来看,我认为在大模型中能够运用地马上见效的就是做仿真。为什么现在的智能车总是不够聪明。那是因为它见的太少了。这些车在 99% 的时间里都是在正常天气、路面的正常场景下运行的。那些千奇百怪的异常情况,这些车见的太少。比如说极其陡的山路,恶劣的天气,拥堵的道路等。如果要采集真实的数据,要等很长时间才能采集到一点数据。我们用现有车身数据训练出来的车辆,在正常的路面上行驶没问题,但突然让它在山路上行驶,系统就无法操作了。这些车辆平时都是在用晴天的数据训练出来的,碰到极端情况车就不知道该怎么处理。我们怎样去生成数据,让车的场景能够覆盖得完整?可以去实地采场景数据,但有些条件很难采集。首先是成本很高,其次是机遇不对。那么这个时候,智能可以生成数据。
平原城市的车厂没条件频繁跑山路,我们可以拍一段山路,让大模型学习,要求它生成各种奇怪的山路场景。首先,效率高了成本低了;其次有些现实当中采不到的数据也可以让 AI 生成。生成以后,把我的场景缺失补起来。车辆的场景覆盖率够了以后,再运行就比普通的车聪明一点。这个应该是目前来看,马上就能推行且是差不多靠谱的一个方案。
今年重庆市的一些基金项目就已经开始在做这方面的探索了。车厂开始在做生成式的仿真系统,测试能不能用来做车辆的训练。很多数据都是重复的,但我希望能生成那些车辆没见过的数据,那些采集不到的数据就让仿真系统来生成。
仿真系统生成的数据质量怎么来判断需要进一步研究。有了思路以后,真正落实还有很多工作要做。但因为数据是系统生成的,而不是直接拿去控制车辆,所以从风险及靠谱的程度上来说相对容易。我们以仿真角度切入大模型是比较靠谱,且目前较为可行的办法。
另外一条路线,就是直接做端到端。但类似这样的大模型,什么时候才算是能够训练到满足需求。这个完全变成一个黑盒子以后,其实大家心里还是不踏实的。我们不知道它是不是只是看起来行。
当用大模型来构造一个可信的自动驾驶的模型提出时,从实际效果来看,并没有增强大家对它的可信度,因此我们可以把人的一些经验规则运用进去。但我们还需考虑规则是否僵硬。适当的时候,是不是需要将左转右转类似于这样的规则加在大模型上,但这样的规则不那么刚性,给予系统权重。当模型不是那么成熟时,规则占 60%,其余的占 40%。当大模型成熟以后,规则就变成建议性的,更多依赖于模型来决定。根据成熟度,折中做联合的方法。
当然,这又产生一系列的问题,当这两类规则发生冲突时,怎么实现冲突的消解。技术的迭代就是这样来的。没有一个技术是绝对是完美的。大部分提供了很好的解决问题的思路,但是不等于它可以替代过去的所有的积累的东西。
唐小引:您如果把各种参数全部设定好,它能够实现通用场景的使用吗?
岑明:我们要把指令参数剥离出来,形成一个形式化的任务定义。任务定义就变成可以编辑的东西,把编辑好的指令交给执行器,接着车辆读取指令做解析并执行任务。
把开发过程中具体的东西抽象出来,形成描述性信息。就使用者来说,只需要描述信息,像跟人交流一样。实际上就是把具体的控制、感知这些任务隐藏起来,把对任务的需求共享出来交给机器人去做,参数是可以任意变动的。
但接下来的问题是,写脚本定义我都嫌麻烦。我能不能像打游戏编辑地图一样,把城市地图导进来,标注起点和终点,要求车辆按标注的路线行驶,由系统自动生成,这操作更傻瓜了。这件事情的目的就是把门槛越拉越低,尽可能让更多人参与进来,使用这样一个开放的工具,等我们在地图上标注了以后,大家连写脚本的语言能力都不需要,门槛就越来越低。
实际上一个东西要成熟,变得社会化,就是傻瓜化,傻瓜化的才是大众化的东西。我们开发的最终目的是要达到尽可能的傻瓜化。现在大模型让人人都能成为设计师。
唐小引:车辆通过传感器采集各种数据,自动建模后构建地图,这样的方式未来是可行的吗?
岑明:这样的运行方式需要上层进行规划。实际上要做的事情就是有一个地图。每辆车按规划的,管理层放下来的任务去执行。这必然需要云端对它进行协调管理。
唐小引:在重庆可能已经有一些围绕这方面的探讨和研究。重庆的机器人产业,智能网联产业相对于国内来说是非常发达的。您前面提及的功能型无人车是不是也常在园区里做实验?
岑明:我们在大货车和商务车领域有所布局,初衷并非生产简单的代步车,而是通过技术减轻人的工作负担,而不是完全取代人工,至少解放一部分人力精力。
当时我们承接了一个重庆市的特种车辆自动驾驶项目,对象是一辆大货车。由于货车不能直接在市区道路上行驶,它主要在园区内运行,最终演变为功能型无人车,比如物流车。这些物流车的核心任务是解决物流“最后一公里”的难题。智能制造的需求是实现生产车间的零库存:客户的需求能在短时间内送达,产出的货物能立即被运走,中间没有半成品仓库。我们通过功能型无人车,将厂房仓库管理员的工作转化为物流流程的一部分,为物流商提供近距离的定点物流服务,完成最后的运输任务。
仓库和车间都实现了自动化,但两者之间需要人工驾驶车辆来连接,这显得有些不协调。功能型无人车的作用就是将这两个自动化“孤岛”连接起来。在后台的 ERP 系统中,一旦有订单需求,生产调度系统就会下达指令,车辆调度系统随即启动,执行具体的运输任务。过去是人工驾驶车辆并携带单据执行任务,现在通过这种方式,理论上可以省去驾驶员的角色,但仍需安全员在车辆出现问题时进行紧急制动。经过几年的运行,我们的合作伙伴反馈称,安全员可能数月才需要干预一次。这充分证明了功能型无人车的核心价值——显著减轻人力劳动负担。
更重要的是,功能型无人车成功地打破了自动化仓库与自动化车间之间的壁垒,将原本相对孤立的两个自动化系统整合为一个更大、更高效的自动化整体,实现了从仓储到生产的全流程自动化协同。
唐小引:说到自动化很多人首先担心的就是取代的问题。前段时间,美国爆发了一起大规模的港口工人罢工事件,就是自动化引发的失业担忧引起的。您在做自动化的同时对这方面的思考是怎么样的?
岑明:自动化驾驶的大趋势是不可阻挡的。我们今天的生活的改善,得益于一系列的技术革命。对于个体来说,应该主动求变,来适应自动化的趋势。
唐小引:对于自动驾驶在工业园区的实际应用案例,您有哪些是可以分享的?
岑明:最初我们开展项目是为了让学生积累技术经验。随着机会的出现,我们开始考虑拓展研究方向,并最终启动了大货车自动驾驶项目。
当时,一些工业园区内的热门工作,如巡逻和搬运,我们都有信心去尝试。然而,一个公园项目的提议让我印象深刻。公园方面希望引入一辆无人车来吸引游客,尽管外界极力推荐我参与,但我内心其实有些顾虑。在工厂环境中,工作人员都是经过培训的成年人,他们不会故意违反规则或制造麻烦。但在公园里,情况截然不同——游客众多,尤其是有孩子在场时。孩子们的好奇心是无法阻挡的,因此我们当时花费了很大精力与车辆制造商沟通,要求增加传感器数量。在公园进行实验时,孩子们频繁围观,甚至有人想尝试触摸我们的车辆,这让我深刻感受到增加传感器的必要性。
实际上,自动驾驶车辆的安全技术本身是没有问题的。问题在于一些厂商为了降低成本而减少传感器数量。部分自动驾驶车辆发生事故,正是因为厂商在压低成本时过度削减传感器配置。如果厂商能够将传感器数量增加三倍,我相信事故风险将大幅降低。随着技术的进步,车辆的驾驶风险在一定程度上有所降低。如果厂商能够不计成本地提升安全性能,那么理论上车辆的安全性将得到充分保障。
唐小引:关于功能型无人车的安全方面,您觉得哪些问题是能够被解决的,有哪些是需要大家关心的关键的问题呢?
岑明:安全问题是一个广泛的概念,其中信息安全可能是大多数人首先想到的。例如,当车辆由自动驾驶系统接管时,人们担心如果系统突然失控,将车辆驶向危险区域(如冲向河里),自己却无法通过方向盘干预,这种情况确实令人担忧。这种担心源于对车辆被网络攻击或恶意控制的恐惧,这属于信息安全的范畴。
另一个重要领域是功能安全。它主要关注系统的功能安全性,确保系统不会出现故障或死机等问题。功能安全还细分为不同的等级,例如如何实现冗余设计,以及在出现故障时如何防止系统全面崩溃,确保性能逐步降级而非瞬间失效等。这些是开发者需要重点关注的内容。
再往下细分,功能安全又可以分为软件安全和硬件安全。硬件安全涉及电路设计的可靠性。例如,当某个软件模块死机且无法提供反馈时,系统是否仍能正常工作?是否能够检测到这一问题?这涉及到软件功能的冗余设计和控制机制。
进一步来说,如果系统中有多个节点相互通信,当某个模块在一定时间内未进行通信时,系统应能检测到该模块可能已死机。此时,系统需要考虑如何处理这种情况,例如是否通知其他节点或功能模块,采取必要的安全措施,如降低速度、终止任务,或者向后台报警请求人工干预等。这些都是应用层面必须考虑的安全策略。
唐小引:如何实现开发方面的降本增效,您颇有研究,可以具体谈谈吗?
岑明:开发所有相关程序的成本非常高昂。因此,在完成大货车项目后,当我们着手开发其他项目时,会考虑能否复用已有的成果。我们需要评估哪些部分可以复用,以及如何高效地进行复用。
为此,我们采用任务建模的方法,将项目分解为更小的模块,提取不同类型车辆所需的功能,并分析其中的共性功能,尽可能进行标准化。经过多次验证且可靠的组件可以直接复用,从而减少重复编程的工作量。开发合理的架构是提升效率、降低成本和提高可靠性的关键。架构搭建完成后,无论是学生还是其他开发者,只需专注于自己负责的模块,无需熟悉整个系统的每一个细节。
岑明:是的,形成标准化的框架。在这个框架下,尽可能专注自己就行。毕竟人的精力有限,在框架下,专注于自己的结构才是最高效的开发模式。GOSIM 关心的是开发,开发里最关心的就是效率,接着是可靠性和长期的发展趋势。
岑明:目前我们的工作还处于初步阶段,但未来我们计划将其开源。如果我们的研究成果能够得到大家的认可并被广泛应用,甚至吸引更多研究者在此基础上继续探索,这将是一件极具意义的事情。因此,我们需要以开放的心态去分享,把工具开源出来,这样不仅能获得更多的帮助,还能让技术在更广泛的范围内得到提升。
开源的好处在于,它可以让更多人参与到项目中来。也许我们在开发过程中存在一些潜在的隐患,而开源后,其他开发者可以帮助我们发现并改进这些问题。同时,开源也为新的想法和创新提供了机会,让更多的创意能够融入到项目中。我们自己的力量毕竟是有限的,通过开源,可以吸引更多人参与进来,共同推动项目的发展,扩大影响力。这不仅对技术本身有益,也对整个社区和行业的发展具有积极意义。
唐小引:对于当前的学生,还有当前从事自动化,与机器人相关的这些开发者。您觉得在当前的技术及应用的环境下,核心需要具备的技能有哪些?
岑明:其实开源社区已经给大家提供了非常好的环境。尤其像 CSDN 这样一个平台,在早期我作为一个程序员刚刚入行的时候,有很多没见过的问题,到 CSDN 上面去检索,能得到很多专业人士的帮助。包括后来的各种开发者社区,和 CSDN 的问答板块类似。程序员是非常有爱心,有分享精神的群体。
唐小引:大模型来了以后,很多人会向大模型提问,这种情况下带来的变化,您有哪些思考可以分享给大家?
岑明:AI 回答的不一定都是对的。对于提问的人来说,最好自己有一定的鉴别能力。另外可能也有像类似于像 CSDN 的开发者社区给大家提供思路,最后取得一种协同智能的模式。AI 给我们一些思路方案,再加上开发社区的建议进行综合总结。
唐小引:谢谢岑明老师为我们带来的精彩分享,我们今天的分享就到这里。下次再见!
《面向功能的无人车任务建模方法》主题的精彩演讲(附 B 站链接)
https://www.bilibili.com/video/BV1VjN8eGEt7/?spm_id_from=333.999.0.0
(文:AI科技大本营)