2022 CIAC系列讲座第4期——平行矿山无人运输虚拟仿真技术（文字版）

嘉宾简介：

王健博士，吉林大学计算机学院教授、博士生导师，青岛慧拓智能机器有限公司联合创始人兼首席战略官。先后在加拿大大不列颠哥伦比亚大学、奥地利因斯布鲁克大学、法国国家信息与自动化研究所、韩国汉阳大学从事博士生、博士后、访问学者等研究工作。

关键词：虚拟仿真，无人驾驶，矿山无人，调度中心，虚拟传感器，作业场景，激光雷达

讲座正文：

大家晚上好，非常感谢组委会的邀请，我代表我们慧拓公司和吉林大学汇报一下我们在平行矿山无人运输虚拟仿真技术方面的一些经验。报告分成两部分，一部分是矿山场景的一些产品，另外一方面是基于矿山场景做的虚拟仿真的一些工作。

首先，给大家看一看矿山场景的样子。这个是我们做的一个矿山，目前是中国最大的露天矿山无人驾驶的一个场景，在内蒙古鄂尔多斯市的准旗。给大家快速过一下：这是我们的矿车，这是早上点检，这个矿车是国外930E小松的车，目前国内最大的载重——290吨的载重。

这是我们跟电铲配合做配套使用，这是我们的调度系统，这个矿区很大，我们在编组运行总共有18台无人驾驶车，这是非常典型的一个露天矿山的无人驾驶，在这个无人驾驶里面，我们的产品是不能直接上真车的，它必须依托我们虚拟仿真技术来做测试和验证，才能够上真车做实验，这样比较安全。

这个是井下的一个矿。在井下，我们把车运输的一些钢筋和锚杆儿通过盘山路送到井下去，给井下做一些安全设施的输送。这个我们也是做了一个虚拟仿真的。这是我们刚刚看的第一个视频里面准能黑岱沟矿的仿真系统，我们用虚拟仿真软件仿真了整个的环境，用了一个19个自由度的动力学模型，仿真整个的道路情况、交通流、天气，还有感知、规控部分，在这里我们做了一个1:1的元宇宙测试，把真实环境中车辆的运动状态通过5G传到虚拟仿真，在虚拟仿真里面进行未来时空的一个预测，然后再把预测结果之后的一个我们期待的样子传给车辆，然后车辆进行循迹这样的一个工作过程。所以，它不单单是一个虚拟仿真，更是我们的一个生产指挥作业系统。

这是我们的全貌，刚刚那个是我们一个排土场的局部，这是我们装载区域的仿真，这是我们全路况的一个仿真结果，这是在排土场的一个快进。所以，大家可以看到，这个仿真的效果还是很可以的，所以我们在用它帮助做测试，以大大提高我们的测试效率。

这是我们井下的，就刚刚第二个视频的1:1的仿真。因为井下矿的下矿是比较危险的，所以通常我们会在云上建这样的一个虚拟仿真中心，有时也会用全息影像来做人机交互。这时，我们就把井下车辆的状态实时传回到井上，在井上里面进行动力学注入，这样形成一个真实世界和虚拟世界联动的情况。

这是目前国内主要做的一些矿的无人驾驶，包括有色冶金、水泥、煤炭行业。从最北边的满洲里，南边的文山，西边的西藏、青海，东边的安徽、江苏，现在都有无人驾驶的矿在运行。这是我们总结出来的目前已经投入使用的无人驾驶矿山。大多数都是慧拓的，占比近80%。

一、智能无人运输作业系统方案介绍

基于上面的场景，我再简要介绍一下矿山里面主要的自动驾驶汽车产品。这是矿山里面的主要几个环节/场景，就是我们做仿真时需要考虑的几个任务。第一、车辆和挖机的协同，我们叫挖卡协同。车辆需要自动的对到这个铲斗的正下方完成装载。第二、无人驾驶行走。要在行驶过程中完成直线、直线加速、盘山道、避障、避让行人等。第三、自动行走。第四、重点完善道路安全。第五、溜井自动卸载。第六、自动避障。第八、自动泊车。有时也会到排土场去排土，也就是第七、排土自动卸载废石。这样周而复始的运行。这是我们的第一阶段：初期示范运行阶段。

第二阶段，混编运行提升阶段。因为无人驾驶在矿里面可能不是一蹴而就的，通常要有一个渗透率不断提升的过程。第三阶段：整体无人化阶段。当渗透率达到100%时，整体都是无人化的，矿山就开始从追求安全为目标转为追求效率为目标。这样，我们就从有人到无人，然后从无人到超人这样一个过程。

我们主要的无人作业环节：自动行驶（往返装载区和卸载区进行不间断循环作业）、自动避让（对目标进行精准定位和分类识别，并作出合理决策）、自动装载（与挖掘机进行自动化协同作业，自主规划开放区域路径）、自动跟车（遇到前方车辆，可进行自动编队跟驰，保持安全距离）、自动卸载（自主行驶至卸载点，自动识别挡墙、检测起斗高度，保持安全距离）。这些都要在虚拟仿真里面仿真出来。

这是无人驾驶整个的产品结构，包括云端，云端有三个产品，智智能调度系统、应急接管系统，还有虚拟仿真系统。中间是5G加上RTK基站。正下方还有三个产品，无人驾驶车、系统作业装备（主要是挖机），最右边是路测设备（主要是出入系统的感知设备，和公路上的差不多）。

下面我分别介绍每一个产品。第一个产品是我们的合作伙伴航天重工出的宽体车，我们用它做车辆本体，出厂时，把我们的线控化、传感设备、控制设备都加装完毕，所以，出厂时就已经是一台无人驾驶车辆了。这是我们做的线控化底盘，对于这种大吨位的、90吨的车的相关底盘技术，要求是非常严苛的，包括我们要改转向、制动、驱动、举升、车灯等，这是我们要性能化控制的几个部分。

这是无人驾驶的一个大结构，包括车辆侧、显示端，接着健康诊断（第三方监测诊断系统），然后是系统控制器（VCU），中间通过CAN连接。这个是环境感知模块，包括行人检测、车辆检测、落石、路沿、路面、挡墙。第二部分是冗余组合导航定位模块。第三部分是健康管理及安全监控模块，监控硬件、软件、车辆本体及理想轨迹偏离预警。下一个是决策和规划、数据存储部分、HMI显示、地图采集部分，然后控制（轨迹跟踪）加上遥控驾驶、CAN通讯程序部分，这些形成了整个无人驾驶车端的系统。外围能够完成的任务就是避障、任务处理、路径规划，装/卸载区的处理、数据存储模式切换等等这些。

再往下是我们的硬件产品——无人驾驶域控制器，这个也是由慧拓公司自研的，主要面向矿用算力要求和防震级别的域控制器。

这个是高精度定位装置，在矿上非常重要，因为矿上的遮挡物很多，它一方面支持多频高精度定位、远距离大功率传输，还能满足多车协同、对电源的依赖。这是我们主要的采用装置。大家看到这个地方是破碎站，从路面到遮挡区，GPS信号是丢失的，在这里就要进行一个切换，从GPS切换成SLAM,所以我们需要做RTK定位、轮速、IMU和激光雷达的一个多模的定位。

这是我们做的一个多传感器融合的感知方案,包括激光雷达、毫米波、视觉相机、热成像相机这四种传感器，互为冗余，可实现360°无盲区感知，可以应付大雨、多雾、扬尘等恶劣环境下的感知要求。

这是我们多融合感知的技术，目前车端融合感知范围超过120米，可以检测碎石、凹坑，适应不同的极端天气，对道路平整度有较好的分析结果。

这是我们路径规划的方法。目前我们有20多种路径规划方法。因为不同的矿区和不同的作业面（因为作业面可能会越来越窄）会有不同的宽度，这样作业的方法，就是规划的方法也不太一样。所以，我们要支持不同的规划方法。

这是我们的精准控制，这种控制对纵向控制和横向控制要求比较高。大家看这个例子，在露天的矿区，要精准的对这个铲斗，因为铲的面相对来讲是比较窄的，车辆只有精准对到这个斗的下方才能进行装载；这个是要对照挡墙，下面是溜井，车轮要比较好的压到这个挡板上，这样石料才能比较顺利的倒下来。所以我们对挡墙的检测要比较准。同时，对于什么时候能够比较轻微的停靠在挡墙上的控制也做的比较好。

这个是我们的云端调度系统，全矿装一个，是全矿智能化最高的部分，也是整个矿的中枢神经系统，包括地图的更新、路线的规划、所有车辆的任务分配、健康诊断系统都在这里做，是一个非常复杂的系统。

这是我们的调度中心，大屏幕、遥控驾驶系统都在这里，这个是我们在阳泉冀东矿的中心，上图是马钢中心。

这是整个调度系统所采用的地图方案。首先，我们会用采集车加装一些计算设备和摄像机，采集后会通过网络传输传回云控中心，云控中心会进行地图构建，构建件之后会交给人工进行标注，标注后再交给地图的部门组长进行地图审核，然后下发推给车辆，车辆就会收集到一个增量更新之后的地图。

这是远程应急接管系统。我们会实时监控，不是一直遥控，是对健康状态最差的那台车进行跟随，因为你的方向盘是要一直跟随真实方向盘的转角，如果这个车辆有问题，它就需要能够及时报警，你能够及时接管。接管的话，是两种途径，一种是云端判断出这台车跑偏了，你可以接管；另外一种是车辆自己觉得自身的感知有问题，可靠性不高，就是我们说的执行度不高，它可以向云端主动发起被接管。

这是我们主要的一些参数，包括传输延迟、信号延迟、视频回路、相机防护等级这样的一些技术参数。

下面是协同系统。这个系统主要装在挖机上，连接臂姿感知单元、通信单元、定位单元和HMI交互界面，主要是给挖机司机使用来配合车端完成对铲。

这个是辅助作业车辆终端，主要装在推土机、洒水车上面，用来避障。

这是车载系统，路测设备。路测设备主要包括一个激光雷达、三个相机，一个RSU通讯单元、太阳能板、主机，可用来扫描马路上的车辆、落石，扫描之后会发出一个V2X的RSI的消息，告知我是一台车，我有多大，我在哪儿。

这是健康诊断系统。这个系统非常复杂，因为车上完全没有人了，要对车辆的本体、胎压、电池、传感器的感知精度、控制精度等都要做诊断。

通过上述的介绍，慧拓公司，从2017年到现在差不多5年的时间，是国内目前最大的无人驾驶矿山解决方案提供商，主要积累了一些先进的技术创新：首先，世界首创虚拟现实互动（虚实互动）的无人驾驶仿真技术，也是这次报告的主题。第二，矿区复杂交通的调度系统。第三，在无GPS信号情况下能够实现基于精准雷达的高精度定位方法。第四，在很大的矿区里实现高精度采集技术。第五，多源融合感知技术，适应不同的恶劣环境。第六，实现V2X和自主式传感器融合的感知技术。第七，精准停靠技术。第八，防侧滑技术。最后，防车辙碾压的技术。

二、测试技术发展与机遇

接下来，针对上述无人矿山的产品和解决方案，我来介绍一下目前助力矿山的测试技术的一些发展。

矿山的测试，目前我们差不多有将近三千的用例，其中90%的用例都是在虚拟仿真中测试的，有10%对于可靠性要求特别高的测试需要在实车上。所以大大节约了我们的测试调试时间和我们的人员的支出。

这是测试的主要流程，我们有个机群管理器，运行真实的调度平台，还有矿车自动驾驶控制器和协同控制器，这些都是我们的仿真对象。虚拟仿真系统运行虚拟仿真软件，包括对车辆的模拟、对道路的模拟、对交通流的模拟、对环境的模拟（天气、光照），这些模拟形成了虚拟仿真系统。通过这个系统，我们能够对感知算法进行MIL、SIL、HIL在环测试。

这是我们的硬件架构服务器，可以跑很多的挖机HIL和矿卡HIL，每个矿卡可以仿真4~5台矿卡，构建成一个比较庞大的算力机器。这是我们的软件架构，和虚拟仿真的软件架构大同小异，是一个比较典型的HIL。

这是我们虚拟仿真搭建的场景。我们从真实场景中获得很多数据，再进行虚拟仿真加工，形成作业的虚拟仿真场景，然后再进行一些关于纹理、光照的一些雕刻，就形成了比较真实的一个作业场景。

同时，我们会搭建虚拟仿真车辆库。第一，收集主要的车型，包括30吨~400吨的尺寸，因为我们和主机厂是合作伙伴，他们会提供车辆的CAD地图，这样我们可以在虚拟仿真里进行车辆库的构建。第二，我们会利用游戏建模技术完成车辆3D建模，我们一般用一些开源的虚拟仿真引擎做。第三部分会做骨骼绑定、关节添加、物理碰撞、重力属性等设置。第四，基于PBR材质技术进行车辆的实时渲染仿真。最后，形成车辆的动力学模型库。

这个是虚拟传感器模型库搭建。矿山所采用的相机、激光雷达、毫米波雷达非常有限，这样比较容易构建传感器库，包括Velodyne、Ouster，国内的速腾、大疆，包括16线、32线、64线、128线的雷达模型，还有Continental（大陆）和Delphi的雷达模型，还有一些相机模型。

这是我们的调度中心。我们有真实调度中心和虚拟仿真的作业场景，虚拟仿真作业场景和调度中心之间会进行互动，虚拟仿真中心把任务下发给作业场景，作业场景的执行结果再反馈给虚拟仿真中心。下面包括装载区协同、卸载区协同、直线会车、弯道会车、绕障行驶、跟车行驶这些任务都会在虚拟仿真中心里做。

这是我们的自动驾驶控制单元和虚拟场景，我们的车辆和作业环境进行虚实互动。我们网络通信会用到4G和5G的系统模型来支撑我们对于延迟的考量，因为作业任务都是云端控制的，延迟和流量带宽的限制对我们来讲是很重要的数据。

这是通过虚拟仿真我们能够做的一些功能，包括机群协同作业测试、多车调度管理测试、虚实互动测试、软硬件性能测试、V2X功能测试、挖卡协同测试、动力学模型测试、单车矿卡测试、虚拟传感器测试及挖机装载测试，这些都是我们能够在矿山虚拟仿真里做的事情。

机群协同作业测试包括多车多卸、多编组、混编、装载、复杂路口等。多车调度管理测试是我们在虚拟仿真里需要完成的测试调度系统软件本身功能的正确性，相当于我们真实的调度系统加上我们虚拟仿真反馈作业系统两个做SIL。虚实互动测试就是现在比较流行的元宇宙的概念。我们有一个真实的现场作业中心、虚拟仿真中心、虚拟仿真车辆、真实作业车辆，真实车辆的状态采集回来之后给到虚拟仿真车辆，虚拟仿真车辆进行同后进行未来时空的推测，然后再传到真实车辆上，真实车辆进行进一步的跟随，这就是真实世界和虚拟世界互动。

我们还有V2X防撞测试、动力学模型测试。我们的仿真测试应用和大家了解的差不多，比如包括上坡、下坡、人字倒车、绕道、会车、跟车、感知测试。我们还有刚刚讲过的数字孪生、对于挖卡系统和路测设备的测试、井下防震测试。

这是虚拟仿真产品的特点：可以仿真1:1的场景，外观和动力学可以做到1:1，虚拟数据接口和真实车辆接口可以保持一致（虚拟仿真环境里面输出的CAN协议格式和真实的CAN协议是一模一样的），我们支持动态调度、协同仿真，然后就是真实世界、平行映射、虚实互动、深度混行等特点。

我们的高动态实时仿真建模，解决无人驾驶在矿山应用时危险场景数据不足、极端工况测试困难、现场试验与调试安全风险高等难题，这就是现在典型的做小数据变大数据，大数据提取corner case和有效测试数据，然后通过小智能变成精准知识的体验过程。所以，虚拟仿真在矿山里面已经不单单是个测试工具，更多的已经变成了深度学习算法提升的一个数据产生器。

做个小结，我们能够辅助开发测试用，也能衍生出很多虚拟产品。在测试方面，能够完成机群协同作业测试、单车自动驾驶测试、虚拟传感器测试、软硬件性能测试、V2X功能测试和挖卡协同测试。基于虚拟仿真内容衍生的产品，比如虚拟场景驾驶监控、虚实互动测试、运维技能操作培训、超实时仿真预测。

这是我们之前做的一个项目——远程测试，就是一个真实测试场的虚拟化，把真实的场景道路、大量的虚拟测试集作用在真实道路上，利用真实道路、真实车辆和虚拟的交通流，实现孪生测试。我们的数字孪生平台除了被测车辆外，还控制了大概几十台加载交通流的遥控小车。

这是我们图像注入的方法，把虚拟相机的输出传给真实系统的感知算法，然后把真实系统感知算法所感知到的结果再给到分类器。

关于激光雷达的建模。此外，还有激光雷达、毫米波雷达、GNSS信号、IMU信号的注入系统，虚拟仿真控制系统，V2X信号注入系统。

最后，和大家简单聊聊我们未来的发展方向。我们认为未来的无人驾驶更多的要把智能上升，让可靠性下沉，就是把对算力要求高的放在云上，对可靠性要求高的放在车端这样一个技术趋势。

仿真方面，我们期待着云端仿真的出现，数字孪生的持续应用以及VR仿真的交互方式（通过头盔、眼镜等沉浸式交互工具，帮助提升测试人员的代入感）。另外，我们对模型的依赖度会很高，所以可能还希望研发人员能够大大地提高模型的精度。