Journal: Project Engineering DOI: 10.32629/pe.v4i4.21763
Abstract
针对无人车在复杂地面环境中面临的感知信息冗余、场景语义理解不足以及规则式 决策泛化能力弱等问题,本文构建了一种融合多源感知、视觉语言大模型和安全约束 决策的无人车认知决策框架。系统以ROS Noetic为通信与调度基础,利用车载摄像头、激光雷达和IMU获取环境与运动状态信 息,通过图像去噪、亮度均衡、边缘增强和尺寸归一化提升视觉输入质量；在认知层 引入多模态大模型,通过结构化提示词将场景描述、目标状态、风险等级和建议动作 输出为可解析的JSON语义结果；在决策层结合目标状态、任务规则和安全约束生成 运动控制、目标跟踪、停车避障或告警等指令。基于正常通行、障碍绕行和目标跟 踪三类典型无人车任务场景的180组测试结果表明,系统总体识别准确率为96.7%,目 标状态判定准确率为99.4%,结构化输出合格率为100%,验证了多模态大模型赋能无人 车认知决策的可行性。
Keywords
无人车；多模态大模型；ROS；认知决策；动态窗口法；安全约束
Full Text
PDF - Viewed/Downloaded: 0 TimesReferences
[1] 仲训昱,武东杰,陈登龙,等.基于多模态感知与融合的无人车韧性导航系统[J].导航 定位与授时,2021,8(06):1-12.
[2] 王浩淼,袁莞迈,马可,等.基于联盟博弈的无人机/无人车异构集群验证[J].工程科 学学报,2024,46(07):1207-1215.
[3] 王金桥,杨蓓莹.多模态大模型的发展综述及思考[J].无线电工程,2025,55(09):17 27-1742.
[4] Fox D,Burgard W,Thrun S.The Dynamic Window Approach to Collision Avoidance[J].IEEE Robotics & Automation Magazine,1997,4(1):23-33.
[5] Thrun S,Burgard W,Fox D.Probabilistic Robotics[M].Cambridge:MIT Press,2005.
[2] 王浩淼,袁莞迈,马可,等.基于联盟博弈的无人机/无人车异构集群验证[J].工程科 学学报,2024,46(07):1207-1215.
[3] 王金桥,杨蓓莹.多模态大模型的发展综述及思考[J].无线电工程,2025,55(09):17 27-1742.
[4] Fox D,Burgard W,Thrun S.The Dynamic Window Approach to Collision Avoidance[J].IEEE Robotics & Automation Magazine,1997,4(1):23-33.
[5] Thrun S,Burgard W,Fox D.Probabilistic Robotics[M].Cambridge:MIT Press,2005.
Copyright © 2026 翁高贤, 肖志焓, 张钢
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License