具身智能机器人开发全解：从感知到行动的工程实践

1.感知与行动闭环：系统拆解感知、认知、决策、控制、协同全链路技术逻辑。
2.理论与实战并重：ROS 2仿真+源码级案例，覆盖从算法到部署完整工程流程。
3.技术融合全面：融合深度学习、强化学习、经典控制与多传感器融合，构建完整技术栈。
4.典型案例驱动：含YOLO检测、DWA规划、PX4装载系统等场景化实战项目。

本书围绕具身智能机器人开发，以理论与实践结合的方式，系统呈现具身智能机器人开发全流程。全书共 11 章及附录，从剖析具身智能内涵、梳理硬件平台搭建，到深入探讨视觉感知、路径规划、运动控制等核心技术，均配有 OpenCV、ROS 等工具的实操案例。书中不仅详解经典算法，还融入大语言模型驱动任务规划、强化学习决策等前沿内容。最后的无人车综合项目，将多传感器融合、自然语言交互等技术落地实践。
无论是渴望入门的技术爱好者，还是寻求进阶的行业从业者，本书都能助力掌握具身智能机器人开发精髓。

薛栋 编著。薛栋，华东理工大学信息科学与技术学院副教授/硕士生导师，德国慕尼黑工业大学工学博士，“上海市高层次青年人才计划”、“浦江人才计划”获得者。先后在荷兰格罗宁根大学（RUG）、德国卡尔斯鲁厄理工大学（KIT）从事教师和研究员工作。长期从事基于人工智能与大数据相关研究，包括自然语言处理与大语言模型、工业互联网与工业软件、复杂网络与多智能体系统等课题。以第一作者或通讯作者在IEEE TAC、IEEE TSP、IEEE TNSE等国际期刊上发表SCI论文30余篇，主持和参与完成多项包括国家自然科学基金面上项目、上海市人才计划项目、企业科研攻关项目等在内的课题。主讲课程包括本科必修课《人工智能数学基础》和研究生课程《自主无人系统》以及《工业互联网关键技术》。
赵云蒙 编著。赵云蒙，华东理工大学信息科学与工程学院讲师，硕士生导师，2021年被中国工程院评为中国工程前沿杰出青年学者。主要从事过程建模、智能传感等领域的研究，长期承担自然语言处理相关课程教学工作。在智能传感、过程系统工程领域国际期刊发表学术论文20余篇，Google Scholar单篇引用超百次论文5篇。
梁海丽 编著。梁海丽，上海大学机电工程与自动化学院副研究员，硕士生导师，上海交通大学博士，从事复杂网络、多智能体控制理论与演化博弈研究，承担网络科学导论相关课程教学工作，主持国家自然科学基金和上海市自然科学基金，参与多项国家和省部级科研项目，在网络系统和自动化领域国际期刊发表论文20余篇，申请专利3项。

目 录
第1章 具身智能机器人开发基础
1.1 具身智能的理论基础与演进 2
1.1.1 具身智能的核心思想介绍 2
1.1.2 具身智能的计算理论基础 2
1.1.3 具身智能的发展历程 3
1.2 具身智能开发中的设计原则 4
1.2.1 感知：从多模态数据到环境情境理解 4
1.2.2 认知：任务规划、推理与具身决策 5
1.2.3 行动：从决策到精确的物理交互 6
1.2.4 闭环反馈与实时自适应机制 7
1.3 具身智能开发的技术栈与工具链 8
1.3.1 硬件设备概览 9
1.3.2 算法模块集成 11
1.3.3 软件框架核心：ROS 2、仿真与环境构建 13
1.4 典型应用场景与挑战 15
1.4.1 应用场景分析 16
1.4.2 当前主要技术挑战 16
第2章 机器人视觉感知
2.1 视觉感知基础与图像处理 21
2.1.1 数字图像基础与相机模型 21
2.1.2 经典图像处理技术 23
2.1.3 综合实战：机器人场景中的图像处理 26
2.2 目标检测与识别 30
2.2.1 基于深度学习的目标检测 30
2.2.2 综合实战：基于YOLO模型的轻量级目标检测 32
2.3 视觉优化处理 37
2.3.1 模型轻量化与部署优化 37
2.3.2 综合实战：基于YOLO轻量级模型的机器人视觉检测系统 39
2.4 语义分割与实例分割 42
2.4.1 语义分割模型架构 42
2.4.2 综合实战：具身智能机器人的语义分割系统 43
2.5 3D环境感知：从点云到三维世界 45
2.5.1 3D感知基础与点云处理 45
2.5.2 基于深度学习的3D目标检测 46
2.5.3 综合实战：具身智能机器人3D环境感知系统 47
第3章 多传感器融合感知
3.1 多传感器融合的基本原理 51
3.1.1 多传感器融合的必要性与层次划分 51
3.1.2 经典状态估计方法：卡尔曼滤波族 52
3.1.3 非线性非高斯系统的滤波方法 55
3.1.4 综合实战：具身智能机器人多传感器融合定位模拟 57
3.2 惯性导航与组合导航系统 63
3.2.1 惯性导航系统的原理与误差分析 63
3.2.2 惯性/卫星组合导航 66
3.2.3 视觉惯性里程计作为轻量级组合导航 67
3.2.4 综合实战：机器人组合导航多技术仿真 69
3.3 基于深度学习的端到端融合感知 72
3.3.1 深度学习融合的范式 72
3.3.2 代表性的端到端融合模型 74
3.4 综合实战：机器人智能运动控制仿真系统 74
3.4.1 项目功能和技术亮点 74
3.4.2 框架设计 75
3.4.3 创建Plant模型 75
3.4.4 PID和神经网络控制器 76
3.4.5 RNN线性化电路控制器 76
3.4.6 系统调度 77
3.4.7 基于PID_static_FOPDT 电路模型的控制可视化 77
3.4.8 基于RTCFL_RNN 电路模型的控制可视化 78
第4章 环境建模、SLAM与定位技术
4.1 环境地图的表示方法 82
4.1.1 二维占据栅格地图 82
4.1.2 二维高程地图与进阶环境地图 84
4.1.3 语义地图 86
4.2 同步定位与地图构建技术 88
4.2.1 SLAM的功能及其在机器人中的应用 89
4.2.2 常用的SLAM算法 90
4.2.3 综合实战：基于ROS和SLAM的导航路径系统 91
4.3 全局定位与长期鲁棒性 100
4.3.1 全局定位技术 100
4.3.2 重定位与场景识别 102
4.3.3 综合实战：室内机器人在栅格地图中的自主定位 104
第5章 路径规划与运动规划
5.1 全局路径规划：在已知地图中寻路 114
5.1.1 Dijkstra算法：基于贪心策略的最短路径算法 114
5.1.2 A*算法：引入启发式函数的高效最优搜索 115
5.1.3 D* Lite算法：适用于动态环境的路径重规划算法 116
5.1.4 综合实战：寻找地图中的最短导航路线 117
5.2 局部运动规划：实时避障与轨迹生成 121
5.2.1 考虑动力学约束的轨迹优化 121
5.2.2 经典局部规划器的原理与应用 122
5.2.3 综合实战：基于DWA的机器人局部运动规划系统 124
5.3 运动规划算法进阶与前沿算法 130
5.3.1 基于优化的运动规划 130
5.3.2 基于强化学习的运动规划 132
5.3.3 综合实战：使用DQN和Dueling DQN实现二维网格世界导航任务 133

5.4 综合实战：基于Gazebo仿真的路径规划系统 142
5.4.1 构建地图 142
5.4.2 实现RRT算法 143
5.4.3 执行主程序 143
第6章 智能决策与任务规划
6.1 智能决策体系基础 148
6.1.1 决策层级划分 148
6.1.2 环境复杂性分析 149
6.2 反应式系统与可组合决策系统 151
6.2.1 基于规则的决策系统 151
6.2.2 有限状态机的设计与实现 152
6.2.3 行为树决策 154
6.2.4 综合实战：FSM与BT在机器人巡逻任务中的对比 157
6.3 基于强化学习的智能决策 160
6.3.1 强化学习在智能决策中的应用 160
6.3.2 综合实战：基于强化学习算法的机械臂抓取任务 164
6.4 大模型驱动的行为决策与推理 171
6.4.1 大模型与具身智能 172
6.4.2 大模型与机器人系统的集成架构 173
6.4.3 综合实战：基于Trajectron++模型的行为预测框架 176
第7章 机器人运动控制：从建模到精准执行
7.1 机器人的位置控制 182
7.1.1 PID运动控制 182
7.1.2 滑模控制和自适应滑模控制 183
7.1.3 综合实战：单轴机械臂机器人的PID控制与滑模控制的仿真对比 185
7.2 机器人运动建模 189
7.2.1 运动学建模 189
7.2.2 动力学建模 191
7.2.3 综合实战：具身智能机器人的运动学与动力学建模仿真 193
7.3 模型预测控制和安全屏障函数 196
7.3.1 模型预测控制的实时优化 196
7.3.2 安全屏障函数设计 197
7.3.3 综合实战：基于CBF的实时速度控制系统 199
7.4 基于人工智能的运动控制 201
7.4.1 基于深度强化学习的位控优化 202
7.4.2 强化学习在线调参 203
7.4.3 基于深度学习的振动特征提取 204
7.5 综合实战：基于AI的全向驱动机器人控制系统 205
7.5.1 启动文件 206
7.5.2 机器人控制器 206
7.5.3 升级的机器人控制器 209
7.5.4 记录位置信息 209
7.5.5 机器人运动控制和状态管理 211

7.5.6 调试运行 213
第8章 多机器人协同的具身智能系统
8.1 多机器人系统概述与核心挑战 216
8.1.1 多机器人系统的优势与应用场景 216
8.1.2 多机器人协同的问题 217
8.2 多机器人协同的基础理论与方法 222
8.2.1 协同任务分配 222
8.2.2 协同路径规划与运动协调 224
8.2.3 综合实战：仓库场景的多机器人协同作业仿真 226
8.3 AI赋能的先进多机器人协同 229
8.3.1 多智能体协作与竞争 230
8.3.2 LLM驱动的群体智能与任务规划 232
8.3.3 综合实战：基于强化学习的多机器人协同仿真 235
8.4 通信、感知与建图的协同 241
8.4.1 多机器人的通信架构 241
8.4.2 协同感知与SLAM 244
8.4.3 综合实战：基于ROS与Qt的机器人集群监控系统 246
第9章 基于PX4的轮式装载机智能系统
9.1 背景介绍 255
9.2 项目介绍 255
9.2.1 PX4介绍 255
9.2.2 功能模块 257
9.3 硬件适配层 260
9.3.1 PX4硬件适配层介绍 260
9.3.2 飞控板的LED指示灯控制 262
9.4 通用工具库 263
9.4.1 传感器校准 263
9.4.2 地形估计 264
9.4.3 PID运动控制 266
9.4.4 运动控制分配 267
9.4.5 基础控制算法库 268
9.4.6 移动机器人控制 269
9.4.7 机器人追踪 269
9.4.8 机器人速度控制 270
9.4.9 运动规划 270
9.5 核心执行层 271
9.5.1 AHRS与底盘控制集成 272
9.5.2 姿态估计器 272
9.5.3 基于扩展卡尔曼滤波器的状态估计 273
9.5.4 负载分析 273
9.5.5 操作模式管理 275
9.5.6 运动控制与导航功能 275
9.6 系统集成测试 276
9.6.1 手动输入控制 276
9.6.2 预期飞行路径测试和位置控制功能测试 277