机器人运动脑原理与应用

本书基于北京钢铁侠科技有限公司研发的最新移动操作机器人，详细讲解了“移动”+“操作”的解决方案，结合图像语义分割、目标追踪、语音控制、群体协同等最新人工智能技术，系统介绍了移动机械臂的算法实现。本书根据机器人运动脑的技术原理，具体讲解了感知、决策、执行的设计方案，深刻阐述了机器人在移动中智能完成操作任务的过程。除了介绍单个机器人本身的开发方式，本书还介绍了人与机器人的交互方式、多个机器人间的协作方式，所用的技术皆来自工程化项目，是学习产业亟需的智能机器人技术的理想平台

目录
基 础 篇
第1章 移动机器人综述 1
1.1 移动机器人概述 2
1.1.1 定义与分类 2
1.1.2 发展历程 4
1.2 移动机器人的核心技术 5
1.2.1 环境感知技术 5
1.2.2 定位导航技术 6
1.2.3 路径规划技术 7
1.2.4 运动控制技术 8
1.2.5 自主决策与学习技术 9
1.3 移动机器人技术面临的挑战 10
1.3.1 环境感知的准确性 10
1.3.2 定位导航的精度与鲁棒性 10
1.3.3 路径规划的实时性与动态适应性 11
1.3.4 运动控制的稳定性与灵活性 11
1.3.5 自主决策与学习的智能性与可解释性 11
1.4 移动机器人技术的未来发展趋势 12
1.4.1 多传感器融合与协同感知 12
1.4.2 智能化与自主化水平的提升 12
1.4.3 人机协作与共融 12
1.4.4 跨领域应用拓展 13
1.4.5 标准化与规范化发展 13
1.4.6 人形机器人的争议 13
1.4.7 机器人运动脑 13
第2章 语义分割基础 15
2.1 语义分割的基本概念 15
2.1.1 基本原理 15
2.1.2 应用实例 15
2.2 语义分割算法概述 17
2.2.1 全卷积网络 17
2.2.2 U-Net 19
2.2.3 DeepLab 25
2.2.4 Mask R-CNN 43
2.3 语义分割中的关键技术 44
2.4 评估与性能指标 57
进 阶 篇
第3章 目标检测与追踪 60
3.1 色块追踪 60
3.2 目标检测与物体识别追踪 65
3.2.1 YOLOv8简介 65
3.2.2 环境搭建 66
3.2.3 使用YOLOv8进行目标检测 67
3.2.4 结合PID控制实现物体识别追踪 68
3.3 基于特征检测的图像拼接技术 75
3.3.1 环境准备 75
3.3.2 特征检测 76
3.3.3 特征匹配 77
3.3.4 计算变换矩阵 78
3.3.5 图像变换 79
3.3.6 图像拼接 80
第4章 深度学习模型优化 82
4.1 目标与背景 82
4.2 硬件与软件环境准备 83
4.2.1 硬件要求 83
4.2.2 软件要求 83
4.2.3 安装Python及依赖库 84
4.3 YOLOv8 模型准备 85
4.3.1 YOLO系列算法发展简介 85
4.3.2 YOLOv8模型训练 86
4.4 TensorRT 加速 89
4.4.1 工作原理 89
4.4.2 核心功能 89
4.4.3 硬件加速 89
4.4.4 跨框架兼容 90
4.4.5 YOLOv8 模型转换与推理 90
4.4.6 常见问题与解决 90
第5章 硬件设计与系统集成 92
5.1 系统总体概述 92
5.1.1 系统功能概述 92
5.1.2 系统架构 93
5.1.3 应用场景 93
5.2 硬件设计以及I/O配置 94
5.2.1 核心处理器选型 94
5.2.2 外设接口设计 95
5.3 底盘控制系统 100
5.3.1 差速移动机器人介绍 100
5.3.2 两轮差速底盘原理与特点 103
5.3.3 四轮差速底盘原理与特点 106
5.4 两轮差速底盘与四轮差速底盘的性能对比 111
5.4.1 设计与结构 111
5.4.2 转弯与机动性 111
5.4.3 控制精度与稳定性 112
5.4.4 成本与功耗 112
5.4.5 适用场景 113
5.4.6 轮毂电机选择 113
5.4.7 运动学建模和分析 114
5.5 里程计数据采集与位置解算 115
5.5.1 里程计工作原理 115
5.5.2 里程计数据采集 116
5.5.3 里程计数据处理与融合 124
5.6 数据通信模块 129
5.6.1 数据通信模块概述 129
5.6.2 里程计数据帧的构建与发送 135
实 战 篇
第6章 可视化控制系统设计 137
6.1 Qt开发环境与项目配置 137
6.1.1 安装Python和PyQt5 137
6.1.2 使用VSCode设置开发环境 138
6.1.3 创建PyQt5项目结构 139
6.2 PyQt5界面开发基础 143
6.2.1 窗口与布局设计 143
6.2.2 常用控件详解 145
6.2.3 事件与信号槽机制 149
6.2.4 常见问题与解决方案 154
6.3 Python与Shell脚本的交互 154
6.3.1 Shell脚本简介 155
6.3.2 在PyQt5中调用Shell脚本 155
6.3.3 在PyQt5中触发Shell脚本 156
6.3.4 处理脚本执行中的错误与进度 158
6.4 多任务与并发处理 159
6.4.1 多任务处理与并发概述 159
6.4.2 Python 中的并发处理 159
6.4.3 PyQt5中的并发处理 160
6.4.4 Python 中的多进程 162
第7章 语音控制系统设计 164
7.1 系统概述 164
7.1.1 语音控制系统的定义与作用 164
7.1.2 系统的核心组成部分 165
7.1.3 语音控制系统在机器人中的应用场景 165
7.2 语音识别配置 166
7.2.1 M260C环形麦克风阵列 167
7.2.2 Linux 环境配置 168
7.3 语音指令启动 169
7.3.1 启动流程 169
7.3.2 主要函数与调用流程 170
7.4 语音控制导航系统 170
7.4.1 工作原理 171
7.4.2 语音指令的解析与执行 172
7.4.3 语音指令与功能实现 174
7.5 语音控制物联网 175
7.5.1 系统结构与控制原理 175
7.5.2 串口通信协议与控制指令说明 176
7.5.3 模块控制示例与语音响应 176
第8章 群体协同系统设计 178
8.1 WebSocket通信原理 178
8.1.1 WebSocket协议概述 178
8.1.2 WebSocket握手过程 179
8.1.3 WebSocket协议的安全性 180
8.1.4 WebSocket协议的优缺点 180
8.1.5 WebSocket协议的全双工通信 181
8.1.6 WebSocket与HTTP/2、HTTP/3的对比 183
8.1.7 WebSocket的底层实现与扩展 184
8.2 群体设备组网及编队控制 185
8.2.1 系统架构与总体设计 185
8.2.2 Leader模块程序解析 186
8.2.3 Follower模块程序解析 192
8.3 去中心化组网及控制 201
8.3.1 系统架构 201
8.3.2 Leader模块程序解析 203
8.3.3 Follower模块程序解析 206
8.4 二维栅格地图合并 215