可穿戴导盲辅助系统（智辅盲行）

Tue, 01 Sep 2026 13:00:00 +0800

项目概述

「智辅盲行」是一套面向视力障碍者的可穿戴式出行辅助装置，为本团队参加第二十一届中国研究生电子设计竞赛「通感算智融合与数智化应用」专项赛的参赛作品。

传统导盲工具（盲杖、导盲犬）难以感知红绿灯、远处来车等语义信息。本系统以 RK3588 边缘计算平台为核心，融合摄像头、毫米波雷达、IMU 与 GPS 多源传感器，在端侧完成目标检测与场景理解，并通过分级语音/触觉提醒帮助使用者规避风险，实现全天候（夜间、雨雾、逆光均可工作）的独立出行辅助。

系统组成

flowchart LR
 subgraph SENSE["感知端"]
 CAM["IMX415 摄像头"]
 RADAR["毫米波雷达"]
 IMU["ICM20948 IMU"]
 GPS["NEO6M GPS"]
 ESP["ESP32-S3 采集节点"]
 end
 subgraph COMPUTE["计算端：RK3588 边缘网关"]
 RKNN["RKNN NPU 推理
YOLOv8n 目标检测"]
 FUSION["多源融合
时空对齐"]
 GUIDE["导盲决策引擎
风险分级"]
 end
 subgraph FEEDBACK["反馈端"]
 SPK["功放喇叭 · 紧急播报"]
 BC["骨传导耳机 · 常规提示"]
 VIB["震动马达 · 触觉告警"]
 end
 CAM -->|MIPI| RKNN
 RADAR -->|UART| ESP
 IMU -->|I2C| ESP
 GPS -->|UART| ESP
 ESP -->|UART| FUSION
 RKNN --> FUSION
 FUSION --> GUIDE
 GUIDE --> SPK
 GUIDE --> BC
 GUIDE --> VIB

整机采用胸包式佩戴：RK3588 与电池组置于胸前硬壳包内，摄像头从包顶朝前，传感器节点固定于腰带，续航 3 小时以上。

多传感器融合策略

传感器	职责	频率	兜底逻辑
摄像头 + RKNN	目标检测：行人/车辆/障碍/红绿灯/斑马线	30fps	—
毫米波雷达	测距测速测角；夜间/雨雾/逆光兜底	10Hz	纯视觉失效时接管
IMU	坡道/坑洼检测、步态分析、跌倒检测	200Hz	GPS 辅助姿态
GPS	全局定位、远程监护	1Hz	基站定位降级

视觉与雷达互为冗余是本系统的核心设计：白天以视觉语义为主，摄像头失效的夜间与恶劣天气场景由毫米波雷达接管，保证感知链路无死角。

分级提醒策略

不同距离与场景对应不同的置信度要求和提醒强度，避免过度打扰：

场景	提醒方式
< 0.8m 障碍（雷达+视觉双确认）	喇叭强播「停！前方障碍」+ 震动马达
0.8~2m 车辆逼近	喇叭播报「注意车辆靠近」
2~5m 行人	骨传导耳机「前方 3 米有人」
红绿灯 / 斑马线识别	骨传导耳机「红灯停，检测到斑马线」
下坡 / 路面坑洼（IMU）	骨传导耳机「注意下坡，路面不平」

软件架构

全 C++ 模块化实现，按 camera / radar / imu / gps / fusion / guide / voice / comm 划分模块，配置与规则（距离阈值、播报模板）全部外置为 YAML/JSON，便于现场调整：

推理：RKNN NPU 上运行 YOLOv8n 通用检测，预留红绿灯、斑马线专用模型
融合：GPS UTC 时间戳 + 系统时钟做时空对齐，完成多源目标关联
决策：场景理解 → 风险分级 → 播报策略三级流水
语音：Piper 离线 TTS 实时合成常规提示 + 预录 WAV 零延迟播放紧急告警的混合方案，播报队列支持优先级打断

项目状态

竞赛作品已完成整机集成与多场景实测（室内避障、逆光/雨雾、复杂路口、夜间、坑洼路面），目前仍在持续迭代识别精度与佩戴体验。

基于人脸识别的视觉门禁系统（RK3588）

Tue, 01 Sep 2026 14:05:00 +0800

项目概述

面向区域门禁的边缘侧视觉安防系统，防止异常访客进入。在 RK3588 上完成视频编解码、多模型 NPU 推理、视频推流的系统集成，实现「识别 → 比对 → 开门」的任务闭环，同时保证库内人脸识别准确度。

系统链路

flowchart LR
 CAM["4 路 RTSP 摄像头"] --> PULL["FFmpeg 拉流"]
 PULL --> DEC["MPP 硬解码
1080p@30fps"]
 DEC --> BUF["共享缓冲区
生产者-消费者队列"]
 BUF --> RGA["RGA 预处理
零拷贝"]
 RGA --> NPU["NPU 多模型推理
YOLO11 · RetinaFace · FaceNet"]
 NPU --> CMP{"人脸比对
SQLite 5k+ 特征库"}
 CMP -->|"命中 > 98%"| DOOR["GPIO 继电器开门
延迟 < 1s"]
 DEC --> ENC["H.264 封装"]
 ENC --> RTMP["RTMP 推流"]

解码、推理、推流之间采用生产者-消费者队列隔离，端到端延迟 < 200ms，长时间连续运行无内存泄漏。

关键技术点

多媒体采集处理：FFmpeg 实现 4 路 RTSP 视频流拉流；Rockchip MPP 完成 H.264 硬件解码；共享缓冲区保证帧数据的线程安全；解码后封装 H.264 经 RTMP 推流供远程查看
多模型 NPU 推理调度：RKNN-Toolkit2 完成三模型 INT8 量化部署——YOLO11（人体检测）、RetinaFace（人脸检测）、FaceNet（人脸识别）；量化精度分析后对敏感层做混合量化提升精度，单帧 NPU 推理耗时 < 35ms
工程优化：解码零拷贝输出 Buffer 直入 RGA 做图像预处理，显著降低 CPU 负载
人脸识别管理：本地人脸库管理，SQLite 存储 5000+ 人脸特征，库内验证命中率 > 98%；编写 GPIO 子系统驱动门禁继电器，识别通过到开门 < 1s

核心模块与接口设计

多媒体链路模块

模块	接口	职责
`stream_loader`	FFmpeg `avformat_open_input / av_read_frame`	4 路 RTSP 拉流接入
`mpp_decoder`	Rockchip MPP 硬解接口	H.264 → NV12，1080p@30fps
`rga_func`	`imresize / imcvtcolor`（零拷贝 DMA）	缩放与色彩空间转换
`mpp_encoder` + `streaming_manager`	H.264 编码 + RTMP 封装推流	远程实时查看
`detection_fusion_manager`	多模型结果融合	检测/识别结果汇总

三级级联推理（RKNN C API）

人体 → 人脸 → 特征三级模型逐级过滤，只有命中上一级的候选才进入下一级，显著降低 NPU 平均负载：

1
2
3
4


rknn_init(&ctx, model_data, model_size, 0, nullptr); // 加载 INT8 量化 .rknn 模型
rknn_inputs_set(ctx, 1, &in); // 送入 RGA 预处理后的帧
rknn_run(ctx, nullptr);
rknn_outputs_get(ctx, 1, &out, nullptr); // 检测框 / 人脸特征输出

级联	模型	输出
1	YOLO11（INT8）	人体检测框
2	RetinaFace（INT8）	人脸框 + 关键点
3	FaceNet（INT8，敏感层混合量化）	人脸特征向量

人脸比对接口

特征比对走 SQLite 特征库 + 余弦相似度：sqlite3_prepare / step 逐条读取库内 5000+ 人脸特征，与现场提取的特征做余弦相似度计算，超过阈值即判定命中——库内验证命中率 > 98%。命中后经 GPIO 子系统写寄存器拉起门禁继电器，识别通过到开门 < 1s。

线程与队列模型

解码、推理、推流三个环节以生产者-消费者队列隔离：共享缓冲区 + 互斥锁/条件变量保证帧数据线程安全，单路阻塞不拖垮全局链路，端到端延迟 < 200ms，长时间运行无内存泄漏。

项目状态

系统已完成集成与闭环联调，各项指标（识别耗时、端到端延迟、命中率、开门时延）均达标。

计算机视觉 on Zesean 的博客

可穿戴导盲辅助系统（智辅盲行）

项目概述

系统组成

多传感器融合策略

分级提醒策略

软件架构

项目状态

基于人脸识别的视觉门禁系统（RK3588）

项目概述

系统链路

关键技术点

核心模块与接口设计

多媒体链路模块

三级级联推理（RKNN C API）

人脸比对接口

线程与队列模型

项目状态