可穿戴导盲辅助系统（智辅盲行）

项目概述

「智辅盲行」是一套面向视力障碍者的可穿戴式出行辅助装置，为本团队参加第二十一届中国研究生电子设计竞赛「通感算智融合与数智化应用」专项赛的参赛作品。

传统导盲工具（盲杖、导盲犬）难以感知红绿灯、远处来车等语义信息。本系统以 RK3588 边缘计算平台为核心，融合摄像头、毫米波雷达、IMU 与 GPS 多源传感器，在端侧完成目标检测与场景理解，并通过分级语音/触觉提醒帮助使用者规避风险，实现全天候（夜间、雨雾、逆光均可工作）的独立出行辅助。

系统组成

flowchart LR
    subgraph SENSE["感知端"]
        CAM["IMX415 摄像头"]
        RADAR["毫米波雷达"]
        IMU["ICM20948 IMU"]
        GPS["NEO6M GPS"]
        ESP["ESP32-S3 采集节点"]
    end
    subgraph COMPUTE["计算端：RK3588 边缘网关"]
        RKNN["RKNN NPU 推理
YOLOv8n 目标检测"]
        FUSION["多源融合
时空对齐"]
        GUIDE["导盲决策引擎
风险分级"]
    end
    subgraph FEEDBACK["反馈端"]
        SPK["功放喇叭 · 紧急播报"]
        BC["骨传导耳机 · 常规提示"]
        VIB["震动马达 · 触觉告警"]
    end
    CAM -->|MIPI| RKNN
    RADAR -->|UART| ESP
    IMU -->|I2C| ESP
    GPS -->|UART| ESP
    ESP -->|UART| FUSION
    RKNN --> FUSION
    FUSION --> GUIDE
    GUIDE --> SPK
    GUIDE --> BC
    GUIDE --> VIB

整机采用胸包式佩戴：RK3588 与电池组置于胸前硬壳包内，摄像头从包顶朝前，传感器节点固定于腰带，续航 3 小时以上。

多传感器融合策略

传感器	职责	频率	兜底逻辑
摄像头 + RKNN	目标检测：行人/车辆/障碍/红绿灯/斑马线	30fps	—
毫米波雷达	测距测速测角；夜间/雨雾/逆光兜底	10Hz	纯视觉失效时接管
IMU	坡道/坑洼检测、步态分析、跌倒检测	200Hz	GPS 辅助姿态
GPS	全局定位、远程监护	1Hz	基站定位降级

视觉与雷达互为冗余是本系统的核心设计：白天以视觉语义为主，摄像头失效的夜间与恶劣天气场景由毫米波雷达接管，保证感知链路无死角。

分级提醒策略

不同距离与场景对应不同的置信度要求和提醒强度，避免过度打扰：

场景	提醒方式
< 0.8m 障碍（雷达+视觉双确认）	喇叭强播「停！前方障碍」+ 震动马达
0.8~2m 车辆逼近	喇叭播报「注意车辆靠近」
2~5m 行人	骨传导耳机「前方 3 米有人」
红绿灯 / 斑马线识别	骨传导耳机「红灯停，检测到斑马线」
下坡 / 路面坑洼（IMU）	骨传导耳机「注意下坡，路面不平」

软件架构

全 C++ 模块化实现，按 camera / radar / imu / gps / fusion / guide / voice / comm 划分模块，配置与规则（距离阈值、播报模板）全部外置为 YAML/JSON，便于现场调整：

推理：RKNN NPU 上运行 YOLOv8n 通用检测，预留红绿灯、斑马线专用模型
融合：GPS UTC 时间戳 + 系统时钟做时空对齐，完成多源目标关联
决策：场景理解 → 风险分级 → 播报策略三级流水
语音：Piper 离线 TTS 实时合成常规提示 + 预录 WAV 零延迟播放紧急告警的混合方案，播报队列支持优先级打断

项目状态

竞赛作品已完成整机集成与多场景实测（室内避障、逆光/雨雾、复杂路口、夜间、坑洼路面），目前仍在持续迭代识别精度与佩戴体验。