By 超神经
据世界卫生组织统计，全球共 22 亿人视力受损，包含 2.85 亿视障人群和 3,900 万全盲人群。而且，这一数字将随老龄化加剧不断增加。
虽然视障人群面临着诸多不便，但是针对视障人群的辅助设备却存在成本高、维护困难、操作复杂等问题，很难满足他们的生活需求。
为此，广东技术师范大学和武汉科技大学的研究者基于智慧物联网共同开发了一套视障辅助设备，通过 AI 算法和传感器为视障人群的生活带来便利。
作者 | 雪菜
编辑 | 三羊、铁塔
2019 年，世界卫生组织 (WHO) 发布了第一份「世界视力报告」。报告称，全球至少有 22 亿视力受损者，其中 2.85 亿人为视障人群，3,900 万人彻底失明。受全球人口增长和人口老龄化的影响，视障人群的数量在 2040 年可能会增长 3 倍。
图 1：全球视力受损者估计人数
视障者无法通过视觉系统接收外界的信息，在日常生活中面临着诸多不便。他们很难躲避附近的障碍物，也无法从书籍或是屏幕中获取信息。
然而，对视障人群进行长期健康监护成本很高，而现有的视障人群辅助设备价格昂贵、比较笨重且交互性差，也很难满足他们的日常需求。
为解决上述问题，广东技术师范大学和武汉科技大学的研究者基于智慧物联网 (AIoT, Artificial Intelligence of Things) 开发了一套视障辅助设备。
这套设备主要包括智能眼镜和智能盲杖，总造价约 480 元。它可以通过多种传感器监测使用者和环境的状态，帮助使用者与环境进行交互并在危险状况下发出警报。这一成果已发表于「Electronics」。
这一成果已发表于 「Electronics」
论文链接：
https://www.mdpi.com/2079-9292/12/18/3760
关注公众号，后台回复「视障辅助」获取论文完整 PDF
设备设计
AIoT 架构
感知与交互
视障辅助设备的 AIoT 架构包括 3 层：
1、感知层，即收集外部数据的传感器及模组；
2、网格层，使用窄带物联网 (NB-IoT) 进行数据连接，并使用 HTTP 和 MQTT 协议进行数据传输；
3、应用层，主要通过 APP 和蓝牙音频设备与用户进行交互。
图 2：AIoT 的架构示意图
智能眼镜
YOLO v5 OCR
视障辅助设备应兼具便利和可靠性，以满足视障人群的日常需要。为此，研究人员通过双目相机收集图像，随后通过轻量级网格模型 YOLO v5 对物体及其距离进行分析，或是通过光学字符识别 (OCR) 阅读文字。
图 3：智能眼镜的结构示意图
物体识别过程中，YOLO v5 算法会将图片划分为网格，随后预测每个网格单元的边界框，并在创建边界框的同时识别出图片中的不同物体。
YOLO v5 网格主要分为 4 层，包括：
1、input：用于对输入图像进行初始定义；
2、backbone：利用卷积神经网络 (CNN) 提取图像特征；
3、neck：整合图像特征，并连接 backbone 层和 output 层；
4、output：利用边界框输入对图像中物体的预测。
图 4：本研究中 YOLO v5 算法架构
除图像识别外，YOLO v5 算法还能通过对比双目相机的图像计算用户与障碍物之间的距离。
图 5：YOLO v5 计算障碍物距离的方法
图 6：YOLO v5 计算障碍物距离的公式
公式中，B 为相机左右镜头间距，f 为相机焦距，d 为对应左右点的视差。
智能眼镜的 OCR 功能通过调用百度 OCR 的 API 实现。OCR 过程包括图像获取、降噪、二值化 (Binarizatoin)、文字区域提取、字符分割、字符识别、优化及音频输出。
图 7：OCR 过程示意图
智能盲杖
健康监测与环境感知
智能盲杖的主要功能之一是健康监测，因此在盲杖上集成了心率、体温等传感器和数据收集模组。为实现非接触测量，心率传感器使用光体积变化描记图法 (PPG, Photoplethysmography) 进行监测，体温传感器使用红外辐射进行监测。
图 8：智能盲杖的结构示意图
此外，为增强视障者对环境的感知，盲杖上还集成了温度、湿度和姿势传感器。姿势传感器由加速度计和陀螺仪组成，通过计算使用者的组合加速度 (ACLR)，监测其是否有跌倒的风险。
如果使用者距离障碍物过近，或是姿势传感器察觉到使用者可能会跌倒，盲杖将通过震动和蜂鸣器发出警报。
图 9：用于跌倒监测的 3 维坐标系
实验结果
图像识别
物体与距离
研究人员在常见室内外环境中对设备的物体识别能力进行了 20 次测试。结果显示，室内外环境下 YOLO v5 算法均能比较准确地识别出环境中的物体，并对物体与使用者之间的距离作出判断。
图 10：室内环境下的测试结果
图 11：室外环境下的测试结果
然而，随着图像中物体数量增加，错误率会随之提高，尤其是对于具有相似特征的物体，比如电视与显示器，或是自行车与摩托车等。最终，智能眼镜的识别准确率为 92.16%。
即使 YOLO v5 算法认错了物体，它依然能对距离作出判断。与商用的 APP 相比，YOLO v5 算法判断距离的偏离率在 0.28-6.32% 之间，随着距离的增加而增加。
基于这一判断，当使用者与物体之间的距离小于 0.7 m 时，智能盲杖会发出警报，同时接管微控制器以避开障碍物。
OCR
正确率接近 100%
同时，研究人员用 10 段文本测试了智能眼镜的 OCR 性能。测试状态下，智能眼镜的 OCR 正确率为 100%。虽然阅读过程中头部移动会导致些许识别错误，但整体 OCR 正确率仍有 99.91%。
图 12：智能眼镜的 OCR 结果
健康监测
心率与体温
心率监测模组通过 PPG 对用户的心率进行实时记录。测试中，智能盲杖分别记录了不同年龄的被试在静止和行走状态下的心率，结果与商用手环的偏离率在 0.72-3.52% 之间。
表 1：不同实验组的心率监测结果
体温测试中，与医用的前额温度计相比，测试模组的最大偏离率为 0.19%。这一结果说明即使在智能盲杖上，红外体温传感器也能够准确监测使用者体温，不会受到环境的干扰。
表 2：不同实验组的体温监测结果
姿势监测
行走、上楼与下楼
智能盲杖可以通过加速度计和陀螺仪对使用者的姿势进行监测，并在可能跌倒时发出警报。实验测试了使用者在行走、上楼与下楼时盲杖的监测结果，并将结果分为 3 类：
1、正确：盲杖监测的结果和使用者状态一致；
2、不正确：盲杖监测到了跌倒风险，但使用者仍为正常状态；
3、无响应：盲杖显示正常状态，但使用者有跌倒风险。
表 3：不同实验条件下的跌倒监测准确率
在不同场景下，智能盲杖的平均监测正确率为 87.33%，说明这一设备可以在多数情况下对使用者的状态作出正确判断。
万物互联
APP 蓝牙
最终，所有数据会传输到手机上，并通过 APP 整合。同时，蓝牙音频会将这些数据播报给使用者，帮助他们了解自己的健康状态和外部环境。
图 13：集成的 APP 界面
关注普遍的眼健康
虽然无障碍设施正在多个场景不断普及，但这些设备更多针对行动不便的人群。对于身处黑暗的视障人群而言，他们需要更多的无障碍设施。
但由于群体小、设施成本高，这些设施很难普及。盲道、盲文等便利视障人群的设施，则会因缺乏维护和管理，无法发挥效用。
然而，已有相当多的个人和企业参与到了帮助视障人群的行动中。目前绝大多数主流手机品牌已经有了专为视障人群设计的操作方式。
在北京、昆明等城市，开设了专为视障人群讲述电影的「心目影院」，帮助视障人群观赏院线大片。
在「我的世界」、「炉石传说」等游戏社区中，也有热心玩家开发了无障碍的模组 (Mod) 帮助改善视障人群的游戏体验。
图 14：「心目影院」中的盲人观众
2023 年 6 月 6 日是第 28 个全国爱眼日，主题为「关注普遍的眼健康」。今天是第 23 个世界视力日，希望大家能够关注视力健康，同时向身边的视障人群贡献一臂之力，与 AI 携手构建无障碍世界。
参考链接：
[1]https://www.who.int/zh/news/item/08-10-2019-who-launches-first-world-report-on-vision
[2]https://bjo.bmj.com/content/96/5/614.short
[3]https://www.bilibili.com/video/BV1fs4y1K7Q7
—— 完 ——
