语音/振动信号处理及CNN炼丹

2023-02-22 14:19:28 浏览数 (1)

摘要

本文实际上只是一些零碎的东西。

信息密度比较低,随便写写。

正文

语音/振动信号用于识别人的身份近几年才兴起。大概是2017年,出现了通过振动信号识别身份的论文,之后迅速出现了振动信号处理在其他方面的应用。我记得有人通过手指触摸物体产生的振动去识别物体的种类。当然物体种类是预先准备好的,可以看出这时已经可以粗略的利用振动信号处理识别相关的问题了。

之后出现了更多的应用,诸如通过佩戴手环,可以识别敲击位置,进而模拟键盘:

手机作为一个传感器完备的设备,自然也出现了通过振动识别身份的应用。有几篇就是通过振动信号的处理分析识别身份的。然而目前止步于此,没有人做出来多模式或者设备的振动信号识别,毕竟振动/声音和介质息息相关,换一个介质,振动下的生物信息就会改变,至于改变成什么样子,似乎完全和设备有关,还没有能够找到规律。

我做了一段时间的语音信号处理了,简述一下流程吧。

首先是信号采集,振动信号我用的sensor stream,典型的c/s形式,开源,可以采样到加速度计,声音等几乎所有可以采集的数据,可以自定义采样频率。github就能找到。

电脑端采集声音我直接用的arecord,毕竟我是linux的工作环境。

其次是数据处理,音频我直接采用的mfcc,13维,其他特征没有尝试过,毕竟,mfcc似乎是最好的了。

我做的问题可以转为分类问题,因此直接用的cnn,使用google的Efficintnet网络,基于python写的分类。主要是网络上有现成的代码,csdn,我是把mfcc后的图片直接喂给了cnn。这个网络架构也算比较轻量的,挺合适的。

这么看来我似乎没做什么实质性工作,笑。

接下来就得java写神经网络了,还想看resnet,虽然不是我这个方向的。

0 人点赞