基于树莓派以及语音与人脸识别的迎宾机器人交互系统开发计划(已完结github中)

2019-11-28 16:09:26 浏览数 (1)

作品未来设想:并不是制作一个能自由行走的智能管家机器人之类的,那样的科技以及成本是不一个寒假可以ko!我们希望创造出智能机器人的头。

项目已完结:发布在github上,luyishisi的仓库中。用户可以在树莓派分类下看到各种技术点的实现过程。

https://github.com/luyishisi/Raspberry_face_recognition_attendance_machine

实现的基础功能是:

能够通过视频流进行人脸识别,再通过麦克风进行语音识别,在实现两大基础技术的根本在于,对视音频流由树莓派采用python-opencv库,再通wifi联网进行数据库的匹配与识别。

进阶互动功能:

通过连接到face 库进行人表情心情年龄等的判断,进而通过语音输出这些特征,与访客进行互动。通过语音识别进行控制大脑的系列行动,如开启人脸识别记录功能。

终极功能:

能够在通过自带屏幕,进行表情的输出,再结合访客的语音视频的输入能够做出正当反应。。

计划采购:

  1. 树莓派2代B型 :238元
  2. usb-wifi接口    :31元
  3. 稳定5v2a电源 :25元
  4. 显示屏             :42元
  5. 红外视频模块 :128元
  6. TF卡class10     :41元
  7. 保护壳和散热片:30元
  8. 麦克风               :20元

总计金额     555   元;

进展记录

12.15

十五号树莓派抵达,以及安装上镜像,连接usb-wifi,鼠标键盘,基本稳定能运行,再通过hdmi转vga线,运作在实验室和宿舍。联网完成了基本配置以及视频播放vim等功能python-game等模块测试,安装谷歌浏览器失败,安装qq失败搭建git失败

播放视频命令为omxplayer

12.16

收到红外摄像头,成功搭建git,安装测试红外。播放命令为 raspistill -o video.h264 -t 100000。t后面是时间,这个是能稳定显示一百秒。

12.17

搭建git代码仓库,重置树莓派

12.18

调试出数字发音,可以让树莓派自己读出ip地址。见github仓库speak_raspi_ip-master。

12.20

注册百度语音api,调试成功,可以识别录音。使用python完成录音和api接口。python_baiduyuyin 关于百度语音的识别代码可以在这里找到。

12.21

由于百度语音延时太厉害所以重新开始,尝试科大迅飞的接口。

12.22

讯飞接口成功使用文本转换语音。但是过程麻烦而且混乱。

12.23

sudo apt-get install ttf-wqy-zenhei

sudo apt-get install scim-pinyin

sudo raspi-config

然后选择change_locale,在Default locale for the system environment:中选择zh_CN.UTF-8。然后重启机器,就发现整个环境变成中文的了。

期末考各种浪费时间。。

1.20回归重新开始设计。

近期优先开始实验

1.23完成天气朗读项目。 联通网络可以通过ip获取地理位置,调用api查询天气情况,再运用百度语音合成,变为朗读天气。。

1.25解决树莓派发音问题

有区别两种发音,hdmi和3,5口发音。需要在raspi-config中,第九项advanced options中,a9-audio.中设置。今天测试树莓派在天气朗读项目的基本实现。 解决ls-l别扭的输入alias ll=’ls -l’

1.26测试多线程subprocess模块

具体方式是开发一个用于开一百个进程查询局域网内可以ping通的网络节点,请看python多进程那篇博文。

1.27截图工具。

scrot-s可以选定一个区域在当前目录下截图。保存。

后期一直忘记跟新了,。加入了pygame做可视化界面,然后在使用face 做人脸识别,加入百度语音来念出声音。。

项目存放在github中,。

最终样子是:

原创文章,转载请注明: 转载自URl-team

本文链接地址: 基于树莓派以及语音与人脸识别的迎宾机器人交互系统开发计划(已完结github中)

Related posts:

  1. 学习—用 Python 和 OpenCV 检测和跟踪运动对象
  2. 使用pyaiml机器人模块快速做个和你智能对话的大脑
  3. 人脸识别考勤机开发计划
  4. 让树莓派开机运行Python脚本
  5. 人脸识别考勤系统-第二版本研发手札
  6. 树莓派开机左上角光标闪烁无法进图形系统问题解决

0 人点赞