通过语音控制机器人方案

注意：

  • 再学习本系列教程时，应该已经安装过ROS了并且需要有一些ROS的基本知识
  • 此教程以webots_demo为基础
    ubuntu版本：20.04
    webots版本：2021a
    ros版本：noetic

0.前言

目前语音机器人已经非常普遍，那我们想要搭建自己的低成本语音识别平台该如何实现呢?

图一就是笔者使用的方案，这个方案成本较低，但是环境搭建复杂。

  1. 语音唤醒：使用pocketsphinx实现
  2. 语音识别：使用腾讯云ASR实现
  3. 语义理解：使用腾讯云NLP实现
  4. 本地语音合成：使用ekho实现
    在这里只介绍如何搭建pocketsphinx环境和ekho环境。

1.安装pocketsphinx工具

具体可以看cmusphinx

1.1安装依赖

$ sudo apt-get install bison
$ sudo apt-get install swig

1.2安装sphinxbase

下载文件sphinxbase-5prealpha.tar.gz

$ tar -zxvf sphinxbase-5prealpha.tar.gz sphinxbase-5prealpha/
$ cd sphinxbase-5prealpha/
$ PYTHON=python3 ./configure
$ sudo make
$ sudo make install

1.3安装pocketsphinx

下载文件pocketsphinx-5prealpha.tar.gz

$ tar -zxvf pocketsphinx-5prealpha.tar.gz pocketsphinx-5prealpha/
$ cd pocketsphinx-5prealpha/
$ PYTHON=python3 ./configure
$ sudo make
$ sudo make install

1.4安装pocketsphinx-python

pip install pocketsphinx

笔者遇到的问题：

  • deps/sphinxbase/src/libsphinxad/ad_pulse.c:44:10: fatal error: pulse/pulseaudio.h: 没有那个文件或目录 
    $ sudo apt-get install libpulse-dev
  • deps/sphinxbase/src/libsphinxad/ad_alsa.c:76:10: fatal error: alsa/asoundlib.h: 没有那个文件或目录 
    $ sudo apt-get install libasound2-dev

    1.5安装中文模型

    下载文件cmusphinx-zh-cn-5.2.tar.gz
    将zh_cn.cd_cont_5000；zh_cn.dic；zh_cn.lm.bin三个文件放到/home/mckros/.local/lib/python3.8/site-packages/pocketsphinx/model/下

1.6安装pyaudio

$ sudo apt-get install portaudio19-dev 
$ pip3 install pyaudio

Ubuntu安装pyaudio找不到python.h的问题
对于Debian | Ubuntu使用包管理器安装PyAudio：

$ sudo apt-get install python-pyaudio python3-pyaudio

2.使用在线工具建立自己的语料库

2.1创建一个语料库

$ touch volcano.txt
$ vim volcano.txt

输入以下内容：

小度你好
前进
后退

保存退出

2.2利用在线工具LMTool建立语言模型

工具网站：LMTool
选择刚刚创建的语料库，然后提交，顺序如下图所示：

提交之后需要下载的就.dic和.lm两个文件，如下图所示：

将两个文件放到/home/mckros/.local/lib/python3.8/site-packages/speech_recognition/pocketsphinx-data/zh-CN/文件夹下。
如果没有zh-CN文件夹，自己新建一个，并且将pocketsphinx/model下的zh_cn.cd_cont_5000文件夹复制近来，改名成acoustic-model,将.lm改名为language-model.lm.bin，将.dic改名为pronounciation-dictionary.dict
打开pronounciation-dictionary.dict，给中文添加音标。

小度你好    x iao3 d u4 n i3 h ao3
前进    q ian2 j in4
后退    h ou4 t ui4

2.3编写程序

import speech_recognition as sr
# 使用pocketsphinx实现语音唤醒
def wake_up():
    r = sr.Recognizer()
    # obtain audio from the microphone
    with sr.Microphone() as source:
        r.adjust_for_ambient_noise(source)  # listen for 1 second to calibrate the energy threshold for ambient noise levels
        print('say something')
        # os.system("aplay \"dd.wav\"")
        audio = r.listen(source)
        # recognize speech using Sphinx
        try:
            phrase = r.recognize_sphinx(audio,language="zh-CN")
            print("Sphinx thinks you said " + phrase)
        except sr.UnknownValueError:
            print("Sphinx could not understand audio")
        except sr.RequestError as e:
            print("Sphinx error; {0}".format(e))
if __name__ == "__main__":
    wake_up()

运行结果如下所示：

3.安装发音模块 ekho（余音）

3.1安装依赖

$ sudo apt-get install libespeak-ng-dev
$ sudo apt-get install libsndfile1-dev libpulse-dev libncurses5-dev libmp3lame-dev libespeak-dev

3.2下载工具

工具下载地址：http://www.eguidedog.net/cn/ekho_cn.php
下载完成后：

$ ./configure
$ sudo make
$ sudo make install

3.3测试工具

$ ekho "hello 123"

可以听到扬声器发出了hello 123的声音

3.4python3代码实现

import os
os.system("ekho 好的")

3.5问题

./configure的问题
configure: error: sndfile test failed

$ locate sndfile
$ ln -s /usr/lib/libsndfile.so.1.0.20 /usr/lib/libsndfile.so

结语

本文也是基于笔者的学习和使用经验总结的，主观性较强，如果有哪些不对的地方或者不明白的地方，欢迎评论区留言交流~
只要会使用这些模块就能很轻松的加入到ROS中进行机器人的语音控制。

为了能和读者进一步讨论问题，建立了一个微信群，方便给大家解答问题，也可以一起讨论问题。
加群链接
✌Bye

可以通过github项目学习：https://github.com/JackyMao1999/volcano_robotsim/tree/Noetic-Webots-2021a
整个项目bilibili视频演示（语音在1:10秒左右）：毕业设计视频-图书馆管理机器人