色彩分类（Color Classification）用于根据样本的颜色信息对其进行分类识别。与单色目标的分类识别类似，色彩分类过程也包括训练和分类两个阶段。

• 训练阶段主要用来基于各种彩色样本创建分类器。它从每个参与训练的样本中提取色彩特征，并将该特征与类标签进行关联以备后用。
• 分类阶段则主要用于从待分类图像中提取颜色特征，并参照分类器信息对其分类。分类的方法可采用最邻近法、K-邻近法、最小平均距离法或支持向量机分类法。

色彩分类的特征提取过程并不直接使用色谱，而是基于HSL空间构建分辨率可选的（高、中、低3挡）的一维色彩特征向量。它先将彩色样本图像转换到HSL色彩空间，然后计算彩色样本的色调、饱和度和亮度分量的直方图。对于每个由单字节表示的颜色分量直方图，保留色调和饱和度分量直方图中的256个值对应的信息，但是只保留亮度分量直方图中8个亮度值相关的信息。通过这种对亮度分量直方图的抑制，色彩特征向量中的颜色信息会更突出，亮度信息会被抑制在8种灰度之内。将包含256个色调信息和256个饱和度信息的两个直方图，与包含8个亮度信息的直方图进行组合，即可得到高分辨率的色彩特征向量。

中分辨率和低分辨率色彩特征向量是通过先提取高分辨率色彩特征向量，然后再对其应用动态遮罩（Dynamic Mask）获得的。动态遮罩基于参与训练的样本创建，用于从高分辨率色彩特征向量中选出最能代表某个类的色调和饱和度直方图信息。在对于每个新添加的彩色样本学习时，动态遮罩通过下述过程被创建或更新：

• 对于每个类，基于其中每个样本的色调和饱和度的直方图，计算该类的平均色调和饱和度直方图。
• 基于所有类的平均色调和饱和度直方图的均值直方图，计算各类的平均色调和饱和度直方图上元素值的标准差。
• 从类平均色调和饱和度直方图元素值中依次选出128个标准偏差最高的值对应的位置作为遮罩，用于生成中分辨率色彩特征向量。或者依次选出64个标准偏差最高的值对应的位置作为遮罩，用于生成低分辨率色彩特征向量。
• 扫描各类的动态遮罩位置对应的值，确保其中至少包含一个最大色调和一个最大饱和度直方图值。

Nl Vision提供了两种色彩训练方法，一是使用NI色彩分类训练器离线完成色彩训练（位于：National Instruments\Vision\Utility\Color Classification Training Interface\Color Classification Training.exe），二是使用程序代码在运行时完成色彩训练。

NI色彩分类训练器可以在进行色彩分类之前，先从多个采集到的彩色样本图像中提取高分辨率的色彩特征，并将该特征与类标签进行关联。若选择了中分辨率或低分辨率，则训练过程还会对高分辨率的色彩特征施加动态遮罩过程，获得相应分辨率的色彩特征向量。随后，训练过程会将样本的特征向量、样本分类方法连同各个类的动态遮罩等信息一并保存在后缀名为clf的色彩分类器文件中。这样在后续色彩分类过程中，就可从该文件中读取这些信息，对彩色目标进行识别和分类。

下图显示了使用NI色彩分类训练器为洗手液分类系统训练色彩样本时的程序界面。使用该工具可以打开收集到的彩色洗手液样本图像，从中选择蓝色、绿色或白色的瓶盖分别作为类样本进行训练。训练过程中，可对样本进行编辑或删除，训练完成后得到的样本色彩特征可保存在clf文件中以备后用。

Nl Vision还提供了对彩色样本图像进行训练和分类的函数。它们位于LabVIEW的视觉与运动→Machine Vision→Machine Learning→Classification函数选板中，如下图所示：

函数说明及使用可参见帮助手册： 

通过使用NI Vision色彩分类函数对洗手液进行分类的实例，了解色彩分类的使用，程序设计思路如下所示：

• 程序先用IMAQ Read Classifier File从NI色彩分类训练器创建的色彩分类器文件Soap.clf中读取学习到的样本特征等信息；
• 随后While循环中的代码逐一取出待测图像文件夹中的图像，由IMAQ Classify或IMAQClassify Color Advanced对指定ROI区域的图像色彩进行分类，返回其类别归属及分类和识别分值等信息。IMAQ Overlay Text可以在图像上以无损图层的方式添加待测图像的类名；
• 当用户单击STOP按钮退出While循环后，程序会丢弃会话，释放内存，然后退出程序。

程序实现如下所示：

运行程序，显示了分类程序检测到绿色洗手液瓶子时的情况：

项目资源下载：项目实战：LabVIEW洗手液包装颜色分类识别-嵌入式文档类资源-CSDN下载

树莓派垃圾分类识别项目来源：
https://gitee.com/likecy/garbage-raspi
感谢作者，请给作者个Star吧！

代码编写环境配置

Pycharm配置SSH
https://www.evget.com/article/2019/12/26/34239.html

树莓派端配置

参考自己的这篇笔记
https://blog.csdn.net/qq_45552341/article/details/109558058

• USB摄像头要在使用前拔插一次，并通过以下命令查看设备是否已被检测到。

ls /dev/video*

• npm打包时报错：

按照提示安装

sudo snap install snapcraft

提示找不到命令snap,此时执行

sudo apt-get install snap

不🆗还有报错！！！

windows端打包

npm run build

报错：
https://blog.csdn.net/g_soledad/article/details/105053322

服务器端配置

• TensorFlow
• Kera

语音合成

语音播报的实现方案，我计划使用百度合成垃圾种类的语音文件，接收到神经网络端的检测结果result后，根据对应类别直接播放对应语音，实现本地语音播报，减少对网络的依赖。

1. 修改官方speech_demo的tts.py，将所有垃圾类别语音合成出来。

• 垃圾类别存储在garbage_classify_rule.json中，读取json文件。

# 读取json文件内容,返回字典格式
with open('./source_file/info.json','r',encoding='utf8')as fp:
    json_data = json.load(fp)
    print('这是文件中的json数据：',json_data)
    print('这是读取到文件数据的数据类型：', type(json_data))

# 将字典数据写入到json文件中
dict1 = {'name': '张三', 'age': 18, 'sex': '男'}
with open('./source_file/info.json','a',encoding='utf8')as fp:
    json.dump(dict1,fp,ensure_ascii=False)　　
 #  如果ensure_ascii ' '为false，则返回值可以包含非ascii值

generate_audio.py完整代码：
官方tts.py有点复杂，根据说明文档重新写一下。

# _*_ coding:UTF-8 _*_

from aip import AipSpeech
import os
import json

# 此处三个参数，在自己申请的百度智智能云账号控制台查看
APP_ID = '******'
API_KEY = '******'
SECRET_KEY = '******'

# 新建一个AipSpeech
client = AipSpeech(APP_ID, API_KEY, SECRET_KEY)


# 将本地文件进行语音合成
def tts():
    with open('./garbage_classify/garbage_classify_rule.json', 'r', encoding='utf8')as fp:
        json_data = json.load(fp)
    for index in json_data:
        word = json_data[index].split('/')[1]
        result = client.synthesis(word, 'zh', 1, {
            'vol': 5, 'per': 4,
        })

        # 合成正确返回index.mp3，错误则返回dict
        if not isinstance(result, dict):
            with open('audio/' + index + '.mp3', 'wb') as f:
                f.write(result)
            f.close()
            print(index, 'tts successful')


class_dict = {"recyclable": "属于，可回收垃圾。", "harmful": "属于，有害垃圾。", "kitchen": "属于，厨余垃圾。", "other": "属于，其他垃圾。"}


def tts_class():
    for name in class_dict:
        class_name = class_dict[name]
        result = client.synthesis(class_name, 'zh', 1, {
            'vol': 5, 'per': 4,
        })

        # 合成正确返回name.mp3，错误则返回dict
        if not isinstance(result, dict):
            with open('audio/' + name + '.mp3', 'wb') as f:
                f.write(result)
            f.close()
            print(name, 'tts successful')



if __name__ == '__main__':
    tts()
    tts_class()

2. 在工程garbage_app_sever文件夹下，添加speak.py实现语音播报。
   Python在程序中打开终端，并执行命令

import os
os.system("gnome-terminal -e 'gazebo'")
# 执行完关闭
os.system("gnome-terminal -e 'bash -c \"ls; exec bash\"'")
# 执行完不关闭

speak.py
注意：

• os.system("mpg123 " + class_dict[channel])这里的mpg123
  后面有空格，否则无法执行。
• class_dict 里面的key,必须是int,就不要加引号，否则和接口获得的key类型不同，会报错。

import time
import os

# 以下字典建议用文件形势存储，再读取文件，便于后期维护
class_dict = {
    0: "./audio/recyclable.mp3",
    1: "./audio/other.mp3",
    2: "./audio/kitchen.mp3",
    3: "./audio/harmful.mp3"
}

name_dict = {
    "./audio/0.mp3": "其他垃圾/一次性快餐盒",
    "./audio/1.mp3": "其他垃圾/污损塑料",
    "./audio/2.mp3": "其他垃圾/烟蒂",
    "./audio/3.mp3": "其他垃圾/牙签",
    "./audio/4.mp3": "其他垃圾/破碎花盆及碟碗",
    "./audio/5.mp3": "其他垃圾/竹筷",
    "./audio/6.mp3": "厨余垃圾/剩饭剩菜",
    "./audio/7.mp3": "厨余垃圾/大骨头",
    "./audio/8.mp3": "厨余垃圾/水果果皮",
    "./audio/9.mp3": "厨余垃圾/水果果肉",
    "./audio/10.mp3": "厨余垃圾/茶叶渣",
    "./audio/11.mp3": "厨余垃圾/菜叶菜根",
    "./audio/12.mp3": "厨余垃圾/蛋壳",
    "./audio/13.mp3": "厨余垃圾/鱼骨",
    "./audio/14.mp3": "可回收物/充电宝",
    "./audio/15.mp3": "可回收物/包",
    "./audio/16.mp3": "可回收物/化妆品瓶",
    "./audio/17.mp3": "可回收物/塑料玩具",
    "./audio/18.mp3": "可回收物/塑料碗盆",
    "./audio/19.mp3": "可回收物/塑料衣架",
    "./audio/20.mp3": "可回收物/快递纸袋",
    "./audio/21.mp3": "可回收物/插头电线",
    "./audio/22.mp3": "可回收物/旧衣服",
    "./audio/23.mp3": "可回收物/易拉罐",
    "./audio/24.mp3": "可回收物/枕头",
    "./audio/25.mp3": "可回收物/毛绒玩具",
    "./audio/26.mp3": "可回收物/洗发水瓶",
    "./audio/27.mp3": "可回收物/玻璃杯",
    "./audio/28.mp3": "可回收物/皮鞋",
    "./audio/29.mp3": "可回收物/砧板",
    "./audio/30.mp3": "可回收物/纸板箱",
    "./audio/31.mp3": "可回收物/调料瓶",
    "./audio/32.mp3": "可回收物/酒瓶",
    "./audio/33.mp3": "可回收物/金属食品罐",
    "./audio/34.mp3": "可回收物/锅",
    "./audio/35.mp3": "可回收物/食用油桶",
    "./audio/36.mp3": "可回收物/饮料瓶",
    "./audio/37.mp3": "有害垃圾/干电池",
    "./audio/38.mp3": "有害垃圾/软膏",
    "./audio/39.mp3": "有害垃圾/过期药物"
}

new_name_dict = {v: k for k, v in name_dict.items()}
# print(new_name_dict)


def speak_class(channel):
    os.system("mpg123 " + class_dict[channel])


def speak_name(name):
    os.system("mpg123 " + new_name_dict[name])

• 运行时，点击拍照识别后会报错

os.system("mpg123 " + new_name_dict[name])
   os.system("mpg123 " + new_name_dict[name])
KeyError: "b''"

os.system("mpg123 " + new_name_dict.get(name))
TypeError: can only concatenate str (not "NoneType") to str
192.168.137.25 - - [11/Nov/2020 15:27:50] "GET /open_motor?channel=0 HTTP/1.1" 500 -

解决方案：https://www.gongyesheji.org/?p=1340
第一个错要在reques.data前加str()，即str(reques.data)
原因是key要与字典里面key同类型，
第二个报错要在new_name_dict.get(name)前加str()，即str(new_name_dict.get(name))
原因是只有同类型才能用+拼接。

导致无法播放的原因是获取的识别结果为空。实际要在app_sever.py内修改。
name = shut_photo()

修改前端界面

------------未完待续------------