多模态垃圾分类系统

一、简介

本系统通过目标检测算法使得系统可以通过图片识别一个或多个垃圾并对其进行分类，相较于传统的图片分类算法，允许用户同时识别多种垃圾；通过基于深度学习算法的文本分析使得系统能够充分理解各种物体名称的具体含义，以便于通过用户输入的名称对垃圾种类进行分类。

二、系统说明

2.1 功能介绍

• 图片垃圾分类：系统能够对图片中的多个物体进行检测并进行垃圾分类，最终返回待分类垃圾的物体名称以及其所属的垃圾类别。
• 文本垃圾分类：系统在对接收到的文本进行检测后，会返回待分类垃圾所属的垃圾类别。

2.2 数据介绍

• 图片数据集：图片识别类来自2019华为云垃圾分类挑战赛、爬虫搜集，共两万余张图片，91类物体；目标检测类为COCO数据集。
• 文本数据集：爬虫搜集，共3000类物体名称（其中有相似的，例如电池和干电池）

由于数据集过大，因此不会上传，如有需要可以在issue中提出。

2.3. 模型介绍（v1.0版本）

• 目标检测模型使用谷歌Object-Detection中的SSD模型、图片识别模型使用Inception-Resnet-v2模型。
• 文本分类模型使用两层双向LSTM与两层一维卷积模型，其中词向量层使用了Keras自带的API并通过训练计算获取词向量。

由于用于图片识别、文本分类模型没有压缩，所以没有上传，如有需要可以在issue中提出。

三、注意事项

• 直接通过main.py即可找到不同功能的函数，可根据自身需求决定使用的功能。
• v1.0版本的系统如果使用目标检测功能，则需要在GPU上运行，否则会较慢。