学习目标:
1、了解冲锋舟的基础使用;
2、了解三分类神经网络的训练过程;
3、了解表情识别的应用;
4、掌握表情识别的操作方法;
5、了解MQTT通信协议;
6、学会利用MQTT协议使冲锋舟与掌控板进行通讯。
课程简介:
本节课教学内容分为基础和进阶两部分,其中基础部分是简单了解冲锋舟,然后采集数据训练三分类模型;进阶部分是布署MQTT环境,使用训练好的模型预测图像并将预测结果发送到掌控板。
基础:利用冲锋舟训练三分类模型。先用手机拍摄要学习的物体的图像视频,然后将原始数据处理成卷积神经网络可用的数据类型,接着将数据输入卷积神经网络进行训练,训练完成后拍摄照片进行预测。
进阶:利用训练好的三分类模型预测拍摄到的盘子图片,通过MQTT服务器将预测结果发送到掌控板,并在掌控板的OLED屏幕显示价格信息。
内容主要包括认识AI摄像头,讲解了AI摄像头固件烧录的方法、AI摄像头库的安装方法以及连接AI摄像头与掌中宝的方法,其中涉及串口通讯类模块接线方法的讲解,完成准备工作后,实现了一个编程控制AI摄像头将拍摄到的图像直接在摄像头上方的LCD屏上进行显示的作品制作。
其次,在认识了AI摄像头的基础上,进一步地讲解了屏幕显示人脸检测模型返回的人脸信息的程序编写方法,并利用返回的这些信息中的人脸数量的参数控制掌中宝上的外接灯带亮起不同数量不同颜色的灯。
教学重难点:
教学重点:
1、理解三分类模型的训练过程;
2、编写程序时的文件路径设置;
3、学会布署MQTT环境;
4、正确编写掌控板的客户端程序和在mPython软件中运行的程序。
教学难点:
1、训练模型后对返回数据的解读;
2、提高三分类模型识别的准确率;
3、掌控板和冲锋舟通信的过程。