基于TencentOS Tiny的图像识别案例
背景
近来，很高兴能够参与到腾讯云AIoT应用创新大赛，有机会认识到各种行业背景的物联网爱好者；作为一个新手，接触了面向物联网领域的TencentOS Tiny系统、腾讯云物联网开发平台以及RISC-V芯片的应用实例等。
案例实践
本次比赛中，官方提供了丰富的demo例程，通过调用API函数将嵌入式设备与腾讯云进行对接，实现了底层设备的在线监测。例如：通过CH32V307芯片驱动OV2640摄像头采集指示灯的运行状态，后续通过图像识别算法提取颜色特征，并将结果上报到云平台。近来，在官方例程的基础上进行了优化改进，解决了图像识别算法泛化能力差等弊端，具体内容如下所示：
硬件
硬件结构极为简单，主要包含主控CH32V307、ESP8266 wifi模块、ST7789屏幕以及WCH-Link等，具体如图2所示。
优化改进
嵌入式设备的应用场景一般较为复杂，很难通过颜色识别算法提取图像的全部特征，例如：智能门禁系统中涉及的人脸识别，自动抄表系统涉及的文字信息提取等。因此，近来想要把人工智能算法嵌入到边缘计算端，最终实现云-边-端的高效协同，优化嵌入式设备的执行速度以及图像识别准确率。
流程框架：通过OV2640采集手机屏幕图像，然后通过UART6串口将RGB565图像数据传输到电脑端并保存为DAT文件，后续采用matlab对图像进行可视化，最后调用yolov5深度学习模型对结果进行识别，具体结果如图3所示：
附件
最近编写了一个matlab程序，能够直接将串口接收的log数据转化为png图片，具体流程为：1.数据预处理：提取DAT文件中与RGB565有关的数据；2.格式转化：将RGB565转换为RGB888格式；3.图像可视化及保存，具体代码如下：
clc;clear all;close all;
%% 数据导入
changdu=240;
kuandu=120;
yuanshuju=textread('C:\\Temp\\matlab\\matlab\\ReceivedTofile-COM5-2022_7_29_21-50-34.DAT','%s')';%以字符形式打开文件
%% 数据预处理
qishiweizhi=0;mowei=0;
chishu1=0;chishu2=0;
for i=1:1:length(yuanshuju)
xiangshu=strsplit(yuanshuju{i},',');
if strcmp(xiangshu{:,1},'chushi')
chishu1=chishu1+1;
qishiweizhi(chishu1)=i+1;
end
if strcmp(xiangshu{:,1},'jiewei')
chishu2=chishu2+1;
mowei(chishu2)=i-1;
end
end
%% 结果可靠性测试
if (chishu1~=chishu2)
chishu1=chishu1-1;
end
%% 将RGB565数据转化为RGB数据
R1=5;
G1=6;
B1=5;
for kkk=1:1:chishu1
for i=qishiweizhi(kkk):1:mowei(kkk)
xiangshu=strsplit(yuanshuju{i},',');
erjin=dec2bin(hex2dec(xiangshu{:,2}),16);
rr(i-qishiweizhi(kkk)+1)=2^(8-R1)*bin2dec(erjin(1:5));
gg(i-qishiweizhi(kkk)+1)=2^(8-G1)*bin2dec(erjin(6:11));
bb(i-qishiweizhi(kkk)+1)=2^(8-B1)*bin2dec(erjin(12:16));
end
%% 将RGB数据转换为图像
m=1;
for j=1:1:kuandu
for k=1:1:changdu
pic(j,k,1)=rr(m);
pic(j,k,2)=gg(m);
pic(j,k,3)=bb(m);
m=m+1;
end
end
%% 数据归一化及绘图，使矩阵的每个元素的值都在0和1之间
rgb = mat2gray(pic);
subplot(1,chishu1,kkk)
imshow(rgb);
end
