HarmonyOS成功繁难的图像识别

2024-06-18 08:16:49 本案例基于最近邻分类器这一分类器算法模型，在HarmonyOS上成功了繁难的图像识别。理想上，最近邻分类器用在图像识别上的灵便度并不高（失误率还是有点大的），而笔者编写这个案例的初衷，是为了能体验最近邻分类器的思想，以及探求如何在HarmonyOS中处置图像数据。

开发环境要求

注释

最近邻分类器是形式识别畛域中的一个较为繁难的分类器模型，而分类器指的是用于处置分类疑问的机器学习算法。此分类器基于一个繁难的假定，即假设一个样本在特色空间中的最近邻属于某个类别，则该样本也属于该类别。由此可见，最近邻分类器的基本逻辑是，让样本A模拟分类器中曾经训练过的某个数据B(行将A视为B)，当B属于某个类别λ时，A也属于类别λ。

上方是关于最近邻分类器的一个繁难例子：

假定在传送带上有两种鱼，区分是鲈鱼（seabass）和鲑鱼（salmon）。如今咱们须要用光学传感器对传送带上的鱼按种类启动分类，因此须要设计一个分类器，无妨设计一个最近邻分类器。假设咱们只思考鱼的两个特色——宽度和鱼身的亮度，如今咱们选取十条鲈鱼和十条鲑鱼启动特色提取，并建设一个平面直角坐标系（y轴用于示意宽度特色的数值，x轴用于示意亮度特色的数值，这样就导致了一个二维特色空间），再将每条鱼的由其宽度值和亮度值确定的坐标在图中显示进去。

图中，白色点代表鲑鱼样本的特色向量，蓝色点代表鲈鱼样本的特色向量，它们都属于被训练的数据。当检测设施失掉了某条种类未知的鱼的亮度特色和宽度特色时，最近邻分类器所要做的是：先将此种类未知的鱼的亮度值和宽度值示意成特色空间上的向量P，而后计算向量P与每个已训练样本向量的距离。其中，距离驳回欧式范数，在二维空间中计算公式为：

由于先前已训练了20项数据，所以咱们可以失掉20项距离数据，将它们示意为d1, d2, ... ,d20。接着，分类器经过逐项比拟失掉最小距离di(i∈[1,20]∩N)，这象征着第i个已训练样本是未知种类的鱼的最近邻。因此，当第i个已训练样本属于鲈鱼种类时，上述种类未知的鱼将被分类为鲈鱼，否则分类为鲑鱼。

基于最近邻分类器的图像识别算法

首先须要明白的是，本案例的图像识别分类器所分类的对象是灰度图。图像识别的最近邻分类器与前面提到的例子十分相似，只不过在图像识别中，样本的每个像素点的灰度值是一个特色维。假定分类器所处置的图像规模是100px乘100px，那么对应的特色空间就是10000维的高维空间，而每个图像样本经特色提取后都可以示意成10000维空间的一个向量。只管特色空间的维度升高了不少，但分类算法在实质上没有差异。同先前的例子一样，图片分类的依据是被测样本的最近邻，所以咱们须要计算被测样本对应在高维空间中的向量与其余已训练样本的向量的距离，这里的距离仍驳回欧式范数。

找出被测样本的最近邻后，咱们便可以仰仗此最近邻启动图片分类。

─entry/src/main├─ module.json5├─ resources│├─ zh_CN│├─ rawfile││├─ p1.png││├─ p2.png││├─ p3.png││├─ p4.png││├─ p5.png││├─ p6.png││├─ s1.png││└─ s2.png│├─ en_US│└─ base└─ ets├─ XL_Modules│└─ XL_Image_NNC.ts├─ pages│└─ Index.ets└─ entryability└─ EntryAbility.ts

图片解码指将所允许格局的存档图片解码成一致的PixelMap，以便在运行或系统中启动图片显示或图片处置。

在本案例中，不论是用于训练分类器的图片还是待检测的图片，都须要提早放入Demo

的rawfile目录下的。假设要失掉某个图像资源，咱们只要要知道此图像的称号（字符串数据），而后经过资源治理者模块resourceManager即可取得。如下给出以失掉rawfile目录下名为'p1.png',大小为100px乘100px的图片资源为例，须要编写的关系操作语句。

let context = getContext(this)const resourceMgr = context.resourceManager

const imageSource = image.createImageSource(buffer)

const pixelMap = await imageSource.createPixelMap();

由于咱们须要做图像处置，所以还须要创立一个ArrayBuffer实例（buffer对象），并读取PixelMap实例的数据至buffer中。这样，buffer就是一个贮存了p1.png图像数据的BGRA_8888格局的数组（也可以称之为向量）了。

let dim = 100*100*4//维度let buffer = new ArrayBuffer(dim)await pixelMap.readPixelsToBuffer(buffer).catch(err => {console.error(`err: +${err}`)})

由于buffer是BGRA_8888格局的数组，所以buffer中第i，i+1，i+2, i+3(i∈[0,dim/4-1])区分代表某个像素点蓝色重量（B），绿色重量(G)，白色重量(R)和透明度重量(A)。由于本案例的图像识别是在灰度图的基础上启动的，所以咱们还须要将BGRA_8888格局的数组转化为灰度值数组。

RGB图转灰度图并不难，只要要将每个像素点的蓝色，绿色和白色重量加权求和，就可以失掉每个像素点的灰度值。其中，灰度值 = (白色通道值 * 0.299) + (绿色通道值 * 0.587) + (蓝色通道值 * 0.114)。这里的加权系数是依据人眼对不同色彩敏感度的差异来确定的。

XL_Image_NNC.ts

import image from '@ohos.multimedia.image';import common from '@ohos.app.ability.common';//所操作图片的尺寸(图片的宽高分歧)const OPERATION_SIZE = 100/* * 函数名: Get_NumberType_Array_MinValue_Index * 形容: 前往输入的number型Array中数值最小的元素所在索引 */function Get_NumberType_Array_MinValue_Index(arr:Array<number>):number{let location:number = 0for(var i = 0; i < arr.length; ++i){if(arr[i]<arr[location]){location = i}}return location}//最近邻分类器才干接口interface I_Nearest_Neighbor_Classifier{train(context:common.Context,Train_Data:Array<string>)identify(test_data:string)}/* * 类名: XL_Image_NNC * 形容: 基于最近邻分类器的图像识别模块 */class XL_Image_NNC implements I_Nearest_Neighbor_Classifier{//日志标签private TAG:string = '------[XL_Image_NNC] '//BGRA_8888图对应向量的规模private dim_rgb:number = 4*(OPERATION_SIZE**2)//灰度图对应向量的规模private dim_gray:number = OPERATION_SIZE**2//RGB图向量转化为灰度图向量时, 三原色(red green blue)通道值各自占灰度值的权重, 并且满足R_Weight + G_Weight + B_Weight = 1private R_Weight:number = 0.299private G_Weight:number = 0.587private B_Weight:number = 0.114//已添加的图像向量的汇合(BGRA_8888)private Trained_Data_RGB:Array<Uint8Array> = []//已添加的图像向量的汇合(灰度图)private Trained_Data_Gray:Array<Uint8Array> = []//存储距离(欧式范数)的数组private Distance_Array:Array<number> = []//贮存资源治理模块的变量private resourceMgr = null/** 方法名: train* 形容: 为分类器填充数据, 使得分类器失掉监视形式识别的配置* 参数: context: UIAbility的高低文对象Train_Data: 待训练的图片集（图片须要提早贮存在rawfile目录下）*/public async train(context:common.Context,Train_Data:Array<string>) {//经过context失掉ResourceManager(资源治理模块)this.resourceMgr = context.resourceManager//遍历和处置待输入的图片数据for (var item of Train_Data) {//经过resourceMgr的getRawFileContent方法(填入图片的文件名字符串),失掉rawfile目录下某个图片所资源对应的UintArraylet rawData = await this.resourceMgr.getRawFileContent(item)//经过先前失掉的UintArray创立ImageSource实例let imageSource = image.createImageSource(rawData.buffer)//经过ImageSource实例创立像素表let pixelMap = await imageSource.createPixelMap()//将像素表读取到新建的ArrayBuffer变量中let buffer = new ArrayBuffer(this.dim_rgb)await pixelMap.readPixelsToBuffer(buffer).catch(err => {console.error(this.TAG+`err: +${err}`)})//最后将ArrayBuffer携带的RGB型图像向量存入Trained_Data_RGB（向量汇合）中this.Trained_Data_RGB.push(new Uint8Array(buffer))}//将失掉的RGB型图像向量汇合转化为灰度型图像向量汇合for(var element of this.Trained_Data_RGB){let GrayScaleVector = new Uint8Array(this.dim_gray)let index:number = 0//遍历RGB型图像向量的元素for(var i = 0; i < element.length; i++){if((i+1)%4 == 0){//失掉像素点的R,G,B通道值, 将他们加权求和失掉灰度值var grayScale = this.R_Weight*element[i-3]+this.G_Weight*element[i-2]+this.B_Weight*element[i-1]//存储GrayScaleVector[index++] = grayScale}}//最后将GrayScaleVector携带的灰度型图像向量存入Trained_Data_Gray（向量汇合）中this.Trained_Data_Gray.push(GrayScaleVector)}}/** 方法名: identify* 形容: 基于已失掉的数据，成功监视形式识别，前往输入样本的最近邻在Trained_Data_Gray中的索引* 参数: test_data: 待识别的图片（图片须要贮存在rawfile目录下）*/public async identify(test_data:string):Promise<number>{//扫除意外状况if(this.resourceMgr == null){console.error(this.TAG+'Please train the image>

同往期一样，笔者青眼于将新开发的配置集成到一个ts文件里并导出，以繁难治理与保养。在本模块中，配置被集成在类XL_Image_NNC中，其中，train方法用于为分类器训练数据（只管不触及迭代的环节，权且将其称为"训练"吧），identify办规律是基于已训练的数据启动图像分类。