Page 18 - 网络电信2023年3月刊

[5]
性提取其具体业务数值，这样就能得到界面坐标，然后执行自
动化测试流程，过程中主要的模拟测试方法就是模拟用户操作
时的点击，这种模拟测试方法被称为坐标点击法，而该方法存
在缺陷，适配性不好。同时，在测试当中还要对UI元素的属性
进行识别，识别方法为通过UIdump界面的元素属性识别空间来
进行识别，但这个空间的适用性不强，在Octane、Basemark
OS、Base Mark X等方面无法使用该方法进行识别。
除此以外，针对传统方法的不足，相关领域人员还提出过
一些改进方法。例如图像匹配识别法，该方法主要通过Airtest
测试框架，采用图像匹配度原理来模拟用户操作，这种方法确
实能有效解决操作模拟中的缺陷，但加剧了文字信息识别上的
缺陷，即该方法无法对图像中的文字进行数据采集。这一缺陷
对于测试结果的质量有很大的影响，原因在于要高效地进行测
试并得到准确结果，就必须对文字进行识别，否则在测试结果
分析当中就会出现局部无法识别的现象。对此，人们也尝试过
在图像匹配识别法的输出结果基础上，使用图像文字识别方法
（如图像匹配算法），一般是借助Open CV计算机视觉库，使用
其中的Python、Ruby等语言接口，对图像中的文字进行检测，
检测原理是文字区域检测、特征值提取等。该方法在现代自动
化测试中的应用非常广泛，但其存在识别准确性不高的问题
[4]
。 点击操作，自动生成全新的坐标点击方案，无需人工插手，完
可以看出，以往测试中的各种方法都存在缺陷，而在人工
智能技术的基础上，人们可以借助卷积神经网络模型来解决问
题。卷积神经网络是人工智能的基础逻辑支撑，属于深度神经
网络的一种，具有自动化特征提取的特点，因此可以将其定义
为自动化提取数据特征的机器训练模型。在该模型基础上采用
Python编写CNN文字图像识别功能，再依靠Caffe、Torch等主流
框架支撑模型运作，促使其开始机器学习活动，最终借助Keras
神经网络库获得预训练权值来更新机器学习，使得模型能够更
加准确地对数据进行处理、识别。经过测试，该模型能够准确
识别图像与文字，准确率均值为98.9%。
3.4 功能实现方法
为实现以上功能，首先根据卷积神经网络的结构进行功能
开发。卷积神经网络是典型的前馈型神经网络，因此在模型结
构上可以分为输入层、隐含层、卷积层、输出层四个部分，下
面先针对四个部分进行作用定义。输入层的主要作用是预处理
原始图像数据，预处理方式有去均值、归一化、白化。隐含层
的主要作用是支持局部关联、窗口滑动，促使各项输入数据在
该层中交互，形成密集、全面的数据关系，同时隐含层内部有
激励机制，该机制能够映射卷积层的输出结果，映射形式为非
线性。卷积层的主要作用是进行资源池化与卷积运动，其中资
源池化的主要作用是压缩数据和参数量级，可避免拟合过小的
现象发生，并赋予所有输入数据权重值，使它们能够按照权重
进行连接，且连接后会汇集在模型尾部，在此基础上就能很好
地对原始图片进行处理；处理方式是按照原始图片的大小，设
定一个大小相同的区域，然后将两者重叠，重叠后将相关元素
相乘并求和，每完成一个区域的计算后，就向其他区域移动，
直到完成全部区域的计算，这个过程就是卷积运动。输出层的
主要功能就是输出卷积层中的结果，但在输出数据之前会对图
片进行特征识别，例如识别图片、文字的边界，并按照识别结
网络电信 二零二三年四月
果进行输出 。
然后可以开始设计图像、文字的识别流程，本文的流程设
计将在Keras中展开，共分为三个步骤：①优先选择符合现实要
求的准备库，例如Keras、PIL等，同时考虑到这些库的应用要
求，需要在Python3.5环境下进行库安装；②库安装完毕后要导
入PIL图像处理标准库，同时在标准库中引入Keras卷积模块，
例如Dropout、Conv2D等；③要在数据输入卷积神经网络之前对
数据进行格式化处理，然后对格式化的数据进行浮点数张量预
处理，流程为读取图像文件→解码RGB像素网格→转换为浮点张
数→像素缩放为0-1区间。同时，在预处理过程中应当选择性能
良好的处理工具，本文选择的工具是Tensor Flow API Keras中
的Image Data Generator，该工具具有自动化特征，处理效率
和结果准确性都有保障。
最后，使用Keras来实现图像、文字识别模型，该模型在自
动化测试中如果遇到自定义控件、图片、悬浮界面等传统方法
可能无法准确获取文字信息的场合时，不会出现无法获取文字
信息的现象，反而会对图像进行深化处理，提高文字信息的清
晰度，然后再获取文字信息的基本特征，由此识别文字。在用
户模拟测试当中，可以通过图像获取封装文字，然后对其进行
识别，如果识别结果与截图控件所得文本相符，那么就会进行
成后即可得到准确的测试结果。
四、结语
综上所述，因为以往的移动终端自动化测试存在缺陷，所
以相关人员应当积极改进，而人工智能技术就可以作为测试改
进的手段之一，运用该项技术可以消除以往的缺陷、解决相关
问题，使终端测试效率提升、质量得到保障，说明该项技术具
有一定的应用价值，值得推广。
参考文献
[1]郭健,王勇.人工智能结合自动化测试在智能电网系统中的未来应用
[J].软件,2018,39(11):224-229.
[2]尚敏娟.基于人工智能技术的电气自动化控制系统设计研究[J].电子
设计工程,2021,29(15):171-174.
[3]李巨远,骆佳录,李晨,等.现代人工智能技术在机械电子工程中的应
用[J].现代制造技术与装备,2022,58(1):179-181.
[4]樊小霞,谢颖佳,常萍萍.信息化背景下人工智能技术在电气自动化控
制中的应用[J].中国信息化,2021(7):48-49.
[5]武迪,刘勇.人工智能技术在电气自动化控制中的应用浅析[J].电子
元器件与信息技术,2017,1(3):4-6.
31