百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

App自动化之dom结构和元素定位方式(包含滑动列表定位)

myzbx 2025-02-20 17:01 15 浏览

1. DOM结构

先来看几个名词和解释:

  • dom: Document Object Model 文档对象模型
  • dom应用: 最早应用于html和js的交互。界面的结构化描述, 常见的格式为html、xml。核心元素为节点和属性
  • xpath: xml路径语言,用于xml 中的节点定位,XPath 可在 xml 文档中对元素和属性进行遍历
    如下我们再来看一个App的dom:

控件的基础知识和selenium一样,appium为移动端抽象出了一个控件模型,称为dom结构;会把所有的控件都理解为xml文件,在xml文件里,每个控件都有自己的类型和属性;

既然有了类型和属性,自然就可以根据这些来定位元素,又因为整个模型是xml,也就同样可以通过xpath的方法来定位各个控件的信息了,是不是似曾相识?在Web端自动化时候也介绍过相关元素定位方式,具体可在文章末尾往期回顾第一条点击查看。

2. 控件定位


UI自动化测试的步骤三要素是:

  • 定位
  • 交互
  • 断言

那么第一步便是要对元素进行定位,下面就来看看移动端如何进行元素定位

2.1 控件属性

通过uiautomatorviewer对雪球App首页的解析得到如下图结果:

通过解析结果我们可以看到元素的属性和类型有:

  • node
  • attribute
    • clickable
    • content-desc
    • resource-id
    • text
    • bounds

IOS和Android在控件属性和上稍微有些不同(这里先说个概括,后续单独出IOS的文章加以说明,欢迎关注):


  • dom属性和节点结构类似
  • 名字和属性的命名不同

2.2 定位方式

Appium 支持 WebDriver 定位策略的子集:

2.21 通过 “class” 查找 (例如, UI 组件的类型)-一般不推荐

这种就是通过判断控件类型来查找,例如TextView、ImageView等

在实际工作中,这种定位方式几乎不用,因为一个页面中可能会有很多的TextView、ImageView等;

appiumdriver.findElementByClassName("android.widget.TextView");

2.22 通过 “xpath” 查找 (例如, 一个元素的路径以抽象的方式去表达,具有一定的约束)-重要

如上所述,xpath是不仅可以在移动端进行元素定位,并且是我们最常用的定位方式之一,在web端自动化我们会首推CSS定位,而在移动端定位我们会首推xpath定位,良好的xpath定位语法会给我们定位带来准确度和便利度,对速度的影响也完全会在我们的接受范围以内

如下dom结构中,一个界面上有多同类型控件,这些控件有相同的id或属性,不具备唯一性,所以无法直接进行指定控件的定位操作,这个时候就该xpath大显身手了

上图可以看到,所有勾选控件的结构是一样的,相对位置是固定的,而勾选控件相对它们的"哥哥"节点的TextView是不同的,这样就可以先定位至"哥哥"节点,在根据相对位置,定位到指定的控件节点


在xpath中提供了多种轴方法,其中following-sibling可实现此功能

如我们要定位"画好一个封闭的圆"后面跟着的第二个RelativeLayout,具体写法如下:

//下面两种写法均可实现
By.xpath("((//*[@text='画好一个封闭的圆'])[2]/following-sibling::android.widget.RelativeLayout)[2]")
By.xpath("((//*[@text='画好一个封闭的圆'])[2]/following-sibling::*[@class='android.widget.RelativeLayout'])[2]")

很多控件都是有text属性的,但是appium是不支持直接对text进行定位的,而在实际工作中,我们经常会拿text进行定位,这就要归功于xpath了,通过对xpath语法的封装,我们就可以自定义一个根据text定位元素的方法来:

public By ByText(String text){
        return By.xpath("//*[@text='"+ text + "']");
    }

appiumdriver.findElement(ByText("关注"));

另外,需要定位Toast弹框时,有且仅有通过xpath的方式来实现:

有时候我们进行某个操作后会弹出消息提示,例如点击某个按钮或下拉刷新后可能会出现类似"刷新成功"的提示语,然后几秒后消失;

弹出的消息很可能是Android系统自带的Toast,Toast在弹出的时候会在当前界面出现节点android.widget.Toast,随着消息的消失而消失;这个时候我们如果需要定位这个弹出消息,对其进行测试的话,就可以使用定位xpath方式了。

System.out.println( appiumdriver.findElementByXPath("//*[@class='android.widget.Toast']").getText());

结果:

2.23 通过id定位(每个元素原则上都有自己的唯一id值)-重要

学过web自动化的同学知道,在HTML中元素是有自己的id的,在移动端,元素依然有自己的id值,只不过名字叫做resource-id,如下:

注: 我们看到id的值很长,其实实际使用只需要取斜杠/后面的部分就可以了,如下:

By.id("statusTitle")

2.24 通过accessibilityId定位(实则就是android的content-desc)-偶尔用到

在移动端自动化中有个特殊的定位方式就是根据accessibilityId定位,在dom中表现就是属性content-desc的值,如果Android中的content-desc中写入了值,便可以通过其进行定位:

这里比较尴尬。。。由于研发经常偷懒不写,找了半天也没能找到例子,大家知道用法就好~另外要注意的是如果要写成"By.xxx"的形式,需要使用MobileBy

MobileBy.AccessibilityId("AccessibilityId");
appiumdriver.findElementByAccessibilityId("AccessibilityId"); 

2.25 通过android uiautomator定位(相当于使用 UiAutomator Api 去递归地搜索元素(Android 专属))-高级用法

有时候我们需要对界面进行一定的操作方式后才能找到我们想要的元素,比如滑动列表进行查找等,这个时候就可以借助于android uiautomator了这里利用模拟器中的API Demo做演示,进入APIDemo中Views,然后滑屏寻找“Popup Menu”进行点击操作

可以利用Android的UIAutomator进行滑屏操作,这时候需要使用AndroidDriver,另外定位元素可以使用UiScrollable:

在官网的uiautomator UiSelector中有用ruby写的实例,不过定位方式是一致的,可以直接借鉴至java代码中


这里大概定位的方法就是,先用new UiSelector().scrollable(true).instance(0)判断是否可以滑动,找到ListView,然后用scrollIntoView(new UiSelector().text("WebView").instance(0)滑动找到对应定位属性的元素。

driver.findElementByXPath("//*[@text='Views']").click();
((AndroidDriver)driver).
                findElementByAndroidUIAutomator
                 ("new UiScrollable(new UiSelector().scrollable(true).instance(0)).scrollIntoView(new UiSelector().text(\"Popup Menu\").instance(0))")
                 .click();

在实际运行中,AndroidUIAutomator偶尔有定位失败的情况,可能在定位元素是位置会产生一点偏差,这里稍加改造避免这种偶发性失败;


改造方法:滑屏寻找元素时会先滑屏至待查元素的附近,这时元素已处于页面可见范围内,对元素操作可以重新定位操作,例如点击操作可以利用Xpath的方法重新定位后再click().

  By departmentName = MobileBy.AndroidUIAutomator(
                "new UiScrollable(new UiSelector().scrollable(true).instance(0))." +
                        "scrollIntoView(new UiSelector().text(\""+ departName +"\").instance(0))");
        find(departmentName);
//        click(departmentName); 原来直接操作滑动查找的元素结果
        click(ByText(departName));//现在利用xpath重新定位确认后再操作,成功率大大提升

运行效果演示:


3. 定位逻辑的区别

在之前的一篇文章中我们介绍过appium底层的使用了各种引擎,可在文章末尾往期回顾第一条点击查看。

先简单看如下图:

我们现在用的最新的版本优先支持的就是uiautomator2,如果你使用的是相对较前的版本,可能支持的是uiautomator,那么这两个引擎对于以上介绍的定位有什么影响呢?来看源码:

我们现在用的最新的版本优先支持的就是uiautomator2,如果你使用的是相对较前的版本,可能支持的是uiautomator,那么这两个引擎对于以上介绍的定位有什么影响呢?来看源码:


  • Uiautomator源码

以id定位为例,在Uiautomator的源码可见其对id定位要更为宽泛,当我们使用By.id的时候,会同时去匹配resourceId、accessibility id、id


  • Uiautomator2源码

在Uiautomator2中,将id的定位进行了细分,对应不同的id进行判断后再操作,因此在使用Uiautomator2的时候我们的写法要更为严谨

相关推荐

攀升战境S5电竞主机评测:NVIDIA RTX 3060实力助阵,光追游戏走起

此次笔者将为玩家们推荐一款游戏主机——攀升战境S5。该主机是攀升电脑今年力推的游戏装备,主机采用一线品牌配件,特别是在显卡选用上严苛把关,精选GeForceRTX30系列显卡,玩家们大可以放心选购...

慎买-神牛闪光灯兼容性问题:神牛V350&松下S5M2

神牛V350和松下S5M2的兼容性问题。大家好,我是向往闪光灯人像的Fish。国庆期间,我购买了神牛V350闪光灯和神牛X2T引闪器,但这成为了我的噩梦。我原以为客服和松友们说这款闪光灯在松下S5M2...

Acer蜂鸟持续办公一整天(acer 蜂鸟s5)

移动办公在工作节奏日益加快的今天越来越普遍,目前大部分工作无法在手持设备上完成,笔记本依然是移动办公最明智的选择。为了实现移动办公,很多笔记本越做越轻薄,性能也越来越强,而续航却一直没有很大提升。笔者...

职业车手明年会骑什么?2021赛季各大世巡赛车队使用器材一览

新年的钟声即将敲响,意味着充满魔幻色彩的2020年即将过去。受新冠肺炎的影响,2020年的赛季非常不同寻常。因这一原因不得不延迟举行的各种比赛导致许多车队的赞助商无法得到足够曝光,这也间接导致了许多车...

三星部分手机系统升级路线图流出(三星系统在哪升级)

三星包括Note3和S5在内的手机在升级到4.4.2系统之后一直没有什么系统升级的消息,而最近流出的一张三星的系统升级路线图中出现了一共13台手机升级KTU84P(也就是Android4.4.4)...

索尼Xperia Z3配置大曝光:升级并不大

IT之家(www.ithome.com):索尼XperiaZ3配置大曝光:升级并不大索尼明天就会在IFA2014大会上发布其下代旗舰XperiaZ3智能手机,目前网上曝光了其原型机,并且机身背后...

不进反退 三星Exynos 5433只能运行32位模式?

三星GalaxyNote4将带有两个版本,除了国行使用的骁龙805以外,还有三星自家的Exynos5433版本。而这颗SoC的详细信息三星并没有公布,据外媒Anandtech称,他们从源码中确认...

尼康Z6III测评:对比EOS R6 II、A7M4、S5IIX

摄影器材测评网站DPReview刚刚发布了尼康Z6III的完整图文测评,该机获得金奖评级,得分达到91%。以下是该文章的摘录——尼康Z6III核心规格:2400万像素“部分堆栈式”传感器RAW连拍:机...

赛默飞Ion S5首批数据公布,玩爆前任PGMTM系列

北美时间9月1日,赛默飞发布了两款最新的NGS系统IonS5和IonS5XL,旨在提供更加简捷的靶向测序流程。10月29日IonS5测序仪的首批实验数据产生于阜外医院。阜外医院研究人员选用了主...

Excel技巧:快速制作批量文件夹,省时省力,加强工作效率

大家好,如果公司领导要求按人员姓名制作文件夹,以一人一档的形式呈现人员档案,办公人员一个一个制作费时费力,而且效力低下,今天为大家介绍快捷制作批量文件夹的方法下面我们用图片来进行演示操作打开表格,选...

国行、港版、美版Apple watch各版本售价一览

今天凌晨,苹果牌手表正式发布,苹果开始正式进入可穿戴设备领域,除了功能和外观,我相信大家更关心的是价格问题了,小编就将国行、港版、美版的Applewatch售价做一总结,以供参考。国行:美版:港版:...

松下全画幅微单S5和S1到底哪里不一样?

Hello,我是ET,欢迎大家来到我的“相机笔记”。————9月2日晚,松下正式发布了第4款全画幅微单LUMIXS5。这一篇,我们主要来说松下LUMIXS5和LUMIXS1到底有哪些区别...

融会贯通之典范 神舟S7-2021S5评测

便携、性能、续航,这简简单单的六个字道出了这么些年来笔记本电脑的设计方向,可是由于底层技术、模具设计等等原因,这三点并不能很好的融合在一起。虽说闻道有先后,术业有专攻,但能够有一台融会贯通的产品,不是...

三国志战略版:S5赛季装X指南,开荒不是一成不变,需要因地制宜

大家好我是零氪玩家花席,S5赛季已经开始,因为S5赛季的野地阵容和S4赛季没有区别,所以S5赛季开荒相对不难。你在S4有经验,并且多了很多武将和战法,还能用150赛季功勋兑换7500战法点。S5赛季新...

聊聊松下S5M2和S5M2X的区别(松下s5k和s5c有什么区别)

先简单说下哪里不同:12bitRAWHDMI外录支持直接将视频录制到USB-SSD上多了All-Intra和ProRes编码支持有线/无线IP推流,USB网络连接黑化的机身不过要特别强调一下,S5...