Android CTS4.0测试的fail项怎么办呢？

[gaga_xiaomaozi]

目前公司要求做CTS测试，我把环境搭建好了，也跑起来了，但测试结果有很多fail项，那该怎么办呢？这是不是说明软件有问题呢？是不是要请开发的改代码解决啊？求做过CTS测试的前辈赐教啊！！！

[veryitman]

cts 想全部通过？悲催阿！
cts 也就那麽回事，别太认真，估计只有moto、三星可以做到。

[gaga_xiaomaozi]

[Quote=引用 1 楼 的回复:]

全跑CTS，需要install 两个相关cts的apk（4.0版本的） 名称为CtsDelegatingAccessibilityService.apk和CtsDeviceAdmin.apk
然后在Setting中勾选相关...设置项（将输入法设置为：android自带输入法，将语言设置为英文..等一系列设置项） 全跑完后，在将失败项、超时项回归测试（期间不要跑流媒体测试项，需要……
[/Quote]这两apk我也安装了，不过我现在要搞的是android4.0.3的电视而不是手机，安装好着两apk后设置里面也没出现相关的设置啊？请问一下你们之前做CTS测试最后有通过google的认证吗？

[gaga_xiaomaozi]

[Quote=引用 3 楼 的回复:]

没什么办法，功能不完善的，完善掉，是性能或bug的，就去优化、debug。
[/Quote]看到那么多fail头都大了，我就是自动化测试工程师啊，难道要精通硬件、软件、系统吗？好像CTS测试时google用来约束硬件厂商的吧

[念茜]

[Quote=引用 4 楼 的回复:]

引用 1 楼 的回复:

全跑CTS，需要install 两个相关cts的apk（4.0版本的） 名称为CtsDelegatingAccessibilityService.apk和CtsDeviceAdmin.apk
然后在Setting中勾选相关...设置项（将输入法设置为：android自带输入法，将语言设置为英文..等一系列设置项） 全跑完后，在将失败项、超时项回归测……
[/Quote]

是的，如果你不全部通过cts的话，是不被支持版本升级的。
如果你是自动化测试工程师，那么fail项不关你的事，要求系统工程师去修改相关代码，不是你去修改的。

[念茜]

当然排除测试时的操作失误

[csdn_2013]

[Quote=引用 14 楼 的回复:]
引用 9 楼 的回复:

引用 8 楼 的回复:

引用 7 楼 的回复:

当然排除测试时的操作失误
噢 那也得要分得清楚哪些是由于操作失误哪些是系统原因吧？自己要先排除掉操作失误引起的fail项，对吧？真心感谢你的回复哈~


这个一般很容易从Log看出来 比如网络连接状态 、 自己网络环境断网状态，而导致一些无法访问 或者访问超时导致fail 、 SD卡状态、 忘记插3G……
[/Quote]

跑cts后不都是有一个叫testResult.xml吗？ 直接将testResult.xml（以ie浏览器方式打开）的失败结果贴到邮件中给各组负责人分析定位！

[gaga_xiaomaozi]

[Quote=引用 15 楼 的回复:]

引用 14 楼 的回复:
引用 9 楼 的回复:

引用 8 楼 的回复:

引用 7 楼 的回复:

当然排除测试时的操作失误
噢 那也得要分得清楚哪些是由于操作失误哪些是系统原因吧？自己要先排除掉操作失误引起的fail项，对吧？真心感谢你的回复哈~


这个一般很容易从Log看出来 比如网络连接状态 、 自己网络环境断网状态，而导致一些无法访问 或者访问超时导致fai……
[/Quote]嗯，好办法！呵呵，谢谢热心回复！

[gaga_xiaomaozi]

[Quote=引用 9 楼 的回复:]

引用 8 楼 的回复:

引用 7 楼 的回复:

当然排除测试时的操作失误
噢 那也得要分得清楚哪些是由于操作失误哪些是系统原因吧？自己要先排除掉操作失误引起的fail项，对吧？真心感谢你的回复哈~


这个一般很容易从Log看出来 比如网络连接状态 、 自己网络环境断网状态，而导致一些无法访问 或者访问超时导致fail 、 SD卡状态、 忘记插3G卡 ～ 设备本身没……
[/Quote]你好，还请问一个问题啊，麻烦回答一下哈~ 现在CTS4.0.3的测试时的那8个plan只能一个一个用命令run cts --plan <plan名字>来执行吗？是否可以用一个命令执行所有的plan呢，这样才会生成一个XML的结果啊，否则会生成8个XML的测试结果~~~

[gaga_xiaomaozi]

[Quote=引用 11 楼 的回复:]

哥们是新手吧，我刚刚做完CTS测试，给你个网址吧，里面请全的http:source.android.com(google的)
另一个：http://blog.csdn.net/subsist/article/details/7209341。

另外，测试过不了需要调试，有的很简单，有的还是蛮复杂的，我也是折腾了好久才弄好的！
[/Quote]呵呵 谢谢你，正在看你提供的博文，哥们确实是新手啊，有很多不懂呢！慢慢折腾吧

[gaga_xiaomaozi]

[Quote=引用 9 楼 的回复:]

引用 8 楼 的回复:

引用 7 楼 的回复:

当然排除测试时的操作失误
噢 那也得要分得清楚哪些是由于操作失误哪些是系统原因吧？自己要先排除掉操作失误引起的fail项，对吧？真心感谢你的回复哈~


这个一般很容易从Log看出来 比如网络连接状态 、 自己网络环境断网状态，而导致一些无法访问 或者访问超时导致fail 、 SD卡状态、 忘记插3G卡 ～ 设备本身没……
[/Quote]看来都是有经验的前辈啊！那再请教一下，一般做CTS测试认证可能有什么风险导致不成功呢？项目组要我大致写一下CTS认证不成功的原因都有哪些呢，多谢多谢！

[csdn_2013]

[Quote=引用 17 楼 的回复:]
引用 9 楼 的回复:

引用 8 楼 的回复:

引用 7 楼 的回复:

当然排除测试时的操作失误
噢 那也得要分得清楚哪些是由于操作失误哪些是系统原因吧？自己要先排除掉操作失误引起的fail项，对吧？真心感谢你的回复哈~


这个一般很容易从Log看出来 比如网络连接状态 、 自己网络环境断网状态，而导致一些无法访问 或者访问超时导致fail 、 SD卡状态、 忘记插3G……
[/Quote]
sessionID 可以通过 ls -r 获得
可以用add --derivedplan xxx.xml -s sessionID -r fail 建立一个cts结果失败项的xxx.xml文件（这是3.2的命令，可能与4.0的有些偏差 你可以直接输入 ？ 查看所以命令行）
跑的时候 执行 run cts --plan xxx.xml 即可

[gaga_xiaomaozi]

[Quote=引用 18 楼 的回复:]

引用 17 楼 的回复:
引用 9 楼 的回复:

引用 8 楼 的回复:

引用 7 楼 的回复:

当然排除测试时的操作失误
噢 那也得要分得清楚哪些是由于操作失误哪些是系统原因吧？自己要先排除掉操作失误引起的fail项，对吧？真心感谢你的回复哈~


这个一般很容易从Log看出来 比如网络连接状态 、 自己网络环境断网状态，而导致一些无法访问 或者访问超时导致fai……
[/Quote]可不可以加下我的QQ啊，现在急需你这样的前辈指导哦 QQ:348843080

[gaga_xiaomaozi]

[Quote=引用 18 楼 的回复:]

引用 17 楼 的回复:
引用 9 楼 的回复:

引用 8 楼 的回复:

引用 7 楼 的回复:

当然排除测试时的操作失误
噢 那也得要分得清楚哪些是由于操作失误哪些是系统原因吧？自己要先排除掉操作失误引起的fail项，对吧？真心感谢你的回复哈~


这个一般很容易从Log看出来 比如网络连接状态 、 自己网络环境断网状态，而导致一些无法访问 或者访问超时导致fai……
[/Quote]可不可以加下我的QQ啊，现在急需你这样的前辈指导哦 QQ:348843080

[gaga_xiaomaozi]

[Quote=引用 18 楼 的回复:]

引用 17 楼 的回复:
引用 9 楼 的回复:

引用 8 楼 的回复:

引用 7 楼 的回复:

当然排除测试时的操作失误
噢 那也得要分得清楚哪些是由于操作失误哪些是系统原因吧？自己要先排除掉操作失误引起的fail项，对吧？真心感谢你的回复哈~


这个一般很容易从Log看出来 比如网络连接状态 、 自己网络环境断网状态，而导致一些无法访问 或者访问超时导致fai……
[/Quote]或者是你有没有CTS测试相关的QQ群啊？给我推荐一个呗

[a1371018030]

有没有CTS测试相关的QQ群啊？给我推荐一个呗

[lost_tower]

我最近也在做CTS测试，有没有这方面的QQ群啊，同求

[蔥蔥]

楼主测试过了没有啊 最近也在搞这个

[jm517763626]

您好，请教一下CTS做单项测试怎么做？谢谢！~

[hi_test]

楼主，我现在也在做电视的CTS测试，相关的问题可以帮忙指教一下吗？

[EchoQY]

同求。。。设备没有摄像头、电话、日历等功能测试失败，按照网上的方法安装相应的apk后再测还是不行，有些说要修改系统文件，可是我试了装apk还是不行，不知道什么原因。。。另外，测试通过后发报告给google那边，需要寄过去自己的设备给他们验证吗？