让 dogtail 识别 UI 中的元素-轻识

在《利用 dogtail 快速进行 GUI 自动化测试》一节中，我们实现了一个最基础的自动化测试程序 - 模拟鼠标点击按钮。现在是时候更进一步了，开始访问 UI 元素中的信息。

假设，要获取按钮上的文本（例如：用于断言测试），修改之前的脚本：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

from dogtail.tree import *
import time

# 获取应用程序（根据程序名称查找）
app = root.application(appName="Sample02", description="/home/waleon/workspace/demos/build-Samples-unknown-Debug/Sample02/Sample02")

# 获取按钮（根据 accessibleName 递归查找）
button = app.child('button')

# 获取并打印按钮上的文本
print('text:', button.text)

# 模拟鼠标点击
for i in range(3):
    button.click()
    sleep(1)

运行之后，你会发现 print() 打印的永远是 None。这是什么情况，按钮上分明有内容“test”，但为什么打印不出来？

这是因为，按钮元素的信息没有对外公开，以至于 dogtail 无法识别出来！

不妨用 sniff 工具查看一下，定位到我们的程序并选择该按钮，点击底下的“Text”选项：

没有任何内容，这就说明按钮的文本是不可访问的。

实现可访问性

要为 UI 元素提供可访问性支持，需要使用 Qt 的 Accessibility 技术。即应实现 QAccessibleInterface，分发的形式有两种：

实现可访问的插件：子类化 QAccessiblePlugin，重新实现纯虚函数 create()，并使用 Q_PLUGIN_METADATA() 宏导出该类（如果想在运行时按需加载，则将接口作为插件分发比较方便）。
将接口编译到应用程序中：使用接口工厂 - QAccessible::InterfaceFactory（如果是静态链接，或不想增加插件的复杂性，则推荐该方式）。

下面以接口工厂为例，来实现对按钮文本的可访问性（要对文本进行操作，需要用到 QAccessibleTextInterface）：

#ifndef ACCESSIBLE_BUTTON_H
#define ACCESSIBLE_BUTTON_H

#include 
#include 
#include 

class AccessibleButton : public QAccessibleWidget
        , public QAccessibleTextInterface
{
public:
    explicit AccessibleButton(QPushButton *button);
    ~AccessibleButton();

    void *interface_cast(QAccessible::InterfaceType t) Q_DECL_OVERRIDE;
    QString text(QAccessible::Text t) const Q_DECL_OVERRIDE;

    QString text(int startOffset, int endOffset) const Q_DECL_OVERRIDE;
    void selection(int selectionIndex, int *startOffset, int *endOffset) const Q_DECL_OVERRIDE;
    int selectionCount() const Q_DECL_OVERRIDE;
    void addSelection(int startOffset, int endOffset) Q_DECL_OVERRIDE;
    void removeSelection(int selectionIndex) Q_DECL_OVERRIDE;
    void setSelection(int selectionIndex, int startOffset, int endOffset) Q_DECL_OVERRIDE;
    int cursorPosition() const Q_DECL_OVERRIDE;
    void setCursorPosition(int position) Q_DECL_OVERRIDE;
    int characterCount() const Q_DECL_OVERRIDE;
    QRect characterRect(int offset) const Q_DECL_OVERRIDE;
    int offsetAtPoint(const QPoint &point) const Q_DECL_OVERRIDE;
    void scrollToSubstring(int startIndex, int endIndex) Q_DECL_OVERRIDE;
    QString attributes(int offset, int *startOffset, int *endOffset) const Q_DECL_OVERRIDE;

private:
    QPushButton *m_button;
};

#endif // ACCESSIBLE_BUTTON_H

由于访问的是按钮的文本，所以重点关注 interface_cast()、text() 即可，其他接口可以“忽略”：

#include "accessiblebutton.h"
#include 

AccessibleButton::AccessibleButton(QPushButton *button)
    : QAccessibleWidget(button)
    , m_button(button)
{

}

AccessibleButton::~AccessibleButton()
{

}

void *AccessibleButton::interface_cast(QAccessible::InterfaceType t)
{
    switch (t) {
    case QAccessible::ActionInterface:
        return static_cast(this);
    case QAccessible::TextInterface:
        return static_cast(this);
    default:
        return nullptr;
    }
}

QString AccessibleButton::text(QAccessible::Text t) const
{
    switch (t) {
    case QAccessible::Name:
        return m_button->accessibleName();
    case QAccessible::Description:
        return m_button->accessibleDescription();
    default:
        return QString();
    }
}

QString AccessibleButton::text(int startOffset, int endOffset) const
{
    Q_UNUSED(startOffset)
    Q_UNUSED(endOffset)

    return m_button->text();
}

void AccessibleButton::selection(int selectionIndex, int *startOffset, int *endOffset) const
{
    Q_UNUSED(selectionIndex)
    Q_UNUSED(startOffset)
    Q_UNUSED(endOffset)
}

int AccessibleButton::selectionCount() const
{
    return 0;
}

void AccessibleButton::addSelection(int startOffset, int endOffset)
{
    Q_UNUSED(startOffset)
    Q_UNUSED(endOffset)
}

void AccessibleButton::removeSelection(int selectionIndex)
{
     Q_UNUSED(selectionIndex)
}

void AccessibleButton::setSelection(int selectionIndex, int startOffset, int endOffset)
{
    Q_UNUSED(selectionIndex)
    Q_UNUSED(startOffset)
    Q_UNUSED(endOffset)
}

int AccessibleButton::cursorPosition() const
{
    return 0;
}

void AccessibleButton::setCursorPosition(int position)
{
    Q_UNUSED(position)
}

int AccessibleButton::characterCount() const
{
    return 0;
}

QRect AccessibleButton::characterRect(int offset) const
{
    Q_UNUSED(offset)

    return QRect();
}

int AccessibleButton::offsetAtPoint(const QPoint &point) const
{
    Q_UNUSED(point)

    return 0;
}

void AccessibleButton::scrollToSubstring(int startIndex, int endIndex)
{
    Q_UNUSED(startIndex)
    Q_UNUSED(endIndex)
}

QString AccessibleButton::attributes(int offset, int *startOffset, int *endOffset) const
{
    Q_UNUSED(offset)
    Q_UNUSED(startOffset)
    Q_UNUSED(endOffset)

    return QString();
}

实现接口工厂

工厂是一个函数指针，其签名如下：

typedef QAccessibleInterface* myFactoryFunction(const QString &key, QObject *);

该函数接收一个 QString 和一个 QObject 指针，其中 QString 是标识接口的键。QObject 用于传递到 QAccessibleInterface，以便它可以保存对其的引用。

注意：如果 key 和 QObject 没有对应的 QAccessibleInterface，将返回一个空指针。

来看一下我们要实现的工厂示例：

// 接口工厂
QAccessibleInterface *accessibleFactory(const QString &classname, QObject *object)
{
    QAccessibleInterface *interface = nullptr;

    if (classname == "QPushButton" && object && object->isWidgetType())
        interface = new AccessibleButton(static_cast(object));

    return interface;
}

安装工厂

完成之后，需要使用 QAccessible::installFactory 对上述工厂进行安装：

int main(int argc, char *argv[])
{
    QApplication a(argc, argv);

    // 安装工厂
    QAccessible::installFactory(accessibleFactory);

    QPushButton button("test");
    QObject::connect(&button, &QPushButton::clicked, [&]() {
        static int index = 0;
        index++;
        button.setText(QString("click %1").arg(index));
    });

    // 将被辅助技术识别
    button.setAccessibleName("button");
    button.setAccessibleDescription("this is a simple button");

    button.resize(300, 200);
    button.show();

    return a.exec();
}

执行自动化

运行程序，再使用 sniff 工具查看一下，这时已经可以检测出按钮的文本了：

然后重新运行下自动化脚本，文本也可以正常打印了：

恭喜，这说明 dogtail 已经可以成功识别 UI 中的元素了。

最后，在自动化测试的过程中，有可能还会有其他元素的信息无法识别，参考上述方式即可。

·END·