GameAISDK基于图像的游戏 AI 自动化框架

APAIST是基于游戏图像来开发游戏AI的开源工具包（开源项目名为GameAISDK），工具包主要完成了UI检测、游戏内元素识别、AI算法(DQN，IM)等功能，特点是以游戏图像为输入，直接输出模拟触屏操作，不依赖游戏端提供任何API接口。

开发者可以基于这个工具包完成游戏自动化测试。目前已支持的游戏类型有跑酷类、吃鸡类、射击类和MOBA类等。

APAIST框架主要包括SDKTool(配置文件工具)，AI SDK两部分。SDKTool用于生成跟具体游戏相关的AI SDK所需要配置文件。如游戏运行过程中，整个流程中需要动作交互的UI，需要识别的游戏元素等。

AI SDK部分主要包括AI Clinet模块， MC模块，IO模块， UI模块， GameReg模块，AI模块。

• AI Client主要与手机端交互，获取游戏图像，并执行UI或AI输出的动作
• IO模块与AI Client交互，作为AI SDK的数据输入输出控制
• MC模块与IO模块交互，将数据分发至AI SDK后端的UI和AI模块，并做一些业务逻辑的管理控制
• UI模块根据游戏图像，识别出需要进行的UI操作
• GameReg模块根据游戏图像，识别出游戏场景内的数字、血条、目标物等元素
• AI模块根据识别到的游戏元素，根据AI算法执行业务逻辑

运行效果

▲ 无需脚本编写，一次配置便可以在不同的分辨率设备上运行，多平台多应用场景支持

▲ 内置多种图像识别算法及 AI 算法

▲ 基于纯视觉识别的 AI 训练和运行框架