SpiderAdmin爬虫项目可视化管理工具

联合创作 · 2023-09-29 15:39

SpiderAdmin,一个集爬虫 Scrapy+Scrapyd 爬虫项目查看 和 爬虫任务定时调度的可视化管理工具。

功能介绍

1. 对 Scrapyd 接口进行可视化封装,对 Scrapy 爬虫项目进行删除 和 查看

2. 并没有实现修改,添加功能,部署推荐使用

$ scrapyd-deploy -a

3. 对爬虫设置定时任务,支持 apscheduler 的 3 种方式和随机延时,共计 4 种方式

  • 单次运行 date
  • 周期运行 corn
  • 间隔运行 interval
  • 随机运行 random

4. 基于 Flask-BasicAuth 做了简单的权限校验

启动运行

$ pip3 install -U spideradmin

$ spideradmin init  # 初始化,可选配置,也可以使用默认配置

$ spideradmin       # 启动服务

访问: http://127.0.0.1:5000/

界面截图

浏览 3
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报