不写一行,自动生成爬虫代码
月小水长
共 800字,需浏览 2分钟
·
2021-09-03 16:10
点击上方 月小水长 并 设为星标,第一时间接收干货推送
今天的话题是,如果不写一行代码,完成一份最小可运行性的爬虫代码。
直接举 com 微博评论爬虫这个例子,打开下面这个网址
https://weibo.com/1192329374/Knsnj9B3D
按照以下步骤来
在 Network 栏目 Filter 处输入 ’build' 过滤请求,找到评论获取的那个接口
在接口上右键,Copy --> Copy as cURL(cmd)
curl 是利用 URL 语法在命令行方式下工作的开源文件传输工具。它被广泛应用在 Unix、多种 Linux 发行版中,并且有 DOS 和 Win32、Win64 下的移植版本。 打开下面这个至关重要的网站(一定要收藏)
https://curl.trillworks.com/
选择 Python 语言,把刚才复制的 curl cmd 粘贴到左边框里,右边框就自动生成 Python 代码了。
把这个代码复制到新建的 py 文件中,可以直接运行,它完成了数据的最小抓取工作,后续再进行解析即可。
流程也可以参考下面这个无声纯净版视频。
这就是今天要分享的,欢迎拍砖~
评论
Crawler跨平台不写代码的爬虫
Crawler基于Java开发的一款跨平台爬虫,可以使用Shell脚本和DOS命令进行任务式处理。比如CR命令使用一个Email正则就可以从贴吧中提取所有邮箱使用Ci命令爬取所有新闻 java-jar
Crawler跨平台不写代码的爬虫
0
mybatis.generator mybatis 代码自动生成
mybatis代码生成器。参考蚂蚁金服idalgen针对mybatis重新定义的一套代码生成器。idalgen在蚂蚁内部绝大多数应用都强制使用,优化版代码生成器除具有idalgen类似语法外,额外提供
mybatis.generator mybatis 代码自动生成
0
bboss-gencode自动代码生成工具
bboss自动代码生成工具是一款专门为bboss框架和bboss开发平台(传统版本和新版)生成前端代码、后端代码、web服务代码、sql配置文件、ioc配置文件的可视化配置管理工具。 通过自动代码生成
bboss-gencode自动代码生成工具
0
JunJavaJava代码自动生成工具
JunJava一个java程序代码自动生产的工具。针对JavaEE或者是JAVASE,AutoJava能快速的生成可以由目前最流行的结构框架搭建的项目,如Hibernater,Spring,Strut
JunJavaJava代码自动生成工具
0
AutomaticCoderObjective-C 处理代码自动生成
Automatic Coder 可根据 JSON 字符串自动生成对应的 Objective-C 处理
AutomaticCoderObjective-C 处理代码自动生成
0