有哪些适合练手的爬虫小项目?
Python与算法社区
共 1484字,需浏览 3分钟
· 2020-10-30
点击上方蓝色字体,星标公众号
我们正在发起一场公益活动:
无私帮助大家解决难题,真正解决的那种!
问答起飞
如果你平时遇到任何困扰你已久的问题,可以加群,告诉我们,统一记录到《QA》表中。
我们解决不了的,会在公众号内发起求助,总之,尽最大努力帮助你解决问题,真正解决的那种!
第四弹问题
爬虫有哪些练手的小项目吗?各位大佬,最好质量较好一点的啊。
爬虫案例
这里先为大家推荐一个爬取豆瓣书籍的爬虫吧,方便大家搜罗各种美书!
包含评价人数、评分、被链接数、链入的图书节点、链出的图书节点等信息。
另外给出爬虫的全部代码,实现的功能包括:
实现功能:
1 可以爬下豆瓣读书标签下的所有图书
2 按评分排名依次存储
3 存储到Excel中,可方便大家筛选搜罗,比如筛选评价人数>1000的高分书籍;可依据不同的主题存储到Excel不同的Sheet
4 采用
User Agent
伪装为浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封
使用的包:
#-*- coding: UTF-8 -*-
import sys
import time
import urllib
import urllib2
import requests
import numpy as np
from bs4 import BeautifulSoup
from openpyxl import Workbook
reload(sys)
sys.setdefaultencoding('utf8')
中间代码稍长,不贴到这里了,下面是测试代码:
if __name__=='__main__':
#book_tag_lists = ['心理','判断与决策','算法','数据结构','经济','历史']
#book_tag_lists = ['传记','哲学','编程','创业','理财','社会学','佛教']
#book_tag_lists = ['思想','科技','科学','web','股票','爱情','两性']
#book_tag_lists = ['计算机','机器学习','linux','android','数据库','互联网']
#book_tag_lists = ['数学']
#book_tag_lists = ['摄影','设计','音乐','旅行','教育','成长','情感','育儿','健康','养生']
#book_tag_lists = ['商业','理财','管理']
#book_tag_lists = ['名著']
#book_tag_lists = ['科普','经典','生活','心灵','文学']
#book_tag_lists = ['科幻','思维','金融']
book_tag_lists = ['个人管理','时间管理','投资','文化','宗教']
book_lists=do_spider(book_tag_lists)
print_book_lists_excel(book_lists,book_tag_lists)
其他20多个小项目的部分截图:
这20几个小项目已经制作成pdf,感兴趣的关注管理员的微信,资料比较珍贵,单独发:
评论
有哪些适合医疗广告投放的平台?
感谢邀请:正好前两天跟我医疗行业的朋友在聊医疗行业目前适合的平台有哪些!或者主流的有哪些,给你推荐下
1.搜索引擎的搜索广告,这个目前还是主流
2.微信圈子,细分细支的还是可以做引流的,虽然效果体现的慢了点,但是可以做长期的
3.知乎的圈子,这个跟微信的圈子有点类似,但是也是可以达到做私域流量的,增加粉丝量在转化!
4.头条的推广
5.抖音等很多短视频平台的推广!
6.还有很多医疗的细分领域的专业APP也是可以推广的
希望能够帮到你,满意的给个关注
程干朋
0
有哪些适合大学生兼职的平台?
兼职网赚平台有哪些?正规靠谱兼职不要错过!
今天就给大家介绍一下阿里旗下的四个兼职,可供大家选择。
一.淘宝云客服/支付宝云客服
这是阿里巴巴找的小蜜,就是平时咱们购物遇到问题时去找到的客服,为客人解决一些基本的购物问题。
每月14.15号是招聘日,招聘信息会发布在阿里巴巴云客服的微博上。
截取二维码,在淘宝扫一扫里扫描,会弹出一个报名表格。填好表名表,需要在二十四小时内完成一场基本知识审核,阿里会提前给你“划重点”。审核不难,只要好好看了前面的重点都能完成。一次没过也没关系,可以考很多次。
审核完成之后,需要看一些视频学习具体的工作内容,之后会让你先服务一百个机器人,服务通过之后就可以正式上班啦!
这个兼职的优
cc小仙
0
有哪些适合Macbook Pro的视频剪辑软件?
我知道的视频剪辑软件有:
* Adobe家族的Pr,这个软件的受众很广,用的人也多。但是超级贵,而且是订阅收费的。
* Apple家族的iMovie,简单的视频剪辑软件。有MacBook的话, 这个软件就是免费的。
* Apple家族的Final Cut Pro,Mac系统上用这个软件的很多,价格的话是一次性1900多。
关于学习成本
其实视频软件,大部分的思路都是相似的,只是有些许使用习惯不同。如果学习了一个,其他的经过短暂的琢磨就会了解个基本使用方法。就像学开车, 你只要学习一种稍微复杂的车,其他的大部分车(大部分功能)都会开,没必要每辆车都学。
三者中,应该是iMovie最简单,但是功能有限,很多复杂的功能不能
王晓东
0