4K壁纸批量采集,张张精品,全程自动化

Python绿色通道

共 5420字,需浏览 11分钟

 ·

2022-08-11 21:31

↑ 关注 + 星标 ,每天学Python新技能

后台回复【大礼包】送你Python自学大礼包

今天给大家分享一个实用的爬虫项目,「批量采集4K壁纸」,从此壁纸不愁,张张精品。记得点赞收藏哦,话不多说,盘它!(偷笑)

先上地址:https://pic.netbian.com/

该网站下载图片是需要登录的,因此 cookie 的获取是我们面临的第一个问题。

获取cookie

我们使用 selenium 自动获取 cookie

先导入所需要的模块。

from selenium import webdriver
from time import sleep
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

打开网站首页。

driver = webdriver.Chrome()
driver.get('https://pic.netbian.com/')

F12 打开开发者工具,定位登录标签的位置。

wait = WebDriverWait(driver, 100.5)
wait.until(EC.presence_of_element_located(
    (By.XPATH, '/html/body/div[1]/div/div[2]/a[2]')),
           message='定位超时').click()

这里 selenium 打开页面速度比较慢,我们可以使用显示等待,每隔0.5s就检测一次元素是否存在,超过10s则抛出异常。

定位QQ登录跳转后点击账号密码登录。然后定位账号密码,点击登录上述步骤代码

driver.find_element(By.XPATH, '/html/body/div[1]/div/div[2]/div[1]/div[3]/ul/li[1]/a/em').click()

# 定位页面标签,判断是否跳转成功
wait.until(EC.presence_of_element_located(
    (By.XPATH, '//*[@id="combine_page"]/div[1]/div')), 
           message='定位超时')

# 切换进入iframe
driver.switch_to.frame('ptlogin_iframe')
# 点击账号密码登录
driver.find_element(By.ID, 'switcher_plogin').click()
# 输入账号
username = driver.find_element(By.ID, 'u')
username.send_keys('账号')
# 输入密码
password = driver.find_element(By.ID, 'p')
password.send_keys('密码')
# 点击登录
driver.find_element(By.ID, 'login_button').click()

下一步,我们判断一下页面是否跳转成功,如果成功,就直接获取页面的 cookie

wait.until(EC.presence_of_element_located(
    (By.XPATH, '/html/body/div[1]/div/ul/li[2]/a')),
           message='定位超时')

cookies = {}
for item in driver.get_cookies():
    cookies[item['name']] = item['value']
print(cookies)

图片采集

cookie已经获取到了,现在可以开始图片的采集了。图片有很多分类,这次演示采集的是动漫图片。

首先导入所需的模块。

import requests
import os
import re
from lxml import etree

在当前路径下创建一个文件夹保存图片。

isExists = os.path.exists('./4ktupian')
if not isExists:
    os.makedirs('./4ktupian')

我们手动下载一张图片,观察一下下载链接。

https://pic.netbian.com/downpic.php?id=25487&classid=66

经对比发现,各个图片下载链接 ? 前面的部分都是相同的,id 是图片的 idclassid 为分类 id ,而动漫这个分类的ID就是66。

唯一需要注意的就是图片的id,它可以从图片跳转的链接上面提取。OK,基本逻辑理清楚了。

采集部分的代码如下,这里共爬取 15 页的图片,300张。

headers = {
    'Users-Agent''Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'
}

for page in range(116):
    if (page == 1):
        new_url = 'http://pic.netbian.com/4kdongman/'
    else:
        new_url = format(url % page)
    response = requests.get(url=new_url, headers=headers, cookies=cookies)
    # 设置获取响应数据的编码格式
    response.encoding = 'gbk'
    page_text = response.text

    # 数据解析
    tree = etree.HTML(page_text)
    li_list = tree.xpath('//ul[@class="clearfix"]/li')
    img_id_list = []
    img_name_list = []
    for li in li_list:
        img_id = li.xpath('./a/@href')[0]
        img_id = re.findall('\d+', img_id)[0]
        img_id_list.append(img_id)
        img_name_list.append(li.xpath('./a/img/@alt')[0])

    # 获取完整图片url
    img_url_list = []
    for img_url in img_id_list:
        img_url_list.append(f'https://pic.netbian.com/downpic.php?id={img_url}&classid=66')

    # 提取图片数据
    for i in range(len(img_url_list)):
        img_data = requests.get(url=img_url_list[i], headers=headers, cookies=cookies).content
        filePath = './4ktupian/' + img_name_list[i] + '.jpg'
        with open(filePath, 'wb')as fp:
            fp.write(img_data)
        print('%s,下载成功' % img_name_list[i])

每个图片大小都在2-4M左右,巨清晰。

看到这,大家别高兴得太早,网站提供了会员制,年度会员才能够每日下载200张,所以,上面的代码中理论是下载300张,但实际原画质的只有240张左右,其余图片均无法打开。普通用户,每日提供一张免费下载原图的机会。

考虑到维护一个网站确实不容易,我也赞助了一下,赠送了包年会员,每天200次下载机会,但手动下载200张确实也不现实,所以才有了这篇文章。哈哈,大家全当学技术就好啦。

文中代码已全部整理好,点击下方名片后台(非本号)回复“4K图片采集”。


  1. 你是外包,麻烦不要偷吃零食。。注意素质!

  2. 务必收藏全网Python公众号干货


浏览 45
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报