Python 爬取糗事百科笑话并可视化分析

            

             
from selenium import webdriv
from time import sleep
import logging
import openpyxl

wb = openpyxl.Workbook()
sheet = wb.active
sheet.append(['段子内容', '好笑数', '评论数'])
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')

chrome_driver = r'D:\python\pycharm2020\chromedriver.exe'

options = webdriver.ChromeOptions()
# 可以设置无头模式 不弹出浏览器
# options.add_argument("--headless")
# 关闭左上方 Chrome 正受到自动测试软件的控制的提示
options.add_experimental_option('useAutomationExtension', False)
options.add_experimental_option("excludeSwitches", ['enable-automation'])
browser = webdriver.Chrome(options=options, executable_path=chrome_driver)
# 可以设置绕过Webdriver的检测
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
    Object.defineProperty(navigator, 'webdriver', {
    get: () => undefined
    })
    """
})


def get_data(page):     # 爬取数据函数
    url = f'https://www.qiushibaike.com/text/page/{page}/'
    browser.get(url) # 访问目标url
    browser.maximize_window() # 最大化窗口
    sleep(1) # 短暂休眠
    # Xpath定位到所有包含段子信息的div标签
    items = browser.find_elements_by_xpath('//*[@id="content"]/div/div[2]/div')
    # print(len(items)) 一页25条段子
    # 遍历 获取每一条段子信息
    for item in items:
        con = item.find_element_by_xpath('.//a/div/span').text # 段子内容
        funny_num = item.find_element_by_xpath('.//div[2]/span[1]/i').text # 好笑数
        comment_num = item.find_element_by_xpath('.//div[2]/span[2]/a/i').text # 评论数
        sheet.append([con, funny_num, comment_num])
        logging.info([con, funny_num, comment_num])


if __name__ == '__main__':
    for i in range(1, 14): # 翻页爬取
        get_data(i)
    browser.quit() # 关闭浏览器
    wb.save(filename='datas.xlsx') # 保存数据
            

            

             
import pandas as pd
import jieba
import collections
import re
from wordcloud import WordCloud
import matplotlib.pyplot as plt

# 读取段子数据
datas = pd.read_excel('datas.xlsx')['段子内容']

# 读取停用词数据
with open('stop_words.txt', encoding='utf-8') as f:
    con = f.read().split('\n') # 得到每一行的停用词
    stop_words = set()
    for i in con:
        stop_words.add(i)

result_list = []
for data in datas:
    # 文本预处理 去除一些无用的字符 只提取出中文出来
    new_data = re.findall('[\u4e00-\u9fa5]+', data, re.S)
    new_data = "/".join(new_data)
    # 文本分词
    seg_list_exact = jieba.cut(new_data, cut_all=True)
    # 去除停用词和单个词
    for word in seg_list_exact:
        if word not in stop_words and len(word) > 1:
            result_list.append(word)

print(result_list)
# 筛选后统计
word_counts = collections.Counter(result_list)

# 绘制词云
my_cloud = WordCloud(
    background_color='white', # 设置背景颜色 默认是black
    width=800, height=550,
    font_path='simhei.ttf', # 设置字体 显示中文
    max_font_size=160, # 设置字体最大值
    min_font_size=16, # 设置字体最小值
    random_state=88           # 设置随机生成状态，即多少种配色方案
).generate_from_frequencies(word_counts)

# 显示生成的词云图片
plt.imshow(my_cloud, interpolation='bilinear')
# 显示设置词云图中无坐标轴
plt.axis('off')
plt.show()