教大家爬取喜马拉雅全站音频数据，探秘喜马拉雅的天籁之音
共 4541字，需浏览 10分钟
·
2021-10-18 22:46
一、前言
喜马拉雅FM是一个知名的音频分享平台，在移动音频行业的市场占有率已达73%，用户规模突破4.8亿，今天我们就带大家突破层层障碍，探秘喜马拉雅的天籁之音，实现实时抓捕并保存到本地。
个人觉得，听书也是对情感的一种认知和感受。看书的时候我们可以天马行空，有各种理解，但听的时候呢，听一些优质的声音和读物，可以试着从别人的声音里感知一些信息和情绪，就像我们在日常生活中一样，不仅要用眼睛看，还需要用耳朵去听呀。
二、寻找音频的URL
首先打开喜马拉雅的网址：https://www.ximalaya.com/
然后我们输入关键字 进行搜索，此处以荒村阴阳师为例，如下图：
爬取的数据如下
你就会发现了：https://aod.cos.tx.xmcdn.com/group82/M00/8E/B8/wKg5HF8b_PXC6K1wADMmSFDB0hw087.m4a 就是下载一个MP3的链接，点击下载
访问下：https://aod.cos.tx.xmcdn.com/
j经过我的分析，这个应该Nigux代理请求，因此需要找到这个url的来源
三、请求参数的处理
没错，就是这个：https://www.ximalaya.com/revision/play/v1/audio?id=68966138&ptype=1
在请求参数中，有一个xm-sign需要处理下
这个xm-sign是：md5(服务器时间戳)(100以内随机数)服务器时间戳(100以内随机数)现在时间戳。
这个我看出来的，为什么呢？因为我是大神，没有为什么？？？
获取服务器时间戳，这个我也发现了，是https://www.ximalaya.com/revision/time
「我真的大神，你们可以叫我大师」
四、重新分析目标网站
重新分析目标网站：https://www.ximalaya.com/yinyue/12576446/
分析每一页网页url有什么不同：第一页的是https://www.ximalaya.com/revision/play/albumalbumId=12576446&pageNum=1&sort=1&pageSize=30第二页https://www.ximalaya.com/revision/play/albumalbumId=12576446&pageNum=2&sort=1&pageSize=30第三页https://www.ximalaya.com/revision/play/albumalbumId=12576446&pageNum=3&sort=1&pageSize=30
一共有十七页，可以使用Python当中的.format方法来占位(方法不唯一)
五、实现代码
代码如下
import hashlib
import json
import os
import re
import time
import random
import requests
'''有声书下载'''
class ximalaya(object):
def __init__(self):
self.base_url = 'https://www.ximalaya.com'
self.base_api = 'https://www.ximalaya.com/revision/play/album?albumId={}&pageNum={}&sort=0&pageSize=30'
self.time_api = 'https://www.ximalaya.com/revision/time'
self.header = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:63.0) Gecko/20100101 Firefox/63.0'}
self.s = requests.session()
def get_time(self):
"""
获取服务器时间戳
:return:
"""
r = self.s.get(self.time_api, headers=self.header)
return r.text
def get_sign(self):
"""
获取sign：md5(服务器时间戳)(100以内随机数)服务器时间戳(100以内随机数)现在时间戳
:return: xm_sign
"""
nowtime = str(round(time.time() * 1000))
servertime = self.get_time()
sign = str(hashlib.md5("himalaya-{}".format(servertime).encode()).hexdigest()) + "({})".format(
str(round(random.random() * 100))) + servertime + "({})".format(str(round(random.random() * 100))) + nowtime
self.header["xm-sign"] = sign
def index_choose(self):
xm_id = input(u'请输入要获取喜马拉雅节目的ID：')
xima.get_fm(xm_id)
self.index_choose()
@staticmethod
def make_dir(xm_fm_id):
# 保存路径，请自行修改，这里是以有声书ID作为文件夹的路径
fm_path = './{}'.format(xm_fm_id)
f = os.path.exists(fm_path)
if not f:
os.makedirs(fm_path)
print('make file success')
else:
print('file already exists')
return fm_path
def get_fm(self, xm_fm_id,lable='youshengshu'):
# 根据有声书ID构造url
fm_url = self.base_url + '/{}/{}'.format(lable,xm_fm_id)
r_fm_url = self.s.get(fm_url, headers=self.header)
fm_title = re.findall('(.*?)' , r_fm_url.text, re.S)[0]
print('书名：' + fm_title)
# 新建有声书ID的文件夹
fm_path = self.make_dir(xm_fm_id)
# 取最大页数
s = re.findall(r'/{}/{}/p(\d+)/'.format(lable,xm_fm_id), r_fm_url.text, re.S)
max_page = sorted([int(i) for i in s])[-1]
if max_page:
for page in range(1, int(max_page) + 1):
print('第' + str(page) + '页')
self.get_sign()
r = self.s.get(self.base_api.format(xm_fm_id, page), headers=self.header)
r_json = json.loads(r.text)
for audio in r_json['data']['tracksAudioPlay']:
audio_title = str(audio['trackName']).replace(' ', '')
audio_src = audio['src']
self.get_detail(audio_title, audio_src, fm_path)
# 每爬取1页，30个音频，休眠3秒
time.sleep(3)
else:
print(os.error)
def get_detail(self, title, src, path):
r_audio_src = self.s.get(src, headers=self.header)
m4a_path = path+'/' + title + '.m4a'
if not os.path.exists(m4a_path):
with open(m4a_path, 'wb') as f:
f.write(r_audio_src.content)
print(title + '保存完毕...')
else:
print(title + 'm4a已存在')
if __name__ == '__main__':
xima = ximalaya()
xima.index_choose()
# 12576446
六、爬取结果
可能有人问这样的目的是什么？我可以在APP或者网页上的直接听啊！
诶~对于某些需要的收费的节目，量又很大，你可能会员过期了就无法享受其中的内容，所以可以通过这种方式“下载”
当然最终要的还是为了让大家理解爬虫的一些思路