当前位置 : 主页 > 网络安全 > 测试自动化 >

爬取网易云听歌排行榜歌单制作云词

来源:互联网 收集:自由互联 发布时间:2021-06-19
最近又到了一年一度的年底总结了,网易云音乐如此退出了年度歌单,又一次被刷朋友圈了。作为程序员,就好奇的想验证下结论准不准,随便回顾下爬虫的操作。 首先,打开网页版网
最近又到了一年一度的年底总结了,网易云音乐如此退出了年度歌单,又一次被刷朋友圈了。作为程序员,就好奇的想验证下结论准不准,随便回顾下爬虫的操作。
首先,打开网页版网易云音乐,登录成功后,进入自己或好友的听歌排行榜,如图:

直接使用浏览器的开发工具,刷新页面查看接口及其返回结果,找到刷新该列表的接口,如图:


找到url后,再找到对应的cookie等值,复制保存。如图:


至此,我们已经找到网页所有想要的信息了,下面我们就可以直接用代码实现了。
思路:
```
a.先爬取歌曲列表,获取对应歌曲的信息,存放到数据库,以便后面使用
b.通过歌曲的id,获取对应的歌词;
c.读取歌词分析获取关键词
d.选择自定义的背景图生成自己的词图

1.需要用到的模块
import requests
import re
import pymssql
import matplotlib.pyplot as plt  # 数学绘图库
from PIL import Image
import numpy as np  # 科学数值计算包,可用来存储和处理大型矩阵
import jieba  # 分词库
from wordcloud import WordCloud, ImageColorGenerator  # 词云库
from selenium import webdriver
import time

2.自定义三个函数
a)get_info():获取历史列表中的所有歌曲并将其写入数据库中,同时返回所有歌曲的id,以便后面获取歌词
代码块如下:

b)get_lyric():获取所有歌曲的歌词
吐槽一句,之前直接用‘http://music.163.com/api/song/media?id={id}‘.format(id=id), 就可以通过这个api直接获取对应id歌曲的歌词,现在被封了,只能用UI来分别爬取了,效率极低(考虑用多线程处理)
c)get_wordcloud():生成对应的词云图
定义好歌词存放的位置、选择词图的背景图及最后生成词图的位置,依次调用上面三个函数即可。效果图如下:

4.关注公众号,回复’网易云’三个字即可获取完整代码,还可获取专属个人最爱音乐词图定制全过程代码

网友评论