本文转自:https://blog.csdn.net/qq_42730750/article/details/108415551
前言
各大音乐平台是从何时开始收费的这个问题没有追溯过,印象中酷狗在16年就已经开始收费了,貌似当时的收费标准是付费音乐下载一首2元,会员一月8元,可以下载300首。虽然下载收费,但是还可以正常听歌。陆陆续续,各平台不仅收费,而且还更在乎版权问题,因为缺少版权,酷狗上以前收藏的音乐也不能听了,更过分的是,有些歌非VIP会员只能试听60秒(•́へ•́╬)。
版权问题重视起来当然是好事,但只是闲暇时来听听音乐放松一下自己的我来说,不会因为想听音乐而开通各个音乐平台的VIP的┗( ▔, ▔ )┛,所以渐渐就有了些想法:能不能将这些音乐整合起来,比如我去酷狗音乐听某一首歌,发现没有版权或只能试听,能不能自动去网易云音乐搜索下载到本地(干脆直接下载到酷狗对应的文件夹里),如果还没有就去QQ音乐、虾米音乐、百度音乐等等。
本篇就是在这样的背景下,通过对网易云音乐进行逆向分析,进而用代码的方式来*********(此处自己体会哦( ̄︶ ̄)↗)。
目标:
通过输入歌名或者歌手名,列出相应的音乐信息,然后通过选择某一项,将对应的音乐下载到本地指定目录。
工具:
Google Chrome、PyCharm
这里以我最喜欢的歌手本兮
为例,通过搜索网易云的Web端和PC端发现,Web端不支持下载,PC端需要RMB才能下载(不愧是我兮的歌(✪ω✪)),咳咳咳,OK,Fine,意料之中。
1. 请求分析
如果想要下载一首歌,我们首先要获取到这首歌所对应的 u r l url url。随机选择一首歌进行播放,打开Chrome的开发者工具,刷新看一下对应的请求,找到我们想要的歌曲文件的 u r l url url,就是下面这个:
然后找到该请求对应的 u r l url url,分析一下该请求:
可知,获取数据的 u r l url url 为https://music.xxx.com/weapi/song/enhance/player/url/v1?csrf_token=
,请求方式为POST
。继续往下滑,找到提交的数据:
POST
提交了两个参数params
和encSecKey
,很明显这两个参数都经过了加密处理,而且经过不断提交刷新发现,这两个参数值会变,可以猜测到加密时应该是有随机操作,但其长度始终不变,即参数params
的长度为152
,参数encSecKey
的长度为256
。
需要的 u r l url url 及请求所需要的参数已经找到,下面需要确定一下两个参数是如何加密的。
2. 参数分析
通过Ctrl + Shift + F全局搜索参数encSecKey
定位到了两个文件,然后在core_7a734ef25ee51b62727eb55c7f6eb1e8.js
这个文件里通过Ctrl + F定位到了接口函数:
摘取这部分函数分析一下:
var bVZ8R = window.asrsea(JSON.stringify(i0x), bqN0x(["流泪", "强"]), bqN0x(Wx5C.md), bqN0x(["爱心", "女孩", "惊恐", "大笑"])); e0x.data = j0x.cs1x({ params: bVZ8R.encText, encSecKey: bVZ8R.encSecKey })
函数window.asrsea()
应该就是加密函数,传入四个参数,将加密后的结果赋值给变量bVZ8R
,返回的结果有两个属性,即encText
和encSecKey
,也就是我们想要的参数params
和encSecKey
。在这里设置一个断点,看一下这几个参数:
通过最右边的变量查看区Watch
可以看到变量bVZ8R
的值就是我们需要的参数的值,这证实了函数window.asrsea()
就是加密函数,然后我们在控制台Console
打印一下这几个变量:
>JSON.stringify(i0x) <"{"csrf_token":""}" >bqN0x(["流泪", "强"]) <"010001" >bqN0x(Wx5C.md) <"00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7" >bqN0x(["爱心", "女孩", "惊恐", "大笑"]) <"0CoJUm6Qyw8W8jud"
即加密函数window.asrsea()
所需的四个参数值已经确定,分别是字符串"{"csrf_token":""}"
、"010001"
、"00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"
、"0CoJUm6Qyw8W8jud"
,如果没有猜错的话第三个参数是十六进制的形式,其实也就是如此。通过几次刷新,这几个值不变。
3. 加密分析
百度搜索发现函数window.asrsea()
不是JavaScript的原生函数,应该是开发者自己定义的,然后我通过搜索asrsea
定位到了该函数的初始定义位置:
函数window.asrsea()
就是函数d
,它就是我们要找的加密函数,它接收的d、e、f、g
四个参数对应的就是window.asrsea()
函数的四个参数,即
d = "{\"csrf_token\":\"\"}" e = "010001" f = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7" g = "0CoJUm6Qyw8W8jud"
或许已经发现了吧,这里面的函数名、变量名及参数都是一个字母,而且它们有的还相同,没错,这是一种很常见的反爬虫手段------JS代码混淆。
摘取这部分加密函数分析一下:
function a(a) { var d, e, b = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789", c = ""; for (d = 0; a > d; d += 1) e = Math.random() * b.length, e = Math.floor(e), c += b.charAt(e); return c }
函数a
的作用是从字符串"abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789"
中随机生成长度为a
的字符串。
function b(a, b) { var c = CryptoJS.enc.Utf8.parse(b) , d = CryptoJS.enc.Utf8.parse("0102030405060708") , e = CryptoJS.enc.Utf8.parse(a) , f = CryptoJS.AES.encrypt(e, c, { iv: d, mode: CryptoJS.mode.CBC }); return f.toString() }
函数b
的作用是对数据a
进行AES加密,模式为CBC
,最后通过toString()
方法将结果转成字符串。
function c(a, b, c) { var d, e; return setMaxDigits(131), d = new RSAKeyPair(b,"",c), e = encryptedString(d, a) }
函数c
的作用是对数据a
进行RSA加密,返回的结果是十六进制形式的字符串。
function d(d, e, f, g) { var h = {} , i = a(16); return h.encText = b(d, g), h.encText = b(h.encText, i), h.encSecKey = c(i, e, f), h }
函数d
的作用是对数据d
进行加密,得到两个加密的结果encText
和encSecKey
,加密流程是通过函数a
随机产生一个长度为16
的字符串,然后通过函数b
进行第一次AES加密,然后再通过函数b
对第一次的加密结果进行一次AES加密,得到结果encText
,即对应我们的params
,最后通过函数c
进行一次RSA加密,得到结果encSecKey
。
4. 模拟加密
这里使用一个非常强大的加密算法库-----PyCryptodome,具体使用方法请参考官方文档。
这里定义了一个EncryptText
类,专门用来模拟JavaScript的加密过程:
class EncryptText: def __init__(self): self.character = 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789' self.iv = '0102030405060708' self.public_key = '010001' self.modulus = '00e0b509f6259df8642dbc35662901477df22677ec152b' \ '5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417' \ '629ec4ee341f56135fccf695280104e0312ecbda92557c93' \ '870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b' \ '424d813cfe4875d3e82047b97ddef52741d546b8e289dc69' \ '35b3ece0462db0a22b8e7' self.nonce = '0CoJUm6Qyw8W8jud'
在函数d
中打上断点,来分析看一下a
、b
、c
三个函数返回的结果,方便比对我们模拟的结果:
程序执行到函数a
处,在最右边变量作用域区Scope
可以看到各个变量的值及函数a
返回的的结果i: "mEXyqHtNW5dxT5IK"
。
这里先模拟函数a
来随机产生长度为16
的字符串,首先使用的是官方提供的API:Crypto.Random.get_random_bytes(N)
,返回长度为N的随机字节串。
def create16RandomBytes(self): """ # 产生16位随机字符, 对应函数a :return: """ generated_string = get_random_bytes(16) return generated_string
我们需要将该字节串通过decode()
方法转换成字符串,但是随机产生的字节串是这样的:b'\xe0\xda\xf9\x8fd\xb4M\xaa\xa7\x1fW\xaay\x12\x90@'
,在转换字符串时就会产生UnicodeDecodeError
,所以这里就自己写了一个方法:
def create16RandomBytes(self): """ # 产生16位随机字符, 对应函数a :return: """ generate_string = random.sample(self.character, 16) generated_string = ''.join(generate_string) return generated_string
该方法产生的结果就是16
位随机的字符串:
程序执行到函数b
处,传入的参数d
和g
的值我们已经知道,看一下加密后的结果:
加密后的结果为encText: "eHhjXckqrtZkqcwCalCMx0QuU6Lj9L7Wxouw1iMCnB4="
,下面来用官方的API来模拟一下:
def AESEncrypt(self, clear_text, key): """ AES加密, 对应函数b :param clear_text: 需要加密的数据 :return: """ # 数据填充 clear_text = pad(data_to_pad=clear_text.encode(), block_size=AES.block_size) key = key.encode() iv = self.iv.encode() aes = AES.new(key=key, mode=AES.MODE_CBC, iv=iv) cipher_text = aes.encrypt(plaintext=clear_text) # 字节串转为字符串 cipher_texts = base64.b64encode(cipher_text).decode() return cipher_texts
我们将需要加密的数据"{"csrf_token":""}"
传入到该函数中,看一下模拟的结果:
很nice,结果一模一样,然后再进行一次AES加密,因为第二次加密用到了函数a
产生的16位随机字符,为了结果一致,这里也使用相同的随机字符进行模拟。先看一下原始的结果:
第二次AES加密产生的结果为encText: "JWuA4mdNsTdrLdDkD9UWs8ShPCZNK0n4BLpdQEDSAaD/kFKKih8XQp8W/mICYPlN"
,然后对比一下自己模拟的结果:
哈哈哈哈(⁎˃ᴗ˂⁎)也是OK的,结果一样。
AES具体的加密原理这里不做过多的介绍,感兴趣的话可以参考相关的书籍或自行百度,这里只介绍一些基本概念。
高级加密标准 ( A d v a n c e d (Advanced (Advanced E n c r y p t i o n Encryption Encryption S t a n d a r d , A E S ) Standard,AES) Standard,AES)是一种分组密码算法,又称 R i j n d a e l Rijndael Rijndael算法,是对称密钥加密中最流行的算法之一。AES的分组长度固定为128位,密钥长度则可以是128、192或256位。
密码分组链模式,即CBC,是分组密码工作模式之一,它需要一个初始向量 ( I n i t i a l i z a t i o n (Initialization (Initialization V e c t o r , I V ) Vector,IV) Vector,IV)组进行异或运算,而且CBC模式要求数据长度必须是密码分组长度的整数倍。因此数据长度不够的话需要进行填充。
最后就是RSA加密了,看一下函数c
返回的结果:
很长的一串,长度为256:encSecKey: "d58e873a2e908c0599b497456f1842d1734e1d17e834a221ed84d828b06b149d0bac2ddd449e38b7e5e9ce53dcb1aa43a241742a2b273434b67825743fbca6371aa143a4460477704ba3fd33b517619386daf8da4c7fe8d67a604ea0e461aedee5ae2698400a6c7340ab250c97622aa221d871b7352d81ea09262978facf5480"
下面来模拟一下,我首先使用的是官方的API:Crypto.PublicKey.RSA
产生密钥对,然后使用Crypto.Cipher.PKCS1_OAEP
进行加密,加密后的数据长度是256
位,通过它进行请求 u r l url url 时请求状态码是200
,但请求的内容为空,由于RSA每次加密得到数据都不一样,所以目前我还没有好的想法来确定问题出在哪里。
def RSAEncrypt(self, session_key): """ RSA加密的结果每次都不一样 :param session_key: :return: """ # n和e构成公钥 # (n, e) # key = RSA.RsaKey(n=int(self.modulus, 16), e=int(self.public_key, 16)) key = RSA.construct(rsa_components=(int(self.modulus, 16), int(self.public_key, 16))) public_key = key.publickey() rsa = PKCS1_OAEP.new(key=public_key) cipher_text = rsa.encrypt(message=session_key).hex() return cipher_text
根据RSA加密原理,我就自己写了一个函数来模拟RSA加密的过程:
def RSAEncrypt(self, i, e, n): """ RSA加密, 对应函数c :param i: :return: """ # num = pow(x, y) % z # 加密C=M^e mod n num = pow(int(i[::-1].encode().hex(), 16), int(e, 16), int(n, 16)) result = format(num, 'x') return result
没错,也是一模一样的(^_^)Y Ya!!
RSA是由美国麻省理工学院的三名密码学者 R i v e s t Rivest Rivest、 S h a m i r Shamir Shamir和 A d l e m a n Adleman Adleman提出的一种基于大合数因式分解困难性的公开密钥密码,简称RSA密码。RSA算法基于一个十分简单的数论事实,即将两个大素数相乘很容易,但想要对其乘积进行因式分解却极其困难,因此可以将乘积公开作为加密密钥。由于这次只用到了加密过程,所以RSA的解密过程不做过多的涉及。
加密运算: C = M e C=M^e C=Me m o d mod mod n n n,其中 C C C是加密后的数据, M M M是被加密的数据, e e e是随机的一个整数, 1 < e < ϕ ( n ) 1<e<\phi (n) 1<e<ϕ(n), ϕ ( n ) \phi (n) ϕ(n)是一个数论函数,称为欧拉函数,表示在比 n n n小的正整数中与 n n n互素的数的个数, n n n是两个大素数的乘积, e e e和 n n n是公开的,它们构成了用户的公钥。
整个加密流程我们模拟完了,结果也是正确的,但是,这里还存在一个问题,我们模拟出来的encText
,也就是参数params
长度不够。这里可以确定的是加密算法是没有错误的,传入的参数中d、e、f、g
后面三个值是固定的,所以问题就基本锁定了:参数d
的值不对。
我继续debug,然后发现了一些端倪:函数d
又接收到了新的参数d
,它的值是这样的:
将它进行两次AES加密后encText
的数据长度达到了128
,说明这个还不是正确的,而且Network
面板并没有出现我们想要的v1?csrf_token=
,然后继续debug,最终得到了参数d
真正的值:d: "{"ids":"[35440198]","level":"standard","encodeType":"aac","csrf_token":""}"
,最后我们看一下最终的结果:
使用模拟加密获取到的两个参数再次发起请求,便可以得到我们想要的数据:
歌曲的文件对应的 u r l url url 我们已经找到,根据结果可知,它是一个字符串,准确来说是个json
格式的,而且里面只有一条数据是我们需要的,所以直接提取:
然后再去用代码请求该 u r l url url,将请求到的内容以二进制形式进行保存,文件名后缀为.mp3
。
5. 获取ID
上面实现的只是一首歌的下载,如果要实现我们的要求,还需要再修改一些参数d
,有两个参数需要注意,即ids
和level
,一个是歌曲的id
,另一个应该是歌曲的质量(有标准、无损等,我猜的),这里只关注一个,那就是歌曲的id
。很容易猜到,一首歌对应一个id
,我们选择哪首歌,就会得到哪首歌的id
,那在哪选择呢???毫无疑问,肯定是在搜索结果中选择的。
正常情况下,我们输入歌手名,会搜索出来许多歌手的音乐,就像下面这样:
我们通过代码直接访问https://music.xxx.com/#/search/m/?s=本兮&type=1
并不会得到我们想要的信息,该 u r l url url 请求得到的是网站的源代码,不包含数据在里面,很明显是通过 J a v a S c r i p t JavaScript JavaScript 动态获得的,所以我们要找到请求数据的 u r l url url。打开Chrome的开发者工具,刷新看一下对应的请求,找到我们想要的数据,就是下面这个:
然后找到对应的 u r l url url,分析一下该请求:
可知,获取数据的 u r l url url 为https://music.xxx.com/weapi/cloudsearch/get/web?csrf_token=
,请求方式为依旧是POST
。继续往下滑,找到提交的数据:
POST
提交了两个参数params
和encSecKey
,和我们获取歌曲 u r l url url 时一样,但参数params
的长度变为了280
,参数encSecKey
的长度依旧不变,为256
。由此可以确定,又是参数d
发生了变化。经过几次debug,最终确定了参数d
的值:d = "{"hlpretag":"<span class=\"s-fc7\">","hlposttag":"</span>","s":"本兮","type":"1","offset":"0","total":"true","limit":"30","csrf_token":""}"
结果也是一样的:
使用模拟加密获取到的两个参数再次发起请求,发现得到的结果是空的,然后改了一下,将字典转为json
格式,AES二次加密后参数params
长度变为了300
,然而却得到了数据。和我们在开发者模式下看到的结果一样,里面包含歌曲名、歌曲的id以及歌手名等信息。
从Network更容易看到json
里面的数据结构:
提取到的结果如下,分别是歌手名、歌曲名、歌曲id、时长、专辑名、专辑图片的url:
这里简单分析一下参数d
,关键字s
表示你要搜索的内容,关键字type
表示搜索的类型(见下面的表格),如果需要下载其他歌手的歌曲,只需要将参数d
中的关键字s
的值改一下即可,为了方便,可以用input()
方法传递这个值。
type
含义
6. 代码框架
# -*- coding: utf-8 -*- # @Time : 2020/9/2 11:23 # @Author : XiaYouRan # @Email : youran.xia@foxmail.com # @File : wangyiyun_music2.py # @Software: PyCharm import requests from Crypto.Cipher import AES, PKCS1_OAEP from Crypto.Util.Padding import pad from Crypto.PublicKey import RSA from Crypto.Random import get_random_bytes import random import base64 import json import os class EncryptText: def __init__(self): self.character = 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789' self.iv = '0102030405060708' self.public_key = '010001' self.modulus = '00e0b509f6259df8642dbc35662901477df22677ec152b' \ '5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417' \ '629ec4ee341f56135fccf695280104e0312ecbda92557c93' \ '870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b' \ '424d813cfe4875d3e82047b97ddef52741d546b8e289dc69' \ '35b3ece0462db0a22b8e7' self.nonce = '0CoJUm6Qyw8W8jud' def create16RandomBytes(self): def AESEncrypt(self, clear_text, key): def RSAEncrypt(self, i, e, n): def resultEncrypt(self, input_text): """ 对应函数d :param input_text: :return: """ i = self.create16RandomBytes() encText = self.AESEncrypt(input_text, self.nonce) encText = self.AESEncrypt(encText, i) encSecKey = self.RSAEncrypt(i, self.public_key, self.modulus) from_data = { 'params': encText, 'encSecKey': encSecKey } return from_data class WangYiYunMusic(object): def __init__(self): self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'} def get_html(self, url, method='GET', from_data=None): try: if method == 'GET': response = requests.get(url, headers=self.headers) else: response = requests.post(url, from_data, headers=self.headers) response.raise_for_status() response.encoding = 'utf-8' return response.text except Exception as err: print(err) return '请求异常' def parse_text(self, text): ids_list = json.loads(text)['result']['songs'] count = 0 info_list = [] print('{:*^80}'.format('搜索结果如下')) print('{0:{5}<5}{1:{5}<20}{2:{5}<10}{3:{5}<10}{4:{5}<20}'.format('序号', '歌名', '歌手', '时长(s)', '专辑', chr(12288))) print('{:-^84}'.format('-')) for id_info in ids_list: song_name = id_info['name'] id = id_info['id'] time = id_info['dt'] // 1000 album_name = id_info['al']['name'] picture_url = id_info['al']['picUrl'] singer = id_info['ar'][0]['name'] info_list.append([id, song_name, singer]) print('{0:{5}<5}{1:{5}<20}{2:{5}<10}{3:{5}<10}{4:{5}<20}'.format(count, song_name, singer, time, album_name, chr(12288))) count += 1 if count == 8: # 为了测试方便, 这里只显示了9条数据 break print('{:*^80}'.format('*')) return info_list def save_file(self, song_text, download_info): filepath = './download' if not os.path.exists(filepath): os.mkdir(filepath) filename = download_info[1] + '-' + download_info[2] music_url = json.loads(song_text)['data'][0]['url'] response = requests.get(music_url, headers=self.headers) with open(os.path.join(filepath, filename) + '.mp3', 'wb') as f: f.write(response.content) print("下载完毕!") if __name__ == '__main__': id_url = 'https://music.163.com/weapi/cloudsearch/get/web?csrf_token=' song_url = 'https://music.163.com/weapi/song/enhance/player/url/v1?csrf_token=' id_d = { "hlpretag": "<span class=\"s-fc7\">", "hlposttag": "</span>", "s": input("请输入歌名或歌手: "), "type": "1", "offset": "0", "total": "true", "limit": "30", "csrf_token": "" } encrypt = EncryptText() id_from_data = encrypt.resultEncrypt(str(id_d)) wyy = WangYiYunMusic() id_text = wyy.get_html(id_url, method='POST', from_data=id_from_data) info_list = wyy.parse_text(id_text) while True: input_index = eval(input("请输入要下载歌曲的序号(-1退出): ")) if input_index == -1: break download_info = info_list[input_index] song_d = { "ids": str([download_info[0]]), "level": "standard", "encodeType": "aac", "csrf_token": "" } song_from_data = encrypt.resultEncrypt(str(song_d)) song_text = wyy.get_html(song_url, method='POST', from_data=song_from_data) wyy.save_file(song_text, download_info)
测试结果如下,等有时间了再做一个GUI٩(๑>◡<๑)۶ :
结束语
最后,加一个彩蛋吧,这个代码不仅可以download,还可以搜集用户的评论、歌曲对应的歌词等信息,只需要改一下参数d
和请求的 u r l url url 即可。这里给出这些参数:
功能
参数d dd
u r l urlurl
这些参数并不是一成不变的,如果网站更新了这些参数,那就需要重新做分析了。
开源代码仓库
如果喜欢的话记得给我的GitHub仓库点个Star哦!ヾ(≧∇≦*)ヾ
到此这篇关于Python爬虫逆向分析某云音乐加密参数的文章就介绍到这了,更多相关Python爬虫逆向加密参数内容请搜索易盾网络以前的文章或继续浏览下面的相关文章希望大家以后多多支持易盾网络!