基于Python通过cookie对某芯片网站信息的获取

芯片大家都不陌生。在当今疫情下，显卡，车机的芯片产量锐减影响了不少人的购物需求（反正你也买不到），也让不少人重新认识了半导体行业。闲来无事，我们可以获取一下T网站的芯片库存和芯片信息。

一、列表页请求分析

进入页面，就能看到我们需求的信息了。

但是，在页面请求完成之前，有一点点不对劲，就是页面的各个部份请求的速度是不一样的：

所以啊，需要的数据，大概率不是简单的get请求，所以要进一步去看，特意在开发者模式—Fetch/XHR选项卡中有一个请求，返回值正好是我们需要的内容：

这一条链接返回了所有的数据，无需翻页，下面开始请求链接。

二、列表页请求 

根据上面的链接，直接get请求，分析json即可，上代码：

1. def getItemList():
2. url = "https://www.xx.com.cn/selectiontool/paramdata/family/3658/results?lang=cn&output=json"
3. headers = {
4. 'authority': 'www.xx.com.cn',
5. "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
6. "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
7. }
8. res = getRes(url,headers,'','','GET')//自己写的请求方法
9. nodes = res.json()['ParametricResults']
10. for node in nodes:
11. data = {}
12. data["itemName"] = node["o3"] #名称
13. data["inventory"] = node["p3318"] #库存
14. data["price"] = node["p1130"]['multipair1']['l'] #价格
15. data["infoUrl"] = f"https://www.xx.com.cn/product/cn/{node['o1']}"#详情URL

分析上面的json，可知 o3 是商品名，p3318是库存，p1130里面的内容有一个带单位的价格，o1是型号，可凑出详情链接，下面是请求结果：

三、详情页分析

终于拿到详情页链接了，该获取剩下的内容了。

打开开发者模式，没有额外的请求，只有一个包含内容的get请求。

 那直接请求不就得了，上代码：

1. def getItemInfo(url):
2. logger.info(f'正在请求详情url-{url}')
3. headers = {
4. 'authority': 'www.xx.com.cn',
5. 'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
6. 'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
7. 'referer':'https://www.xx.com.cn/product/cn/THS4541-DIE',
8.
9. }
10. res = getRes(url, headers,'', '', 'GET')//自己写的请求方法
11. content = res.content.decode('utf-8')

但是发现，请求的详情页，跟开发者模式的预览怎么不太一样？

我这里的第一反应就觉得，完了，这个需要cookie。

继续分析，清屏开发者模式，清除cookie，再次访问详情链接，在All选项卡中，可以发现：

本以为该请求一次的详情页链接请求了两次，两次中间还有一个xhr请求。

预览第一次请求，可以发现跟刚才本地请求的内容相差无几：

所以问题出在第二次的请求，进一步分析：

查看第二次的get请求，与第一次的请求相差了一堆cookie

简化cookie，发现这些cookie最关键的参数是ak_bmsc这一部分，而这一部分参数，就来自上一个xhr请求中的响应头set-cookie中：

分析这个xhr请求，请求链接

这是个post请求，先从payload参数下手：

这个bm-verify参数，是不是有些眼熟？这就是第一次的get请求返回的内容吗，下面还有一个pow参数：

“pow”：j，这个j参数就在上面，声明了i和两个拼接的数字字符串转成int之后相加之后的结果：

通过这一系列请求，返回了最终get请求所需要的cookie，讲的比较琐碎，上代码：

1. #详情需要cookie
2. def getVerify(url):
3. infourl = url
4. headers = {
5. 'authority': 'www.xx.com.cn',
6. "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
7. "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
8. }
9. proxies = getApiIp()//取代理
10. if proxies:
11. #无cookie访问详情页拿参数bm-verify,pow
12. res = getRes(infourl,headers,proxies,'','GET')
13. if res:
14. #拿第一次请求的ak_bmsc
15. cookie = re.findall("ak_bmsc=.*?;",res.headers['set-cookie'])[0]
16. #拿bm-verify
17. verifys = re.findall('"bm-verify": "(.*?)"', res.text)[0]
18. #合并字符串转int相加取pow
19. a = re.findall('var i = (\d+);',res.text)[0]
20. b = re.findall('Number\("(.*?)"\);',res.text)[0]
21. b = int(b.replace('" + "',''))
22. pow = int(a)+b
23. post_data = {
24. 'bm-verify': verifys,
25. 'pow':pow
26. }
27. #转json
28. post_data = json.dumps(post_data)
29. if verifys:
30. logger.info('第一次参数获取完毕')
31. return post_data,proxies,cookie
32. else:
33. print('verify获取异常')
34. else:
35. print('verify请求出错')
36.
37. # 第二次带参数访问验证链接
38. def getCookie(url):
39. post_headers = {
40. "authority": "www.xx.com.cn",
41. "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36",
42. "accept": "*/*",
43. "content-type": "application/json",
44. "origin": "https://www.xx.com.cn",
45. "referer":url,
46. }
47. post_data,proxies,c_cookie = getVerify(url)
48. post_headers['Cookie'] = c_cookie
49. posturl = "https://www.xx.com.cn/_sec/verify?provider=interstitial"
50. check = getRes(posturl,post_headers,proxies,post_data,'POST')
51. if check:
52. #从请求头拿到ak_bmsc cookie
53. cookie = check.headers['Set-Cookie']
54. cookie = re.findall("ak_bmsc=.*?;",cookie)[0]
55. if cookie:
56. logger.info('Cookie获取完毕')
57. return cookie,proxies
58. else:
59. print('cookie获取异常')
60. else:
61. print('cookie请求出错')

简单的概括一下详情页的请求流程：

第一次请求，取得所需参数bm-verify，pow，cookie，提供给下一次的post请求（getVerify方法）

第二次请求，根据已知条件进行post请求，并获取响应头cookie的ak_bmsc（getCookie）

切记，在整个获取cookie的三次请求过程中，第二、三两次请求都需要伴随着上一次请求的ak_bmsc作为cookie传递，第二次请求需要第一次的ak_bmsc，最终请求需要第二次的ak_bmsc。

四、详情页请求

1. def getItemInfo(url):
2. logger.info(f'正在请求详情url-{url}')
3. cookie,proxies = getCookie(url)
4. headers = {
5. 'authority': 'www.xx.com.cn',
6. 'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
7. 'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
8. 'referer':'https://www.xx.com.cn/product/cn/THS4541-DIE',
9. 'cookie':cookie
10. }
11. res = getRes(url, headers,proxies, '', 'GET')
12. content = res.content.decode('utf-8')
13. print(content)
14. exit()
15. sel = Selector(text=content)
16. Parameters = sel.xpath('//ti-tab-panel[@tab-title="参数"]/ti-view-more/div').extract_first()
17. Features = sel.xpath('//ti-tab-panel[@tab-title="特性"]/ti-view-more/div').extract_first()
18. Description = sel.xpath('//ti-tab-panel[@tab-title="描述"]/ti-view-more').extract_first()
19. if Parameters and Features and Description:
20. return Parameters,Features,Description

通过上一步cookie的获取，带着cookie再次访问详情链接，就可以顺利的获取内容并可以使用xpath进行解析，获取需要的内容。

五、代理设置

T网站详情页带cookie请求有100多次，如果用本地代理一直去请求，会有IP封锁的可能性出现，导致无法正常获取。所以，需要高效请求的话，优质稳定的代理IP必不可少，我这里使用的​​ipidea​​代理请求的T网站，数据很快就访问出来了。

地址：​​http://www.ipidea.net/​​ ，首次可以白嫖流量哦。本次使用的api获取，代码如下：

1. # api获取ip
2. def getApiIp():
3. # 获取且仅获取一个ip
4. api_url = 'http://tiqu.ipidea.io:81/abroad?num=1&type=2&lb=1&sb=0&flow=1®ions=&port=1'
5. res = requests.get(api_url, timeout=5)
6. try:
7. if res.status_code == 200:
8. api_data = res.json()['data'][0]
9. proxies = {
10. 'http': 'http://{}:{}'.format(api_data['ip'], api_data['port']),
11. 'https': 'http://{}:{}'.format(api_data['ip'], api_data['port']),
12. }
13. print(proxies)
14. return proxies
15. else:
16. print('获取失败')
17. except:
18. print('获取失败')

 六、代码汇总

1. # coding=utf-8
2. import requests
3. from scrapy import Selector
4. import re
5. import json
6. from loguru import logger
7.
8. # api获取ip
9. def getApiIp():
10. # 获取且仅获取一个ip
11. api_url = '获取代理地址'
12. res = requests.get(api_url, timeout=5)
13. try:
14. if res.status_code == 200:
15. api_data = res.json()['data'][0]
16. proxies = {
17. 'http': 'http://{}:{}'.format(api_data['ip'], api_data['port']),
18. 'https': 'http://{}:{}'.format(api_data['ip'], api_data['port']),
19. }
20. print(proxies)
21. return proxies
22. else:
23. print('获取失败')
24. except:
25. print('获取失败')
26.
27. def getItemList():
28. url = "https://www.xx.com.cn/selectiontool/paramdata/family/3658/results?lang=cn&output=json"
29. headers = {
30. 'authority': 'www.xx.com.cn',
31. "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
32. "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
33. }
34. proxies = getApiIp()
35. if proxies:
36. # res = requests.get(url, headers=headers, proxies=proxies)
37. res = getRes(url,headers,proxies,'','GET')
38. nodes = res.json()['ParametricResults']
39. for node in nodes:
40. data = {}
41. data["itemName"] = node["o3"] #名称
42. data["inventory"] = node["p3318"] #库存
43. data["price"] = node["p1130"]['multipair1']['l'] #价格
44. data["infoUrl"] = f"https://www.ti.com.cn/product/cn/{node['o1']}"#详情URL
45. Parameters, Features, Description = getItemInfo(data["infoUrl"])
46. data['Parameters'] = Parameters
47. data['Features'] = Features
48. data['Description'] = Description
49. print(data)
50.
51. #详情需要cookie
52. def getVerify(url):
53. infourl = url
54. headers = {
55. 'authority': 'www.xx.com.cn',
56. "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
57. "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
58. }
59. proxies = getApiIp()
60. if proxies:
61. #访问详情页拿参数bm-verify,pow
62. res = getRes(infourl,headers,proxies,'','GET')
63. if res:
64. #拿第一次请求的ak_bmsc
65. cookie = re.findall("ak_bmsc=.*?;",res.headers['set-cookie'])[0]
66. #拿bm-verify
67. verifys = re.findall('"bm-verify": "(.*?)"', res.text)[0]
68. #字符串转int相加取pow
69. a = re.findall('var i = (\d+);',res.text)[0]
70. b = re.findall('Number\("(.*?)"\);',res.text)[0]
71. b = int(b.replace('" + "',''))
72. pow = int(a)+b
73. post_data = {
74. 'bm-verify': verifys,
75. 'pow':pow
76. }
77. #转json
78. post_data = json.dumps(post_data)
79. if verifys:
80. logger.info('第一次参数获取完毕')
81. return post_data,proxies,cookie
82. else:
83. print('verify获取异常')
84. else:
85. print('verify请求出错')
86.
87. # 第二次带参数访问验证链接
88. def getCookie(url):
89. post_headers = {
90. "authority": "www.xx.com.cn",
91. "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36",
92. "accept": "*/*",
93. "content-type": "application/json",
94. "origin": "https://www.xx.com.cn",
95. "referer":url,
96. }
97. post_data,proxies,c_cookie = getVerify(url)
98. post_headers['Cookie'] = c_cookie
99. posturl = "https://www.xx.com.cn/_sec/verify?provider=interstitial"
100. check = getRes(posturl,post_headers,proxies,post_data,'POST')
101. if check:
102. #从请求头拿到ak_bmsc cookie
103. cookie = check.headers['Set-Cookie']
104. cookie = re.findall("ak_bmsc=.*?;",cookie)[0]
105. if cookie:
106. logger.info('Cookie获取完毕')
107. return cookie,proxies
108. else:
109. print('cookie获取异常')
110. else:
111. print('cookie请求出错')
112.
113. def getItemInfo(url):
114. logger.info(f'正在请求详情url-{url}')
115. cookie,proxies = getCookie(url)
116. headers = {
117. 'authority': 'www.xx.com.cn',
118. 'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
119. 'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
120. 'referer':'https://www.xx.com.cn/product/cn/THS4541-DIE',
121. 'cookie':cookie
122. }
123. res = getRes(url, headers,proxies, '', 'GET')
124. content = res.content.decode('utf-8')
125. sel = Selector(text=content)
126. Parameters = sel.xpath('//ti-tab-panel[@tab-title="参数"]/ti-view-more/div').extract_first()
127. Features = sel.xpath('//ti-tab-panel[@tab-title="特性"]/ti-view-more/div').extract_first()
128. Description = sel.xpath('//ti-tab-panel[@tab-title="描述"]/ti-view-more').extract_first()
129. if Parameters and Features and Description:
130. return Parameters,Features,Description
131.
132. #专门发送请求的方法,代理请求三次，三次失败返回错误
133. def getRes(url,headers,proxies,post_data,method):
134. if proxies:
135. for i in range(3):
136. try:
137. # 传代理的post请求
138. if method == 'POST':
139. res = requests.post(url,headers=headers,data=post_data,proxies=proxies)
140. # 传代理的get请求
141. else:
142. res = requests.get(url, headers=headers,proxies=proxies)
143. if res:
144. return res
145. except:
146. print(f'第{i}次请求出错')
147. else:
148. return None
149. else:
150. for i in range(3):
151. proxies = getApiIp()
152. try:
153. # 请求代理的post请求
154. if method == 'POST':
155. res = requests.post(url, headers=headers, data=post_data, proxies=proxies)
156. # 请求代理的get请求
157. else:
158. res = requests.get(url, headers=headers, proxies=proxies)
159. if res:
160. return res
161. except:
162. print(f"第{i}次请求出错")
163. else:
164. return None
165.
166. if __name__ == '__main__':
167. getItemList()

通过上述步骤，已经能获取所需内容。

总结

整个T网站的数据获取，难点就在详情页的cookie，（其实也不是很难，只不过cookie太长比较费眼）理顺了整个请求流程，剩下的就是请求的过程。稳定高效的IP代理会让你事半功倍，通过api获取可变的代理也不易被网站封禁，从而更好地获取数据。简化cookie的时候使用合适的请求工具会更方便，比如postman，burp。

这次的整个流程到此结束，讲的比较啰嗦，若有错误或者更好的方法请大佬指正！