当前位置 : 主页 > 编程语言 > python >

某外卖商家和评论爬虫-数据采集篇

来源:互联网 收集:自由互联 发布时间:2022-06-18
最近学习app抓包,接触一下外卖公开数据采集。 思路如下 1、根据城市列表获取全部城市的拼音缩写; 2、根据城市拼音拼接列表页,从列表页获取商家 链接 ; 3、循环遍历商家 链接


最近学习app抓包,接触一下外卖公开数据采集。

思路如下

1、根据城市列表获取全部城市的拼音缩写;

2、根据城市拼音拼接列表页,从列表页获取商家链接

3、循环遍历商家链接,获取需要的字段;

操作方法

采用的是使用登陆后的cookie直接访问的目标接口,通过代理,各种模拟时间戳,经纬度,终于拿到了自己需要的数据。

如图

某外卖商家和评论爬虫-数据采集篇_爬虫




上一篇:某众点评爬虫采集-剧本杀市场分析-Python
下一篇:没有了
网友评论