饱了么数据采集分析定制

背景

店内需要一个工具，统计全国新店铺
思路是抓包分析得到API。

工具

charles抓包工具: 用于抓取API数据包，代理方式，格式清晰，支持加密SSL（需手动安装证书，否则浏览器会报证书不匹配），HTTP抓取很好用，也可以获得一些网页和js
wireshark: (可选)，只能抓取未加密的HTTP，且格式需要自己解析
chrome: 调试工具，用于调试和理解网页上的js代码，与线下程序比对，也可以下载网页和代码
chrome插件cookies.txt: (可选)，用于将chrome当前页面的cookies导出到txt，可以在程序里读进去，假装chrome进行POST请求，以研究哪些cookies是必须的
nodejs: 主要的实现环境

方法

本人采用的是使用登陆后的cookie直接访问的目标接口，通过代理，各种模拟时间戳，经纬度，终于拿到了自己需要的数据。

附张图