目录1.目标2.网站结构分析3.编写爬虫程序3.1.配置需要爬取的目标变量3.2.写爬虫文件scrap

目录

• 1. 目标
• 2. 网站结构分析
• 3. 编写爬虫程序
  • 3.1. 配置需要爬取的目标变量
  • 3.2. 写爬虫文件scrapy
  • 3.3. 编写yield需要的管道文件
  • 3.4. setting中配置请求抱头信息
• 4. 最后结果

1. 目标

目标：https://hr.tencent.com/position.php? Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language': 'en',}

4. 最后结果