一.某勾网职位爬取

众所周知，现在反爬机制特别严重，我们想要爬取一些职位数据是难上加难，所以我们现在使用selenium模拟真人操作网页爬取这个某勾网的职位。

我选用selenium模拟真人操作网页，使用谷歌和火狐游览器的插件，进行动态的对目标网站进行爬取。 将目标网页存入一个列表中，每个url爬取30页（使用一个30次的循环操作）将里面当前页面的数据提取出来。然后分别调用getData函数（提取目标值存入对应的列表内），得到目标值datalist，然后使用pandas转化完成，存入csv文件里。最终得到如下数据：

共计8000条左右数据。

爬虫结构图

1.1 selenium的使用

1、爬虫开始，先将需要的模块包导入：

from selenium import webdriver # 模拟真人操作网页 import pyquery as pq # 解析网页 import time # 时间模块 import os # 文件模块 import pandas as pd from selenium.webdriver.chrome.service import Service # 新增 from selenium.webdriver.common.by import By

2.避免乱码，在py文件的最上面，加入utf-8编码，显示中文。

# coding = utf-8

3.将谷歌的chromedriver的路径写一下，如果没有chromedriver的话，去官网下载一下，下载解压，将chromedriver拖拽到谷歌游览器的目录即可。

service = Service(executable_path='/home/yan/Python/chromeselenium/chromeselenium/chromedriver')

4.官方下载地址：

https://registry.npmmirror.com/binary.html?path=chromedriver/

5.其实如果的最新版的selenium。不用下载chromedriver就可以用，模块里会自动下载配置好的。

driver = webdriver.Chrome()

6.来一端测试代码，测试一下：

from selenium import webdriver driver = webdriver.Chrome() url = 'https://www.baidu.net/' driver.get(url) driver.maximize_window()

7.如果出现以下报错：

8.去外面刚刚下载好的chromedriver里，双击脚本，启动服务：

出现以下界面，说明启动成功：

9.重新运行刚刚那段测试代码，如果还是无法启动，更换火狐游览器即可解决问题，火狐游览器测试代码：

import time from selenium.webdriver import Firefox from selenium import webdriver driver = webdriver.Firefox() driver.get("https://www.toutiao.com/a6969138023774667264/") time.sleep(2) html = driver.page_source print(html) driver.quit()

效果图：

1,2 开始爬取

1.使用selenium模拟真人操作网页（谷歌为例）。目标url

lagou_http = "https://www.lagou.com/jobs/list_go%E5%BC%80%E5%8F%91%E5%B7%A5%E7%A8%8B%E5%B8%88/p-city_0?&cl=false&fromSearch=true&labelWords=&suginput=" driver.get(lagou_http) data = []

2.每个url爬取30页：以下一页按钮的class为准：.pager_next ，然后进行调用函数，data处理数据：

index = 0 while index < 31:     if index<1:         time.sleep(30)     index += 1     next_button = driver.find_element(By.CSS_SELECTOR, ".pager_next ").get_attribute('class')     print(next_button)     if next_button == "pager_next ":         # 获取当前页面的数据         items = pq.PyQuery(driver.page_source).find(".con_list_item")         # print('items',items)         data += getData(items)         time.sleep(2)         # driver.find_element_by_xpath("")         element = driver.find_element(By.XPATH, "//span[@action='next']").click()         time.sleep(2)     else:         print("爬取结束")         break

3.getData 函数的作用，将上面拿到的前页面的数据里将我们需要的目标数据拿到，放到list列表里返回。

def getData(items):

4.我们抓取这些关键字：职位名,薪资,公司名,行业,公司融资/上市情况,人数规模,工作年限,学历,城市

x.append(item.attr("data-positionname")) x.append(item.attr("data-salary")) x.append(item.attr('data-company')) x.append(pq.PyQuery(item).find(".industry").text()) x.append(pq.PyQuery(item).find(".p_bot>.li_b_l").remove(".money").text()) x.append((pq.PyQuery(item).find(".add").text()))

4.最后将获取到的数据保存到csv文件中

f = open('D-3-Go岗.csv','w',encoding='utf-8') name=["职位名","薪资",'公司名','公司描述','工作经验',"地点"] test=pd.DataFrame(columns=name,data=data) # csv_writer = csv.writer(test) print(test) test.to_csv('D-3-Go岗.csv',encoding='utf-8') print('写入文件成功')

5.爬取部分结果如下:

6，可以看到如下的数据还是比较规整的：

(成都)Java工程师-周末双休-专科民教网勿扰,11k-18k,联龙博通,科技金融 , 不需要融资 , 2000人以上,经验3-5年,本科,成都 (杭州)Java工程师-周末双休,13k-21k,联龙博通,科技金融 , 不需要融资 , 2000人以上,经验5-10年,本科,杭州 .net开发工程师-HK,11k-16k,普华永道成都SDC,务｜咨询 , 不需要融资 , 2000人以上,经验3-5年,本科,成都 .net开发工程师（转Java）,18k-35k,红途科技,信息安全 , A轮 , 50-150人,经验3-5年,本科,深圳 .NET开发架构师,15k-20k,欧派,居住服务 , 上市公司 , 2000人以上,经验5-10年,本科,广州 .NET开发架构师,15k-20k,欧派,居住服务 , 上市公司 , 2000人以上,经验5-10年,本科,杭州 .net高级开发工程师,25k-35k,上海元聚,工具类产品 , 不需要融资 , 150-500人,经验5-10年,本科,上海

7.一共爬取的数据类型有：

共计8000组数据。