通过用户代理我们可以将普通的爬虫程序伪装成浏览器，而IP代理的作用则是用于突破目标服务器对同一IP访问频率的限制。
在网站的反爬虫策略中，限制IP访问频率是比较常见的措施。具体体现为，当我们的爬虫程序短时间内对服务器发起大量请求时，会出现访问限制或者IP被封禁的现象，此时无论是爬虫程序，还是通过浏览器访问，都无法访问到目标服务器。
为了突破这一限制，可以使用IP代理。IP是互联网中的门牌号，IP代理的作用就是将我们的爬虫程序伪装成不同的用户，这样就避免了对同一个用户访问频率的限制。在python中，通过urllib和requests这两个模块都实现IP代理。
1. urllib
代码如下
>>> proxy="http://119.8.44.244:8080">>> proxy_support=urllib.request.ProxyHandler({'http':proxy})
>>> opener = urllib.request.build_opener(proxy_support)
>>> urllib.request.install_opener(opener)
>>> r = urllib.request.urlopen('http://icanhazip.com')
>>> r.read()
b'119.8.44.244\n'
2. requests
代码如下
>>> import requests>>> proxies = {'http': 'http://119.8.44.244:8080'}
>>> r=requests.get("http://icanhazip.com", proxies=proxies)
>>> r.text
'119.8.44.244\n'
上述代码中的目标网站是一个检测IP的网站，当我们成功访问后，会显示对应的IP地址，从而帮助我们判断代理IP是否生效。
可以看到，相对于urllib，requests模块的代理IP使用起来更加简单。
在实际应用中，既有免费的代理IP,也有收费的代理IP。免费的代理IP需要我们从对应的网站上爬取IP列表，然后还需要自己检测代理IP的有效性，而通常情况下，免费的代理IP有效性都很低，所以更推荐使用收费的代理IP。
收费的代理IP会提供一个API借口，可以方便的嵌入程序中，通过API调用直接返回一系列可用的代理IP。
通过一个例子来看下代理IP的使用，代码如下
import requestsimport random
import threading
# 获取代理IP
def get_proxy():
ip_list = [
'http://197.231.196.44:42461',
'http://190.124.164.78:8080',
'http://87.117.169.23:48705',
]
return random.choice(ip_list)
# 下载单个网页
def getHtml(url, proxy):
retry_count = 5
while retry_count > 0:
try:
html = requests.get(url, proxies= {'http':proxy})
return html
except Exception:
retry_count -= 1
return None
# 每个线程的处理逻辑
def download_html(ko, semaphore, proxy):
semaphore.acquire()
url = 'https://www.genome.jp/dbget-bin/www_bget?ko:{}'.format(ko)
out = './{}.kgml'.format(ko)
r = getHtml(url, proxy)
if r:
print('{} download success!'.format(ko))
with open(out, 'w') as fp:
fp.write(r.text)
else:
print('{} download failed!'.format(ko))
semaphore.release()
if __name__ == '__main__':
ko_list = ['K{:05d}'.format(i) for i in range(1, 201)]
thread_list = []
semaphore = threading.BoundedSemaphore(100)
for cnt, ko in enumerate(ko_list):
if cnt % 10 == 0:
proxy = get_proxy()
p = threading.Thread(target = download_html, args = (ko, semaphore, proxy ))
p.start()
thread_list.append(p)
for thread in thread_list:
thread.join()
程序的作用是抓取KEGG Orthology的各个网页，通过多线程实现抓取，通过代理IP的使用，可以突破IP频率的限制。
需要注意，代理IP是有时效性的，代码中的IP是我在网上找到的免费代理IP, 当前测试是没问题的，但是过段时间代理IP失效之后，就没法成功运行了。
上述的代码只是用于启发式的思考，在实际使用中，用收费代理的API来实现get_proxy函数即可。
·end·
一个只分享干货的
生信公众号