簡單實現(xiàn)ip代理，為了不賣廣告，
請自行準備一個ip代理的平臺
例如我用的這個平臺,每次提取10個ip
從上面可以看到數(shù)據(jù)格式是文本，換行是\r\n，訪問鏈接之后大概就是長這樣的,scrapy里面的ip需要加上前綴http://
例如:http://117.95.41.21:34854
OK，那現(xiàn)在已經(jīng)準備好了ip了，先給你們屢一下思路。
ip池和計數(shù)器放在setting文件
第一次請求的時候要填滿ip池,所以在爬蟲文件的start_requests函數(shù)下手
更換ip的地方是middlewares的下載器中間件類的process_request函數(shù),因為每個請求發(fā)起前都會經(jīng)過這個函數(shù)
首先是setting文件,其實就是加兩句代碼
count = {'count': 0}
ipPool = []
還有就是開啟下載器中間件,注意是下面那個download的類,中間件的process_request函數(shù)的時候才能生效
下載器中間件的process_request函數(shù),進行ip代理和固定次數(shù)更還ip代理池
# 記得導包
from 你的項目.settings import ipPool, count
import random
import requests
def process_request(self, request, spider):
# 隨機選中一個ip
ip = random.choice(ipPool)
print('當前ip', ip, '-----', count['count'])
# 更換request的ip----------這句是重點
request.meta['proxy'] = ip
# 如果循環(huán)大于某個值,就清理ip池,更換ip的內(nèi)容
if count['count'] > 50:
print('-------------切換ip------------------')
count['count'] = 0
ipPool.clear()
ips = requests.get('你的ip獲取的地址')
for ip in ips.text.split('\r\n'):
ipPool.append('http://' + ip)
# 每次訪問,計數(shù)器+1
count['count'] += 1
return None
最后就是爬蟲文件的start_requests函數(shù),就是第一次發(fā)請求前要先填滿ip池的ip
# 記得導包
from 你的項目.settings import ipPool
import random
import requests
def start_requests(self):
# 第一次請求發(fā)起前先填充一下ip池
ips = requests.get('你的ip獲取的地址')
for ip in ips.text.split('\r\n'):
ipPool.append('http://' + ip)
簡單的ip代理以及固定次數(shù)就更換ip池就完成了
到此這篇關于超簡單的scrapy實現(xiàn)ip動態(tài)代理與更換ip的方法實現(xiàn)的文章就介紹到這了,更多相關scrapy ip動態(tài)代理與更換ip內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- 詳解基于Scrapy的IP代理池搭建
- 使用scrapy ImagesPipeline爬取圖片資源的示例代碼
- Scrapy 配置動態(tài)代理IP的實現(xiàn)
- python3 Scrapy爬蟲框架ip代理配置的方法
- Python：Scrapy框架中Item Pipeline組件使用詳解
- scrapy自定義pipeline類實現(xiàn)將采集數(shù)據(jù)保存到mongodb的方法
