河北邢台地震_京东alexa排名_遂宁网页设计公司_网页设计公司山东济南兴田德润电话

class ImgcrawlingDownloaderMiddleware:# UA池user_agent_list = ["Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:22.0) Gecko/20130328 Firefox/22.0","Opera/9.80 (Windows NT 6.1; U; fi) Presto/2.7.62 Version/11.00","Mozilla/5.0 (X11; CrOS i686 3912.101.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36"]# http类型的IP代理池PROXY_http = ['192.168.12.5','10.25.2.40','10.24.5.66']# https类型的IP代理池PROXY_https = ['192.168.12.5','10.25.2.40','10.24.5.66']@classmethoddef from_crawler(cls, crawler):# This method is used by Scrapy to create your spiders.s = cls()crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)return s# 拦截请求的方法def process_request(self, request, spider):# 获得拦截到的请求对象的请求头信息# 对请求头进行修改# random.choice(self.user_agent_list) 随机获得列表中的一个元素request.headers['User-Agent'] = random.choice(self.user_agent_list)return None# 拦截所有响应的方法def process_response(self, request, response, spider):return response# 拦截发生异常请求的方法def process_exception(self, request, exception, spider):# 先判断请求的URL类型# 当请求数据发生异常时# 设置代理IPif request.url.split(':') == 'http':# 如果请求URL为http类，就随机将http池的一个IP赋值给# 请求 对象request 的 meta字典 的 proxy键 中request.meta['proxy'] = 'http://' + random.choice(self.PROXY_http)else:request.meta['proxy'] = 'https://' + random.choice(self.PROXY_https)# 将修改了代理IP的请求对象返回，重新进行请求发送return requestdef spider_opened(self, spider):spider.logger.info("Spider opened: %s" % spider.name) 中国人民银行官网新泰程序开发大连教育培训网站建设江门网站建设哪家快爱站网是干嘛的代理网店怎么开中国企业排名前十简约创意logo图片大全手机制作视频用哪个软件好天津装修公司电话动态网页的扩展名自建网站要多少钱郑州疫情到底有多严重服务器搭建网站软件我的营业执照网上查询宁波网络推广有哪些作品集如何制作出售app软件的平台织梦模板如何安装深圳十大穷人区模板设计图深圳的互联网公司上海做网站的价格中国空间站结构示意图广告设计适合什么人学德国室内设计网站对ui设计的理解和认识最实用的仓库管理系统服务器价格购买价格表中国建设银行个人网上银行官网网页小游戏在线玩儿

猜你喜欢

• 免费软件怎么盈利_web前端开发工程师的工作内容
• 广州有什么好玩的东西_北京做网站建设的公司有哪些
• 北京王府井美食_郑州仿站定制模板建站
• 人工智能的网站_小程序免费制作平台真正免费可以导出源码