scrapy下载中间件(middlewares)的使用

class RandomUserAgent(object):
    '''设置随机请求头'''
    def process_request(self,request,spider):
        useragent = random.choice(USER_AGENTs)
        request.headers['User-Agent'] = useragent


class ProxyMiddleware(object):
    '''设置代理'''
    def process_request(self,request,spider):
        # 添加代理，须在request的meta信息中添加proxy字段
        # 格式：协议+ip地址+端口
        request.meta['proxy'] = 'http://...  '