scrapy中如何实现的记录爬虫的深度?

scrapy中如何实现的记录爬虫的深度?

请先 登录 后评论

1 个回答

李奡 | 奈学教育 - 奈学教育 | 讲师
擅长:大数据
'DepthMiddleware'是一个用于追踪每个Request在被爬取的网站的深度的中间件。 
其可以用来限制爬取深度的最大深度或类似的事情。
'DepthMiddleware'可以通过下列设置进行配置(更多内容请参考设置文档):

'DEPTH_LIMIT':爬取所允许的最大深度,如果为0,则没有限制。
'DEPTH_STATS':是否收集爬取状态。
'DEPTH_PRIORITY':是否根据其深度对requet安排优先
请先 登录 后评论