scrapy-redis组件的作用?

scrapy-redis组件的作用?

请先 登录 后评论

1 个回答

李奡 | 奈学教育 - 奈学教育 | 讲师
擅长:大数据

实现了分布式爬虫,url去重、调度器、数据持久化
'scheduler'调度器
'dupefilter'URL去重规则(被调度器使用)
'pipeline'数据持久化

请先 登录 后评论