首页Python+大数据技术文章正文

Pyspider和Scrapy有什么区别？

更新时间:2020年09月29日11时13分来源:传智播客浏览次数:

说到Python中的开源爬虫框架，Scrapy是最先被大家提及的，这是一个相对成熟的框架，有着丰富的文档和开放的社区交流空间。相对于Scrapy来说，PySpider算是一个新秀，但是不容小觑。下面说一下PySpider的具体特性：

1)Python脚本控制，可以用任何你喜欢的html解析包(内置pyquery)。

2)Web界面编写调试脚本、起停脚本、监控执行状态、查看活动历史、获取结果产出。

3)支持MySQL、MongoDB、Redis、SQLite等数据库。

4)支持抓取JavaScript的页面。

5)组件可替换，支持单机/分布式部署，支持Docker部署。

6)强大的调度控制。

7)支持RabbitMQ、Beanstalk、Redis和Kombu作为消息队列。

Pyspider和Scrapy有什么区别？

从内容上来说，两者具有的功能差不多，但还是有一些不同：

·原生的Scrapy并不支持js渲染，需要单独下载scrapy-splash进行配置，而PySpider则支持phantomjs第三方渲染。 ·PySpider内置pyquery选择器，Scrapy有XPath和CSS选择器。

·Scrapy全部采用命令行操作，PySpider有较好的WebUI，更加直观。

·PySpider易于调试，Scrapy调试方式稍显复杂，并不直观。

·Scrapy扩展性更强，可以自定义功能，PySpider这方面稍显不足。

以上两种框架各有各的风格，总体来说PySpider使用更加简单，可以快速上手，适合工程化生产爬虫，而Scrapy适合用来进行二次开发，根据项目需求进行自定义拓展。

猜你喜欢：

最新资讯