python爬虫框架有哪些

python爬虫框架有哪些

1、Django

Django是一个开源的Web应用框架，由Python写成，支持许多数据库引擎，可以让Web开发变得迅速和可扩展，并会不断的版本更新以匹配Python最新版本，如果是新手程序员，可以从这个框架入手。

2、CherryPy

CherryPy是一种用于Python的、简单而非常有用的Web框架，其主要作用是以尽可能少的操作将Web服务器与Python代码连接，其功能包括内置的分析功能、灵活的插件系统以及一次运行多个HTTP服务器的功能，可与运行在最新版本的Python、Jython、Android上。

3、Web2py

web2py是一个为Python语言提供的全功能Web应用框架，旨在敏捷快速的开发Web应用，具有快速、安全以及可移植的数据库驱动的应用，兼容GoogleAppEngine。

4、TurboGears

TurboGears可以快速实现Web应用程序开发，富含丰富的特殊性能，可以解决更多的框架领域问题，从简单到复杂的项目都可以开发，并具有实时的多数据库支持和灵活的ORM，简单的文档和最小的设置使它成为一个理想的使用框架。

5、Pylons

Pylons是一个开源的Web应用框架，使用Python语言编写，它对WSGI标准进行了扩展应用，提升了重用性且将功能分割到独立的模块中，而且提供了在线调试器，易于错误跟踪！

6、Grab

Grab是一个用于构建Web刮板的Python框架。借助Grab，您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。Grab提供一个API用于执行网络请求和处理接收到的内容，例如与HTML文档的DOM树进行交互。

7、BeautifulSoup

BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式.BeautifulSoup会帮你节省数小时甚至数天的工作时间。

8、Cola

Cola是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。