开发网络爬虫应该选择 Nutch、Crawler4j、WebMagic、scrapy、WebCollector 还是其他的?这里按照我的经验随便扯淡一下:上面说的爬虫,基本可以分 3 类

本贴最后更新于 2486 天前,其中的信息可能已经时移世异

1.分布式爬虫:Nutch

2.Java 单机爬虫:Crawler4j、WebMagic、WebCollector

3. 非 JAVA 单机爬虫:scrapy

第一类:分布式爬虫

爬虫使用分布式,主要是解决两个问题:

1)海量 URL 管理

2)网速

现在比较流行的分布式爬虫,是 Apache 的 Nutch。但是对于大多数用户来说,Nutch 是这几类爬虫里,最不好的选择,理由如下:

1)Nutch 是为搜索引擎设计的爬虫,大多数用户是需要一个做精准数据爬取(精抽取)的爬虫。Nutch 运行的一套流程里,有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。也就是说,用 Nutch 做数据抽取,会浪费很多的时间在不必要的计算上。而且如果你试图通过对 Nutch 进行二次开发,来使得它适用于精抽取的业务,基本上就要破坏 Nutch 的框架,把 Nutch 改的面目全非,有修改 Nutch 的能力,真的不如自己重新写一个分布式爬虫框架了。

2)Nutch 依赖 Hadoop 运行,hadoop 本身会消耗很多的时间。如果集群机器数量较少,爬取速度反而不如单机爬虫快。

3)Nutch 虽然有一套插件机制,而且作为亮点宣传。可以看到一些开源的 Nutch 插件,提供精抽取的功能。但是开发过 Nutch 插件的人都知道,Nutch 的插件系统有多蹩脚。利用反射的机制来加载和调用插件,使得程序的编写和调试都变得异常困难,更别说在上面开发一套复杂的精抽取系统了。而且 Nutch 并没有为精抽取提供相应的插件挂载点。Nutch 的插件有只有五六个挂载点,而这五六个挂载点都是为了搜索引擎服务的,并没有为精抽取提供挂载点。大多数 Nutch 的精抽取插件,都是挂载在“页面解析”(parser)这个挂载点的,这个挂载点其实是为了解析链接(为后续爬取提供 URL),以及为搜索引擎提供一些易抽取的网页信息(网页的 meta 信息、text 文本)。

4)用 Nutch 进行爬虫的二次开发,爬虫的编写和调试所需的时间,往往是单机爬虫所需的十倍时间不止。了解 Nutch 源码的学习成本很高,何况是要让一个团队的人都读懂 Nutch 源码。调试过程中会出现除程序本身之外的各种问题(hadoop 的问题、Hbase 的问题)。

5)很多人说 Nutch2 有 gora,可以持久化数据到 avro 文件、hbase、MySQL 等。很多人其实理解错了,这里说的持久化数据,是指将 URL 信息(URL 管理所需要的数据)存放到 avro、hbase、mysql。并不是你要抽取的结构化数据。其实对大多数人来说,URL 信息存在哪里无所谓。

6)Nutch2 的版本目前并不适合开发。官方现在稳定的 Nutch 版本是 nutch2.2.1,但是这个版本绑定了 gora-0.3。如果想用 hbase 配合 nutch(大多数人用 nutch2 就是为了用 hbase),只能使用 0.90 版本左右的 hbase,相应的就要将 hadoop 版本降到 hadoop 0.2 左右。而且 nutch2 的官方教程比较有误导作用,Nutch2 的教程有两个,分别是 Nutch1.x 和 Nutch2.x,这个 Nutch2.x 官网上写的是可以支持到 hbase 0.94。但是实际上,这个 Nutch2.x 的意思是 Nutch2.3 之前、Nutch2.2.1 之后的一个版本,这个版本在官方的 SVN 中不断更新。而且非常不稳定(一直在修改)。

所以,如果你不是要做搜索引擎,尽量不要选择 Nutch 作为爬虫。有些团队就喜欢跟风,非要选择 Nutch 来开发精抽取的爬虫,其实是冲着 Nutch 的名气(Nutch 作者是 Doug Cutting),当然最后的结果往往是项目延期完成。

如果你是要做搜索引擎,Nutch1.x 是一个非常好的选择。Nutch1.x 和 solr 或者 es 配合,就可以构成一套非常强大的搜索引擎了。如果非要用 Nutch2 的话,建议等到 Nutch2.3 发布再看。目前的 Nutch2 是一个非常不稳定的版本。

第二类:JAVA 单机爬虫

这里把 JAVA 爬虫单独分为一类,是因为 JAVA 在网络爬虫这块的生态圈是非常完善的。相关的资料也是最全的。这里可能有争议,我只是随便扯淡。

其实开源网络爬虫(框架)的开发非常简单,难问题和复杂的问题都被以前的人解决了(比如 DOM 树解析和定位、字符集检测、海量 URL 去重),可以说是毫无技术含量。包括 Nutch,其实 Nutch 的技术难点是开发 hadoop,本身代码非常简单。网络爬虫从某种意义来说,类似遍历本机的文件,查找文件中的信息。没有任何难度可言。之所以选择开源爬虫框架,就是为了省事。比如爬虫的 URL 管理、线程池之类的模块,谁都能做,但是要做稳定也是需要一段时间的调试和修改的。

对于爬虫的功能来说。用户比较关心的问题往往是:

1)爬虫支持多线程么、爬虫能用代理么、爬虫会爬取重复数据么、爬虫能爬取 JS 生成的信息么?

不支持多线程、不支持代理、不能过滤重复 URL 的,那都不叫开源爬虫,那叫循环执行 http 请求。

能不能爬 js 生成的信息和爬虫本身没有太大关系。爬虫主要是负责遍历网站和下载页面。爬 js 生成的信息和网页信息抽取模块有关,往往需要通过模拟浏览器(htmlunit,selenium)来完成。这些模拟浏览器,往往需要耗费很多的时间来处理一个页面。所以一种策略就是,使用这些爬虫来遍历网站,遇到需要解析的页面,就将网页的相关信息提交给模拟浏览器,来完成 JS 生成信息的抽取。

2)爬虫可以爬取 ajax 信息么?

网页上有一些异步加载的数据,爬取这些数据有两种方法:使用模拟浏览器(问题 1 中描述过了),或者分析 ajax 的 http 请求,自己生成 ajax 请求的 url,获取返回的数据。如果是自己生成 ajax 请求,使用开源爬虫的意义在哪里?其实是要用开源爬虫的线程池和 URL 管理功能(比如断点爬取)。

如果我已经可以生成我所需要的 ajax 请求(列表),如何用这些爬虫来对这些请求进行爬取?

爬虫往往都是设计成广度遍历或者深度遍历的模式,去遍历静态或者动态页面。爬取 ajax 信息属于 deep web(深网)的范畴,虽然大多数爬虫都不直接支持。但是也可以通过一些方法来完成。比如 WebCollector 使用广度遍历来遍历网站。爬虫的第一轮爬取就是爬取种子集合(seeds)中的所有 url。简单来说,就是将生成的 ajax 请求作为种子,放入爬虫。用爬虫对这些种子,进行深度为 1 的广度遍历(默认就是广度遍历)。

3)爬虫怎么爬取要登陆的网站?

这些开源爬虫都支持在爬取时指定 cookies,模拟登陆主要是靠 cookies。至于 cookies 怎么获取,不是爬虫管的事情。你可以手动获取、用 http 请求模拟登陆或者用模拟浏览器自动登陆获取 cookie。

4)爬虫怎么抽取网页的信息?

开源爬虫一般都会集成网页抽取工具。主要支持两种规范:CSS SELECTOR 和 XPATH。至于哪个好,这里不评价。

5)爬虫怎么保存网页的信息?

有一些爬虫,自带一个模块负责持久化。比如 webmagic,有一个模块叫 pipeline。通过简单地配置,可以将爬虫抽取到的信息,持久化到文件、数据库等。还有一些爬虫,并没有直接给用户提供数据持久化的模块。比如 crawler4j 和 webcollector。让用户自己在网页处理模块中添加提交数据库的操作。至于使用 pipeline 这种模块好不好,就和操作数据库使用 ORM 好不好这个问题类似,取决于你的业务。

6)爬虫被网站封了怎么办?

爬虫被网站封了,一般用多代理(随机代理)就可以解决。但是这些开源爬虫一般没有直接支持随机代理的切换。所以用户往往都需要自己将获取的代理,放到一个全局数组中,自己写一个代理随机获取(从数组中)的代码。

7)网页可以调用爬虫么?

爬虫的调用是在 Web 的服务端调用的,平时怎么用就怎么用,这些爬虫都可以使用。

8)爬虫速度怎么样?

单机开源爬虫的速度,基本都可以讲本机的网速用到极限。爬虫的速度慢,往往是因为用户把线程数开少了、网速慢,或者在数据持久化时,和数据库的交互速度慢。而这些东西,往往都是用户的机器和二次开发的代码决定的。这些开源爬虫的速度,都很可以。

9)明明代码写对了,爬不到数据,是不是爬虫有问题,换个爬虫能解决么?

如果代码写对了,又爬不到数据,换其他爬虫也是一样爬不到。遇到这种情况,要么是网站把你封了,要么是你爬的数据是 JavaScript 生成的。爬不到数据通过换爬虫是不能解决的。

10)哪个爬虫可以判断网站是否爬完、那个爬虫可以根据主题进行爬取?

爬虫无法判断网站是否爬完,只能尽可能覆盖。

至于根据主题爬取,爬虫之后把内容爬下来才知道是什么主题。所以一般都是整个爬下来,然后再去筛选内容。如果嫌爬的太泛,可以通过限制 URL 正则等方式,来缩小一下范围。

11)哪个爬虫的设计模式和构架比较好?

设计模式纯属扯淡。说软件设计模式好的,都是软件开发完,然后总结出几个设计模式。设计模式对软件开发没有指导性作用。用设计模式来设计爬虫,只会使得爬虫的设计更加臃肿。

至于构架,开源爬虫目前主要是细节的数据结构的设计,比如爬取线程池、任务队列,这些大家都能控制好。爬虫的业务太简单,谈不上什么构架。

所以对于 JAVA 开源爬虫,我觉得,随便找一个用的顺手的就可以。如果业务复杂,拿哪个爬虫来,都是要经过复杂的二次开发,才可以满足需求。

第三类:非 JAVA 单机爬虫

在非 JAVA 语言编写的爬虫中,有很多优秀的爬虫。这里单独提取出来作为一类,并不是针对爬虫本身的质量进行讨论,而是针对 larbin、scrapy 这类爬虫,对开发成本的影响。

先说 Python 爬虫,python 可以用 30 行代码,完成 Java 50 行代码干的任务。python 写代码的确快,但是在调试代码的阶段,python 代码的调试往往会耗费远远多于编码阶段省下的时间。使用 python 开发,要保证程序的正确性和稳定性,就需要写更多的测试模块。当然如果爬取规模不大、爬取业务不复杂,使用 scrapy 这种爬虫也是蛮不错的,可以轻松完成爬取任务。

对于 C++ 爬虫来说,学习成本会比较大。而且不能只计算一个人的学习成本,如果软件需要团队开发或者交接,那就是很多人的学习成本了。软件的调试也不是那么容易。

还有一些 ruby、PHP 的爬虫,这里不多评价。的确有一些非常小型的数据采集任务,用 ruby 或者 php 很方便。但是选择这些语言的开源爬虫,一方面要调研一下相关的生态圈,还有就是,这些开源爬虫可能会出一些你搜不到的 BUG(用的人少、资料也少)

  • 爬虫

    网络爬虫(Spider、Crawler),是一种按照一定的规则,自动地抓取万维网信息的程序。

    106 引用 • 275 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...