地址:Earth
一个简单灵活的Java爬虫框架,可以快速开发出一个高效、易维护的爬虫。
- 简单的API,可快速上手
- 模块化的结构,可轻松扩展
- 提供多线程和分布式支持
简单的实现,就能把整站妹子图下载到本地!
简单来说,你只需要实现Processor接口,开发目标页面的页面提取规则以及后续抓取种子的获取规则即可。
public class MzituProcessor implements Processor {
@Override
public void process(Response response) {
Document document = response.getDocument();
//获取下一个种子地址
document.getElementsByClass("pagenavi-cm").first().getElementsByTag("a").forEach(a -> {
if (Objects.nonNull(a) && a.text().contains("下一页")) {
String nextPage = a.attr("href");
response.getResultField().getRequests().add(new Request(nextPage));
}
});
/**
* 图片地址提取规则
*/
Map<String, String> images = Maps.newHashMap();
document.getElementsByClass("lazy").forEach(element -> {
String img = element.attr("data-original");
images.put(System.currentTimeMillis() "", img);
});
response.getResultField().getFields().put(FieldEnum.BYTE, images);
}
@Override
public String name() {
return "Mzitu";
}
public static void main(String[] args) {
Earth.me(new MzituProcessor())
.addUrl("https://www.mzitu.com/zipai/")
.setPipelines(new SaveFilePipeline())//保存到本地管道
.addEvent(request -> Objects.nonNull(request), request -> System.out.println("请求体:" JSONObject.toJSONString(request)))//打印请求到控制台 可省略
.start();
}
}
BaseComponent component = EventConfig.create(new MzituProcessor())
.addUrl("https://www.mzitu.com/zipai/")
.setPipelines(new SaveFilePipeline())
.addEvent(request -> Objects.nonNull(request), request -> System.out.println("请求体:" JSONObject.toJSONString(request)))
.thread(10);
Earth.asyn(component);
开发的初衷也是为了了解和学习分布式爬虫框架的实现以及思想,刚开始入门爬虫使用Scrapy,初学懵懂无知,并不去深究实现与思想,单纯为了爬妹子图而学习。
但是在工作中用了一年的抓取,平时也是使用各种类库,重复搬砖劳动,萌发了了解常用爬虫架构的实现以及思想。在码云中搜索,翻阅了几遍非常优秀框架之一webmagic的源码后,打算自己开发一个,当然。。。仅仅是一个能运行的架子,很多扩展还需要后期慢慢扩展。
(这里webmagic也是参考了业界最优秀的爬虫Scrapy )作者文档有说
http://webmagic.io/docs/zh/posts/ch1-overview/thinking.html
同时还阅读了biezhi大佬的爬虫框架elves。结合了两者后产生的一个畸形产物。。。
这里也是借鉴了webmagic的那句话
Earth是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
(架构参考的WebMagic,以下为WebMagic的资料)
WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件,并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scapy,但是实现方式更Java化一些。
而Spider则将这几个组件组织起来,让它们可以互相交互,流程化的执行,可以认为Spider是一个大的容器,它也是WebMagic逻辑的核心。
WebMagic总体架构图如下:
Earth的四个组件
Downloader负责从互联网上下载页面,以便后续处理。Earth默认使用了okhttp3作为下载工具。
Processor负责解析页面,抽取有用信息,以及发现新的链接。目前只支持Document
在这四个组件中,Processor对于每个站点每个页面都不一样,是需要使用者定制的部分。
Scheduler负责管理待抓取的URL,以及一些去重的工作。Earth默认提供了JDK的内存队列来管理URL,并用集合来进行去重。也支持使用Redis进行分布式管理。
除非项目有一些特殊的分布式需求,否则无需自己定制Scheduler。
Pipeline负责抽取结果的处理,包括计算、持久化到文件、数据库等。Earth默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。
Pipeline定义了结果保存的方式,如果你要保存到指定数据库,则需要编写对应的Pipeline。对于一类需求一般只需编写一个Pipeline。
用于数据流转的对象
Request是对URL地址的一层封装,一个Request对应一个URL地址。
它是Processor与Downloader交互的载体,也是Processor控制Downloader唯一方式。
除了URL本身外,它还包含一个Key-Value结构的字段extra。你可以在extra中保存一些特殊的属性,然后在其他地方读取,以完成不同的功能。例如附加上一个页面的一些信息等。
Page代表了从Downloader下载到的一个页面——可能是HTML,也可能是JSON或者其他文本格式的内容。
Page是WebMagic抽取过程的核心对象,它提供一些方法可供抽取、结果保存等。在第四章的例子中,我们会详细介绍它的使用。
ResultItems相当于一个Map,它保存Processor处理的结果,供Pipeline使用。它的API与Map很类似,值得注意的是它有一个字段skip,若设置为true,则不应被Pipeline处理。
Wandering是Earth内部流程的核心。Downloader、Processor、Scheduler、Pipeline都是Wandering的一个属性,这些属性是可以自由设置的,通过设置这个属性可以实现不同的功能。Wandering也是Earth操作的入口,它封装了爬虫的创建、启动、停止、多线程等功能。下面是一个设置各个组件,并且设置多线程和启动的例子。
public static void main(String[] args) {
Earth.me(new MzituProcessor())
.addUrl("https://www.mzitu.com/zipai/")
.setPipelines(new SaveFilePipeline())
.addEvent(request -> Objects.nonNull(request), request -> System.out.println("请求体:" JSONObject.toJSONString(request)))
.thread(10)
.start();
}
上面介绍了很多组件,但是其实使用者需要关心的没有那么多,因为大部分模块Earth已经提供了默认实现。
一般来说,对于编写一个爬虫,Processor是需要编写的部分,而Spider则是创建和控制爬虫的入口。在第四章中,我们会介绍如何通过定制Processor来编写一个爬虫,并通过Spider来启动。