在前面的课程中，随着对Android体系的了解，已经可以进行正常的Android应用开发了。在Android开发中，同其他工程开发一样，也经常使用一些提高效率的框架，本文我们做一个对比。这些框架，既包括：网络请求框架、也包括加载库框架、还包括数据库操作等一些框架，总之，了解和熟悉这些框架，会对自己的开发效率有很大的提升和帮助。

网络请求框架

1、okHttp

在前文的学习中，我们已经了解过okHttp，是一个常用的网络加载库。

2、Retrofit

介绍

Retrofit是一个很不错的网络请求库，该库是square开源的另外一个库，之前的okhttp也是该公司开源的。

Retrofit是基于OkHttp封装的RESTful网络请求框架，使用注解的方式配置请求。优点是速度快，使用注解，callback函数返回结果自动包装成Java对象。官方自己的介绍说：

A type-safe REST client for Android and Java

该网络框架在github上的地址如下：https://squaregithubio/retrofit/

要求

Retrofit支持的http方式方式包括 GET/POST/PUT/DELETE/HEAD/PATCH，Retrofit要求Java的版本是18+，Android应用的API版本应该在21+。

依赖

使用Retrofit库，和其他库一样，首先需要设置依赖，依然是在buildgradle文件中设置依赖：

//添加retrofit库依赖

implementation ‘comsquareupretrofit2:retrofit:210’

//添加gson转换器

implementation ‘comsquareupretrofit2:converter-gson:210’

使用

通过一个例子，我们可以来演示该框架的使用步骤：

1、定义请求接口，即程序中都需要什么请求操作

public interface HttpServices {

/

获取头条新闻

@param type 新闻类型

@param key apiKey

@return

/

@GET(“toutiao/index”)

Call getNewsList(@Query(“type”) String type, @Query(“key”) String key);

}

2、实例化Retrofit对象，使用的Builder的模式创建，如下代码所示：

Retrofit retrofit = new RetrofitBuilder()

baseUrl(ConstantsBASE_API)

addConverterFactory(GsonConverterFactorycreate())

build();

注意，这里设置结构体转换器，是可以直接把网络请求回来的数据转换为Java结构体，这里设置的Gson解析器，因此要引入相应的转换器支持库。

3、得到接口对象，自己创建的全局的接口对象，并调用相应的接口，得到一个类似于请求Call对象。如下所示：

HttpServices httpServices = retrofitcreate(HttpServicesclass);

Call newsListCall = httpServicesgetNewsList(“top”, ConstantsAPI_KEY);

4、加入到请求队列中，并设置回调方法：

newsListCallenqueue(new Callback() {

@Override

public void onResponse(Call call, Response response) {

//网络请求成功的回调方法

List list = ArraysasList(responsebody()resultdata);

Logi(“TAG”, “请求成功:” + StringvalueOf(listsize()));

NewListAdapter adapter = new NewListAdapter(RetrofitActivitythis);

adaptersetmData(list);

mRecyclerViewsetAdapter(adapter);

}

@Override

public void onFailure(Call call, Throwable throwable) {

//网络请求失败的回调方法

Logi(“TAG”, “请求失败:” + throwablegetMessage());

}

});

其他界面操作和之前的Android中的内容一致。

3、RxJava

简单来说，用来处理事件和异步任务，在很多语言上都有实现，RxJava是Rx在Java上的实现。

原理

RxJava最基本的原理是基于观察者模式来实现的。通过Obserable和Observer的机制，实现所谓响应式的编程体验。

特点

RxJava在编程中的实现就是一种链式调用，做了哪些操作，谁在前谁在后非常直观，逻辑清晰，代码维护起来非常轻松。

RxJava也是一个在github上的库，githubhttp://wwwxingkongmjcom/news/id/62html地址如下：https://githubcom/ReactiveX/RxJava

基于此，还有一个RxAndroid，github地址如下：https://githubcom/ReactiveX/RxAndroid

RxJava和RxAndroid的关系

RxAndroid是RxJava的一个针对Android平台的扩展，主要用于 Android 开发。

基本概念

RxJava 有四个基本概念：

Observable：可观察者，即被观察者Observer：观察者subscribe：订阅事件

这四个概念之间的逻辑关系是：Observable和Observer通过subscribe方法实现订阅关系，从而Observable可以在需要的时候发出事件来通知Observer。

事件

RxJava 的事件回调方法主要包含以下几个：

onNext：普通的事件onCompletedhttp://daduchangnet/432717html：事件队列完结。RxJava 不仅把每个事件单独处理，还会把它们看做一个队列。RxJava 规定，当不会再有新的 onNext 发出时，需要触发 onCompleted 方法作为标志。：事件队列异常。在事件处理过程中出异常时， 会被触发，同时队列自动终止，不再允许再有事件发出。在一个正确运行的事件序列中, onCompleted和 有且只有一个，并且是事件序列中的最后一个。需要注意的是，onCompleted() 和 () 二者也是互斥的，即在队列中调用了其中一个，就不应该再调用另一个。

数据库操作框架

在开发时，本地数据库可以起到缓存数据和存储业务数据的作用，随着技术的成熟，不断推出了有很多关于数据库的操作框架。比较常见的数据库操作框架有诸如：GreenDao，OrmLite 和 ActiveAndroid，DBFlow等。

GreenDAO

GreenDAO是一个开源的 Android ORM(“对象/关系映射”)，通过 ORM（称为“对象/关系映射”），在我们数据库开发过程中节省了开发时间！

GreenDao的官方文档地址如下：http://wwwxingkongmjcom/news/id/63html

GreenDao的作用

通过 GreenDao，我们可以更快速的操作数据库，我们可以使用简单的面相对象的API来存储，更新，删除和查询 Java 对象。这款数据库操作框架的特点是：

高性能，在官方的统计数据中，GreenDao在GreenDao，OrmLite 和 ActiveAndroid三个框架中，读、写、更新操作效率均表现第一。易于使用的强大 API，涵盖关系和连接。内存消耗较小。安全：greenDAO 支持 SQLCipherhttp://wwwxingkongmjcom/news/id/64html，以确保用户的数据安全;

核心概念

GreenDao 的核心类有三个：分别是：

DaoMaster：保存数据库对象（SQLiteDatabase）并管理特定模式的 DAO 类（而不是对象）。它有静态方法来创建表或删除它们。它的内部类 OpenHelper 和DevOpenHelper 是 SQLiteOpenHelper 实现，它们在 SQLite 数据库中创建模式。DaoSession：管理特定模式的所有可用 DAO 对象，您可以使用其中一个getter方法获取该对象。DaoSession 还提供了一些通用的持久性方法，如实体的插入，加载，更新，刷新和删除。XXXDao：数据访问对象（DAO）持久存在并查询实体。对于每个实体，greenDAO 生成DAO。它具有比 DaoSession 更多的持久性方法。Entities：可持久化对象。通常, 实体对象代表一个数据库行使用标准 Java 属性(如一个POJO 或 JavaBean )。

使用

按照官方的文档和github上的说明可以实现greendao的使用。

首先进行的是依赖，对于greenDao，有两个地方需要设置，分别是项目根目录中的 buildgradle，还有module中的buildgradle。

classpath ‘orggreenrobot:greendao-gradle-plugin:330’ // add plugin

在项目根目录中的buildgradle目录中写这句话的意思是添加greenDao的插件。

在项目module中的buildgradle中也需要进行配置，有两个地方需要设置，如下图所示：

apply plugin: ‘orggreenrobotgreendaohttp://wwwxingkongmjcom/news/id/66html’ //开头加入该代码

dependences{

implementation ‘orggreenrobot:greendao:320’

}

然后就可以使用了。

bean实体

可以在项目中创建自己业务需要的实体类，并通过注解来设置是实体类，字段约束等内容。然后点击Android Studio中的Make module，即可自动生成XXXDao代码，以此来方便开发者的操作。生成的XXXDao类，不可修改和编辑，是自动生成的。

ORMLite

ORMLite框架是另外一款Android开发中可以使用的数据库操作框架。该框架的文档地址如下：https://ormlitecom/sqlite_java_android_ormshtml

该框架的文档准备的不是特别友好，此处不再赘述。

总结，所有的框架原理几乎都相差不大，只是操作有所差异。

视图注入框架

在Android项目开发过程中，有太多的页面需要布局完成，同时在代码中需要些大量的findviewbyid的操作，来实现控件的解析。于是就有人想能否轻松一些，解放双手节省时间，干一些其他有意义的事情，于是ButterKnife就来了。

ButterKnife是一个专注于Android系统的View注入框架,可以减少大量的findViewById以及setOnClickListener代码，可视化一键生成。

该项目在github上的地址如下：http://wwwxingkongmjcom/news/id/65html

这个框架的优势也非常明显：

强大的View绑定和Click事件处理功能，简化代码，提升开发效率方便的处理Adapter里的ViewHolder绑定问题运行时不会影响APP效率，使用配置方便代码清晰，可读性强

使用

首先是设置依赖，在buildgradlehttp://daduchangnet/432714html中进行依赖设置：

implementation ‘comjakewharton:butterknife:1021’

annotationProcessor ‘comjakewharton:butterknife-compiler:1021’

需要注意，该框架要求Java环境18版本以上，SDK版本在26以上，因此在使用到的module中的buildgraldle文件中，还必须添加如下代码配置：

apply plugin: ‘comjakewhartonbutterknife’

android{

//…

compileOptions {

sourceCompatibility JavaVersionVERSION_1_8

targetCompatibility JavaVersionVERSION_1_8

}

//…

}

另外，还必须在项目根目录中的buildgradle文件中，添加该框架的插件，如下图所示：

dependences{

classpath ‘comjakewharton:butterknife-gradle-plugin:1021’

}

然后即可在代码中进行使用了。

在使用该框架的页面进行绑定诸如，如下所示代码:

ButterKnifebind( this) ;

主要的功能

@BindView（）：控件id 注解，解放双手，不用再每个控件都写一遍findviewById@BindViews（）:多个控件id 的注解，括号内使用花括号包括多个id即可，中间用，分割开在Fragment中使用，绑定Fragment。@BindString（）：绑定字符串@BindArray：绑定数组@BindBitmap：绑定bitmap资源@OnClick、@OnLongClick：绑定点击事件和长按事件…还有很多

插件安装

如果是页面很复杂，一个一个写BindView也很费劲，在Android Studio中，可以安装一个ButterKnife的插件，安装该插件后，可以在Studio中直接将对应的布局中的所有控件均给自动生成。

注意，在进行自动生成时，鼠标要放在布局文件上。

注意事项

ButterKnife框架在使用时，要求的版本比较高，包括Java的版本也有限制。因此，如果计划在项目中使用，要提前做好预备工作，以防止对已有项目和业务带来不必要的麻烦，反而影响工作进度。

首先爬虫框架有三种

分布式爬虫：Nutch

JAVA单机爬虫：Crawler4j，WebMagic，WebCollector

非JAVA单机爬虫：scrapy

第一类:分布式爬虫优点：

海量URL管理

网速快

缺点：

Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。

用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非。

Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫。

Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。

Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”(parser)这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text)

用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题(hadoop的问题、hbase的问题)。

Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch221，但是这个版本绑定了gora-03。Nutch23之前、Nutch221之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。

第二类:JAVA单机爬虫优点：

支持多线程。

支持代理。

能过滤重复URL的。

负责遍历网站和下载页面。爬js生成的信息和网页信息抽取模块有关，往往需要通过模拟浏览器(htmlunit,selenium)来完成。

缺点：设计模式对软件开发没有指导性作用。用设计模式来设计爬虫，只会使得爬虫的设计更加臃肿。第三类:非JAVA单机爬虫优点：

先说python爬虫，python可以用30行代码，完成JAVA

50行代码干的任务。python写代码的确快，但是在调试代码的阶段，python代码的调试往往会耗费远远多于编码阶段省下的时间。

使用python开发，要保证程序的正确性和稳定性，就需要写更多的测试模块。当然如果爬取规模不大、爬取业务不复杂，使用scrapy这种爬虫也是蛮不错的，可以轻松完成爬取任务。

缺点：

bug较多，不稳定。

爬虫可以爬取ajax信息么？

网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器（问题1中描述过了），或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。如果是自己生成ajax请求，使用开源爬虫的意义在哪里？其实是要用开源爬虫的线程池和URL管理功能（比如断点爬取）。

如果我已经可以生成我所需要的ajax请求（列表），如何用这些爬虫来对这些请求进行爬取？

爬虫往往都是设计成广度遍历或者深度遍历的模式，去遍历静态或者动态页面。爬取ajax信息属于deepweb（深网）的范畴，虽然大多数爬虫都不直接支持。但是也可以通过一些方法来完成。比如WebCollector使用广度遍历来遍历网站。爬虫的第一轮爬取就是爬取种子集合(seeds)中的所有url。简单来说，就是将生成的ajax请求作为种子，放入爬虫。用爬虫对这些种子，进行深度为1的广度遍历（默认就是广度遍历）。

爬虫怎么爬取要登陆的网站？

这些开源爬虫都支持在爬取时指定cookies，模拟登陆主要是靠cookies。至于cookies怎么获取，不是爬虫管的事情。你可以手动获取、用http请求模拟登陆或者用模拟浏览器自动登陆获取cookie。

爬虫怎么抽取网页的信息？

开源爬虫一般都会集成网页抽取工具。主要支持两种规范：CSSSELECTOR和XPATH。

网页可以调用爬虫么？

爬虫的调用是在Web的服务端调用的，平时怎么用就怎么用，这些爬虫都可以使用。

爬虫速度怎么样？

单机开源爬虫的速度，基本都可以讲本机的网速用到极限。爬虫的速度慢，往往是因为用户把线程数开少了、网速慢，或者在数据持久化时，和数据库的交互速度慢。而这些东西，往往都是用户的机器和二次开发的代码决定的。这些开源爬虫的速度，都很可以。