一款基于RxJava2+Retrofit2实现简单易用的网络请求框架

简介: 本库是一款基于RxJava2+Retrofit2实现简单易用的网络请求框架,结合android平台特性的网络封装库,采用api链式调用一点到底,集成cookie管理,多种缓存模式,极简https配置,上传下载进度显示,请求错误自动重试,请求携带token、时间戳、签名sign动态配置,自动登录成功后请求重发功能,3种层次的参数设置默认全局局部,默认标准ApiResult同时可以支持自定义的数据结构,已经能满足现在的大部分网络请求。

本库是一款基于RxJava2+Retrofit2实现简单易用的网络请求框架,结合android平台特性的网络封装库,采用api链式调用一点到底,集成cookie管理,多种缓存模式,极简https配置,上传下载进度显示,请求错误自动重试,请求携带token、时间戳、签名sign动态配置,自动登录成功后请求重发功能,3种层次的参数设置默认全局局部,默认标准ApiResult同时可以支持自定义的数据结构,已经能满足现在的大部分网络请求。
注:Retrofit和Rxjava是当下非常火爆的开源框架,均来自神一般的公司。本库就不介绍Retrofit和Rxjava2的用法。

为什么会封装此库?

网上好的开源网络库像Volley、async-http、okhttp、retrofit等都非常强大,但是实际应用中我们不会直接去使用,一般都会根据自己的业务再封装一层,这样更方便快捷,又能统一处理业务共性的东西例如:统一的数据结构(code、msg、data)、token处理、网络异常等情况。在使用retrofit来请求网络的时候,项目的需求越来越多,api也随之越来越多,一个普通的应用api一般也在100+左右。如果把这些api放在一个ApiService内会很臃肿,不利于查看api.如果采用模块的方式对api进行分类,每个模块对应若干个api.以retrofit的使用方式又需要创建若干个ApiService,这种方式维护方便,但是模块增多了,类也增多了很多。对于懒人来说就想通过一个URL就能回调你所需要的数据,什么ApiService都不想理会,同时又可以很快的与自己的业务相关联,就类似于代替你在开源网络库基础上再封装一层的作用,于是本库就应运而生。

特点

•比Retrofit使用更简单、更易用。

•采用链式调用一点到底

•加入基础ApiService,减少Api冗余

•支持动态配置和自定义底层框架Okhttpclient、Retrofit.

•支持多种方式访问网络GET、POST、PUT、DELETE等请求协议

•支持网络缓存,八种缓存策略可选,涵盖大多数业务场景

•支持固定添加header和动态添加header

•支持添加全局参数和动态添加局部参数

•支持文件下载、多文件上传和表单提交数据

•支持文件请求、上传、下载的进度回调、错误回调,也可以自定义回调

•支持默认、全局、局部三个层次的配置功能

•支持任意数据结构的自动解析

•支持添加动态参数例如timeStamp时间戳、token、签名sign

•支持自定义的扩展API

•支持多个请求合并

•支持Cookie管理

•支持异步、同步请求

•支持Https、自签名网站Https的访问、双向验证

•支持失败重试机制,可以指定重试次数、重试间隔时间

•支持根据ky删除网络缓存和清空网络缓存

•提供默认的标准ApiResult解析和回调,并且可自定义ApiResult

•支持取消数据请求,取消订阅,带有对话框的请求不需要手动取消请求,对话框消失会自动取消请求

•支持请求数据结果采用回调和订阅两种方式

•api设计上结合http协议和android平台特点来实现,loading对话框,实时进度条显示

•返回结果和异常统一处理

•结合RxJava2,线程智能控制

演示(请star支持)

RxEasyHttp与Rxjava结合使用场景演示

build.gradle设置
dependencies {
compile 'com.zhouyou:rxeasyhttp:2.0.8'
}

权限说明

如果使用本库实现文件下载到SD卡、或者配置了缓存数据到SD卡,你必须要考虑到Android6.0及以上系统的运行时权限,给大家推荐两个权限库:

AndPermission
RxPermissions

因为要请求网络、从SD卡读写缓存、下载文件到SD卡等等,所以需要在manifest.xml中配置以下几个权限,如果你已经配置过了这些权限,请不要重复配置:



全局配置

一般在 Aplication,或者基类中,只需要调用一次即可,可以配置调试开关,全局的超时时间,公共的请求头和请求参数等信息
初始化需要一个Context,最好在Application#onCreate()中初始化,记得在manifest.xml中注册Application。

Application:
public class MyApplication extends Application {

@Override
public void onCreate() {
    super.onCreate();
}

}

manifest.xml:
...

android:name=".MyApplication"
...

/>

默认初始化

如果使用默认始化后,一切采用默认设置。如果你需要配置全局超时时间、缓存、Cookie、底层为OkHttp的话,请看高级初始化。
public class MyApplication extends Application {

@Override
public void onCreate() {
    super.onCreate();
    EasyHttp.init(this);//默认初始化
}

}

高级初始化

可以进行超时配置、网络缓存配置、okhttp相关参数配置、retrofit相关参数配置、cookie配置等,这些参数可以选择性的根据业务需要配置。
public class MyApplication extends Application {

@Override
public void onCreate() {
    super.onCreate();
    EasyHttp.init(this);//默认初始化,必须调用

    //全局设置请求头
    HttpHeaders headers = new HttpHeaders();
    headers.put("User-Agent", SystemInfoUtils.getUserAgent(this, AppConstant.APPID));
    //全局设置请求参数
    HttpParams params = new HttpParams();
    params.put("appId", AppConstant.APPID);

    //以下设置的所有参数是全局参数,同样的参数可以在请求的时候再设置一遍,那么对于该请求来讲,请求中的参数会覆盖全局参数
    EasyHttp.getInstance()

            //可以全局统一设置全局URL
            .setBaseUrl(Url)//设置全局URL  url只能是域名 或者域名+端口号 

            // 打开该调试开关并设置TAG,不需要就不要加入该行
            // 最后的true表示是否打印内部异常,一般打开方便调试错误
            .debug("EasyHttp", true)

            //如果使用默认的60秒,以下三行也不需要设置
            .setReadTimeOut(60 * 1000)
            .setWriteTimeOut(60 * 100)
            .setConnectTimeout(60 * 100)

            //可以全局统一设置超时重连次数,默认为3次,那么最差的情况会请求4次(一次原始请求,三次重连请求),
            //不需要可以设置为0
            .setRetryCount(3)//网络不好自动重试3次
            //可以全局统一设置超时重试间隔时间,默认为500ms,不需要可以设置为0
            .setRetryDelay(500)//每次延时500ms重试
            //可以全局统一设置超时重试间隔叠加时间,默认为0ms不叠加
            .setRetryIncreaseDelay(500)//每次延时叠加500ms

            //可以全局统一设置缓存模式,默认是不使用缓存,可以不传,具体请看CacheMode
            .setCacheMode(CacheMode.NO_CACHE)
            //可以全局统一设置缓存时间,默认永不过期
            .setCacheTime(-1)//-1表示永久缓存,单位:秒 ,Okhttp和自定义RxCache缓存都起作用
            //全局设置自定义缓存保存转换器,主要针对自定义RxCache缓存
            .setCacheDiskConverter(new SerializableDiskConverter())//默认缓存使用序列化转化
            //全局设置自定义缓存大小,默认50M
            .setCacheMaxSize(100 * 1024 * 1024)//设置缓存大小为100M
            //设置缓存版本,如果缓存有变化,修改版本后,缓存就不会被加载。特别是用于版本重大升级时缓存不能使用的情况
            .setCacheVersion(1)//缓存版本为1
            //.setHttpCache(new Cache())//设置Okhttp缓存,在缓存模式为DEFAULT才起作用

            //可以设置https的证书,以下几种方案根据需要自己设置
            .setCertificates()                                  //方法一:信任所有证书,不安全有风险
            //.setCertificates(new SafeTrustManager())            //方法二:自定义信任规则,校验服务端证书
            //配置https的域名匹配规则,不需要就不要加入,使用不当会导致https握手失败
            //.setHostnameVerifier(new SafeHostnameVerifier())
            //.addConverterFactory(GsonConverterFactory.create(gson))//本框架没有采用Retrofit的Gson转化,所以不用配置
            .addCommonHeaders(headers)//设置全局公共头
            .addCommonParams(params)//设置全局公共参数
            //.addNetworkInterceptor(new NoCacheInterceptor())//设置网络拦截器
            //.setCallFactory()//局设置Retrofit对象Factory
            //.setCookieStore()//设置cookie
            //.setOkproxy()//设置全局代理
            //.setOkconnectionPool()//设置请求连接池
            //.setCallbackExecutor()//全局设置Retrofit callbackExecutor
            //可以添加全局拦截器,不需要就不要加入,错误写法直接导致任何回调不执行
            //.addInterceptor(new GzipRequestInterceptor())//开启post数据进行gzip后发送给服务器
            .addInterceptor(new CustomSignInterceptor());//添加参数签名拦截器
}

}

请求数据

网络请求,采用链式调用,支持一点到底。

入口方法
/**

 * get请求
 */
public static GetRequest get(String url);

/**
 * post请求和文件上传
 */
public static PostRequest post(String url);

/**
 * delete请求
 */
public static DeleteRequest delete(String url) ;

/**
 * 自定义请求
 */
public static CustomRequest custom();

/**
 * 文件下载
 */
public static DownloadRequest downLoad(String url) ;

/**
 * put请求
 */
public static PutRequest put(String url);

通用功能配置

1.包含一次普通请求所有能配置的参数,真实使用时不需要配置这么多,按自己的需要选择性的使用即可

2.以下配置全部是单次请求配置,不会影响全局配置,没有配置的仍然是使用全局参数。

3.为单个请求设置超时,比如涉及到文件的需要设置读写等待时间多一点。

完整参数GET示例:
EasyHttp.get("/v1/app/chairdressing/skinAnalyzePower/skinTestResult")

            .baseUrl("http://www.xxxx.com")//设置url
            .writeTimeOut(30*1000)//局部写超时30s,单位毫秒
            .readTimeOut(30*1000)//局部读超时30s,单位毫秒
            .connectTimeout(30*1000)//局部连接超时30s,单位毫秒
            .headers(new HttpHeaders("header1","header1Value"))//添加请求头参数
            .headers("header2","header2Value")//支持添加多个请求头同时添加
            .headers("header3","header3Value")//支持添加多个请求头同时添加
            .params("param1","param1Value")//支持添加多个参数同时添加
            .params("param2","param2Value")//支持添加多个参数同时添加
            //.addCookie(new CookieManger(this).addCookies())//支持添加Cookie
            .cacheTime(300)//缓存300s 单位s
            .cacheKey("cachekey")//缓存key
            .cacheMode(CacheMode.CACHEANDREMOTE)//设置请求缓存模式
            //.okCache()//使用模式缓存模式时,走Okhttp缓存
            .cacheDiskConverter(new GsonDiskConverter())//GSON-数据转换器
            //.certificates()添加证书
            .retryCount(5)//本次请求重试次数
            .retryDelay(500)//本次请求重试延迟时间500ms
            .addInterceptor(Interceptor)//添加拦截器
            .okproxy()//设置代理
            .removeHeader("header2")//移除头部header2
            .removeAllHeaders()//移除全部请求头
            .removeParam("param1")
            .accessToken(true)//本次请求是否追加token
            .timeStamp(false)//本次请求是否携带时间戳
            .sign(false)//本次请求是否需要签名
            .syncRequest(true)//是否是同步请求,默认异步请求。true:同步请求
            .execute(new CallBack<SkinTestResult>() {
                @Override
                public void onStart() {
                    //开始请求
                }

                @Override
                public void onCompleted() {
                   //请求完成
                }

                @Override
                public void onError(ApiException e) {
                  //请求错误
                }

                @Override
                public void onSuccess(SkinTestResult response) {
                  //请求成功
                }
            });

url

Url可以通过初始化配置的时候传入EasyHttp.getInstance().setBaseUrl("http://www.xxx.com");
入口方法传入: EasyHttp.get("/v1/app/chairdressing/skinAnalyzePower/skinTestResult").baseUrl("http://www.xxxx.com")
如果入口方法中传入的url含有http或者https,则不会拼接初始化设置的baseUrl.
例如:EasyHttp.get("http://www.xxx.com/v1/app/chairdressing/skinAnalyzePower/skinTestResult")则setBaseUrl()和baseUrl()传入的baseurl都不会被拼接。
注:EasyHttp.get/post/put/等采用拼接的用法时请注意,url要用/斜杠开头,例如:EasyHttp.get("/v1/login") 正确 EasyHttp.get("v1/login") 错误

http请求参数

两种设置方式
.params(HttpParams params)
.params("param1","param1Value")//添加参数键值对

HttpParams params = new HttpParams();
params.put("appId", AppConstant.APPID);
.addCommonParams(params)//设置全局公共参数

http请求头

.headers(HttpHeaders headers)
.headers("header2","header2Value")//添加参数键值对

.addCommonHeaders(headers)//设置全局公共头

普通网络请求

支持get/post/delete/put等
链式调用的终点请求的执行方式有:execute(Classclazz) 、execute(Type type)、execute(CallBackcallBack)三种方式,都是针对标准的ApiResult

execute(CallBackcallBack)

1.EasyHttp(推荐)
示例:
方式一:
//EasyHttp.post("/v1/app/chairdressing/skinAnalyzePower/skinTestResult")
EasyHttp.get("/v1/app/chairdressing/skinAnalyzePower/skinTestResult")

            .readTimeOut(30 * 1000)//局部定义读超时
            .writeTimeOut(30 * 1000)
            .connectTimeout(30 * 1000)
            .params("name","张三")
            .timeStamp(true)
            .execute(new SimpleCallBack<SkinTestResult>() {
                @Override
                public void onError(ApiException e) {
                    showToast(e.getMessage());
                }

                @Override
                public void onSuccess(SkinTestResult response) {
                    if (response != null) showToast(response.toString());
                }
            });

2.手动创建请求对象
//GetRequest 、PostRequest、DeleteRequest、PutRequest
GetRequest request = new GetRequest("/v1/app/chairdressing/skinAnalyzePower/skinTestResult");

    request.readTimeOut(30 * 1000)//局部定义读超时
            .params("param1", "param1Value1")
            .execute(new SimpleCallBack<SkinTestResult>() {
                @Override
                public void onError(ApiException e) {

                }

                @Override
                public void onSuccess(SkinTestResult response) {

                }
            });

execute(Classclazz)和execute(Type type)

execute(Classclazz)和execute(Type type)功能基本一样,execute(Type type)主要是针对集合不能直接传递Class
EasyHttp.get(url)

            .params("param1", "paramValue1")
            .execute(SkinTestResult.class)//非常简单直接传目标class
            //.execute(new TypeToken<List<SectionItem>>() {}.getType())//Type类型
            .subscribe(new BaseSubscriber<SkinTestResult>() {
                @Override
                public void onError(ApiException e) {
                    showToast(e.getMessage());
                }

                @Override
                public void onNext(SkinTestResult skinTestResult) {
                    showToast(skinTestResult.toString());
                }
            });

请求返回Disposable

网络请求会返回Disposable对象,方便取消网络请求
Disposable disposable = EasyHttp.get("/v1/app/chairdressing/skinAnalyzePower/skinTestResult")

            .params("param1", "paramValue1")
            .execute(new SimpleCallBack<SkinTestResult>() {
                @Override
                public void onError(ApiException e) {
                    showToast(e.getMessage());
                }

                @Override
                public void onSuccess(SkinTestResult response) {
                    showToast(response.toString());
                }
            });

    //在需要取消网络请求的地方调用,一般在onDestroy()中
    //EasyHttp.cancelSubscription(disposable);

带有进度框的请求

带有进度框的请求,可以设置对话框消失是否自动取消网络和自定义对话框功能,具体参数作用请看请求回调讲解

方式一:ProgressDialogCallBack

ProgressDialogCallBack带有进度框的请求,可以设置对话框消失是否自动取消网络和自定义对话框功能,具体参数作用请看自定义CallBack讲解
IProgressDialog mProgressDialog = new IProgressDialog() {

        @Override
        public Dialog getDialog() {
            ProgressDialog dialog = new ProgressDialog(MainActivity.this);
            dialog.setMessage("请稍候...");
            return dialog;
        }
    };
    EasyHttp.get("/v1/app/chairdressing/")
            .params("param1", "paramValue1")
            .execute(new ProgressDialogCallBack<SkinTestResult>(mProgressDialog, true, true) {
                @Override
                public void onError(ApiException e) {
                    super.onError(e);//super.onError(e)必须写不能删掉或者忘记了
                    //请求失败
                }

                @Override
                public void onSuccess(SkinTestResult response) {
                   //请求成功
                }
            });

注:错误回调 super.onError(e);必须写

方式二:ProgressSubscriber
IProgressDialog mProgressDialog = new IProgressDialog() {

        @Override
        public Dialog getDialog() {
            ProgressDialog dialog = new ProgressDialog(MainActivity.this);
            dialog.setMessage("请稍候...");
            return dialog;
        }
    };

EasyHttp.get(URL)

            .timeStamp(true)
            .execute(SkinTestResult.class)
            .subscribe(new ProgressSubscriber<SkinTestResult>(this, mProgressDialog) {
                @Override
                public void onError(ApiException e) {
                    super.onError(e);
                    showToast(e.getMessage());
                }

                @Override
                public void onNext(SkinTestResult skinTestResult) {
                    showToast(skinTestResult.toString());
                }
            });

请求返回Observable

通过网络请求可以返回Observable,这样就可以很好的通过Rxjava与其它场景业务结合处理,甚至可以通过Rxjava的connect()操作符处理多个网络请求。例如:在一个页面有多个网络请求,如何在多个请求都访问成功后再显示页面呢?这也是Rxjava强大之处。
注:目前通过execute(Classclazz)方式只支持标注的ApiResult结构,不支持自定义的ApiResult
示例:
Observable observable = EasyHttp.get(url)

            .params("param1", "paramValue1")
            .execute(SkinTestResult.class);

    observable.subscribe(new BaseSubscriber<SkinTestResult>() {
        @Override
        public void onError(ApiException e) {
            showToast(e.getMessage());
        }

        @Override
        public void onNext(SkinTestResult skinTestResult) {
            showToast(skinTestResult.toString());
        }
    });

文件下载

本库提供的文件下载非常简单,没有提供复杂的下载方式例如:下载管理器、断点续传、多线程下载等,因为不想把本库做重。如果复杂的下载方式,还请考虑其它下载方案。
文件目录如果不指定,默认下载的目录为/storage/emulated/0/Android/data/包名/files
文件名如果不指定,则按照以下规则命名:

1.首先检查用户是否传入了文件名,如果传入,将以用户传入的文件名命名
2.如果没有传入文件名,默认名字是时间戳生成的。
3.如果传入了文件名但是没有后缀,程序会自动解析类型追加后缀名

示例:
String url = "http://61.144.207.146:8081/b8154d3d-4166-4561-ad8d-7188a96eb195/2005/07/6c/076ce42f-3a78-4b5b-9aae-3c2959b7b1ba/kfid/2475751/qqlite_3.5.0.660_android_r108360_GuanWang_537047121_release_10000484.apk";

    EasyHttp.downLoad(url)
            .savePath("/sdcard/test/QQ")
            .saveName("release_10000484.apk")//不设置默认名字是时间戳生成的
            .execute(new DownloadProgressCallBack<String>() {
                @Override
                public void update(long bytesRead, long contentLength, boolean done) {
                    int progress = (int) (bytesRead * 100 / contentLength);
                    HttpLog.e(progress + "% ");
                    dialog.setProgress(progress);
                    if (done) {//下载完成
                    }
                    ...
                }

                @Override
                public void onStart() {
                   //开始下载
                }

                @Override
                public void onComplete(String path) {
                   //下载完成,path:下载文件保存的完整路径
                }

                @Override
                public void onError(ApiException e) {
                    //下载失败
                }
            });

POST请求,上传String、json、object、body、byte[]

一般此种用法用于与服务器约定的数据格式,当使用该方法时,params中的参数设置是无效的,所有参数均需要通过需要上传的文本中指定,此外,额外指定的header参数仍然保持有效。

•.upString("这是要上传的长文本数据!")//默认类型是:MediaType.parse("text/plain")

•如果你对请求头有自己的要求,可以使用这个重载的形式,传入自定义的content-type文本
upString("这是要上传的长文本数据!", "application/xml") // 比如上传xml数据,这里就可以自己指定请求头

•upJson该方法与upString没有本质区别,只是数据格式是json,通常需要自己创建一个实体bean或者一个map,把需要的参数设置进去,然后通过三方的Gson或者 fastjson转换成json字符串,最后直接使用该方法提交到服务器。
.upJson(jsonObject.toString())//上传json

•.upBytes(new byte[]{})//上传byte[]

•.requestBody(body)//上传自定义RequestBody

•.upObject(object)//上传对象object 必须要增加.addConverterFactory(GsonConverterFactory.create())设置

1.upString、upJson、requestBody、upBytes、upObject五个方法不能同时使用,当前只能选用一个
2.使用upJson、upObject时候params、sign(true/false)、accessToken(true/false)、拦截器都不会起作用

示例:
HashMap params = new HashMap<>();
params.put("key1", "value1");
params.put("key2", "这里是需要提交的json格式数据");
params.put("key3", "也可以使用三方工具将对象转成json字符串");
JSONObject jsonObject = new JSONObject(params);

RequestBody body=RequestBody.create(MediaType.parse("xxx/xx"),"内容");
EasyHttp.post("v1/app/chairdressing/news/favorite")

            //.params("param1", "paramValue1")//不能使用params,upString 与 params 是互斥的,只有 upString 的数据会被上传
            .upString("这里是要上传的文本!")//默认类型是:MediaType.parse("text/plain")
            //.upString("这是要上传的长文本数据!", "application/xml") // 比如上传xml数据,这里就可以自己指定请求头

             //.upJson(jsonObject.toString())
             //.requestBody(body)
             //.upBytes(new byte[]{})
             //.upObject(object)
            .execute(new SimpleCallBack<String>() {
                @Override
                public void onError(ApiException e) {
                    showToast(e.getMessage());
                }

                @Override
                public void onSuccess(String response) {
                    showToast(response);
                }
            });

源码地址:https://github.com/zhou-you/RxEasyHttp
原文地址:http://www.apkbus.com/blog-151006-78095.html
篇幅所限,完整内容可点击左下角“阅读原文”查看。

原文发布时间为:2018-06-28
本文作者:zhouy478319399
本文来自云栖社区合作伙伴“安卓巴士Android开发者门户”,了解相关信息可以关注“安卓巴士Android开发者门户”。

相关文章
|
3月前
|
数据采集 存储 数据处理
Scrapy:Python网络爬虫框架的利器
在当今信息时代,网络数据已成为企业和个人获取信息的重要途径。而Python网络爬虫框架Scrapy则成为了网络爬虫工程师的必备工具。本文将介绍Scrapy的概念与实践,以及其在数据采集和处理过程中的应用。
23 1
|
3月前
|
NoSQL Linux Redis
Redis 的网络框架是实现了 Reactor 模型吗?
Redis 的网络框架是实现了 Reactor 模型吗?
|
6月前
|
缓存 网络协议 Dubbo
异步编程 - 12 异步、基于事件驱动的网络编程框架 Netty
异步编程 - 12 异步、基于事件驱动的网络编程框架 Netty
46 0
|
4月前
|
机器学习/深度学习 数据采集 分布式计算
社交网络分析4(下):社交网络链路预测分析、LightGBM框架、LLSLP方法(LightGBM 堆叠链路预测)、堆叠泛化 、社交网络链路预测分析的挑战
社交网络分析4(下):社交网络链路预测分析、LightGBM框架、LLSLP方法(LightGBM 堆叠链路预测)、堆叠泛化 、社交网络链路预测分析的挑战
218 0
|
13天前
|
网络协议 Java API
Python网络编程基础(Socket编程)Twisted框架简介
【4月更文挑战第12天】在网络编程的实践中,除了使用基本的Socket API之外,还有许多高级的网络编程库可以帮助我们更高效地构建复杂和健壮的网络应用。这些库通常提供了异步IO、事件驱动、协议实现等高级功能,使得开发者能够专注于业务逻辑的实现,而不用过多关注底层的网络细节。
|
存储 设计模式 网络协议
Netty网络框架(一)
Netty网络框架
32 1
|
1月前
|
网络协议 安全 网络安全
网络基础与通信原理:构建数字世界的框架
网络基础与通信原理:构建数字世界的框架
46 1
|
3月前
|
数据采集 存储 机器人
Scrapy网络爬虫框架——从入门到实践
网络爬虫已经成为了信息获取的必备工具之一,而Scrapy作为Python中最流行的网络爬虫框架之一,具有高效、可扩展、易用等特点。本文将深入介绍Scrapy框架的概念和实践,帮助读者快速掌握构建高质量网络爬虫的方法。
60 0
|
3月前
|
数据采集 存储 调度
Scrapy:从入门到实践的网络爬虫框架
Scrapy是一款强大的Python网络爬虫框架,可以帮助开发者更高效地抓取互联网上的数据。本文将介绍Scrapy的概念和基本原理,详细讲解如何使用Scrapy框架实现一个简单的网络爬虫,并分享一些实战经验和技巧。
|
3月前
|
数据采集 存储 调度
Scrapy:高效的Python网络爬虫框架
在信息时代,数据的获取和分析已经成为了一项重要的技能。而网络爬虫则是实现数据采集的一种常用手段。Scrapy作为一个高效、灵活的Python网络爬虫框架,其具备强大的扩展性、高度的可配置性以及良好的兼容性。本文将从Scrapy的概念入手,介绍其基本原理、使用方法以及实际应用案例。