GeoServer实现NetCDF气象文件自动发布

简介: 众所周知,GeoServer是一个地理服务器,提供了管理页面进行服务发布,样式,切片,图层预览等一系列操作,但是手动进行页面配置有时并不满足业务需求,所以GeoServer同时提供了丰富的rest接口可供用户自己组织业务逻辑进行自动化管理。

众所周知,GeoServer是一个地理服务器,提供了管理页面进行服务发布,样式,切片,图层预览等一系列操作,但是手动进行页面配置有时并不满足业务需求,所以GeoServer同时提供了丰富的rest接口可供用户自己组织业务逻辑进行自动化管理。
  本文以气象文件的NetCDF自动化发布的需求,阐述如何以rest接口实现用户多样性需求。气象文件特殊性在于几乎每隔一段时间就会更新,甚至逐小时或半小时的更新频率,用户如果手动发布了气象文件的若干图层作为专题服务,一旦获取到最新的气象文件,用户希望立马可以看到新的数据源上的专题图,而人工即时更新现有的图层服务几乎是不现实的,类似这种定时或者即时响应的需求应该交由自动化完成,本文实现NetCDF气象文件自动发布便是为了解决此类需求。

一 NetCDF插件安装

选择对应版本的下载地址:http://geoserver.org/release/2.11.0/

img_b5aa15f03bdf6e32eb9c9f6dbe31f579.png
NetCDF插件.png

下载插件,解压,将jar文件全部复制到geoserver中的webapps\geoserver\WEB-INF\lib目录中,重启geoserver即可。

二 rest示例

2.1 发布nc文件数据存储

将E:\xxx.nc该文件发布成栅格数据存储,发布到cite工作区,数据存储名称为netcdfstore。

curl -v -u admin:geoserver -XPOST -H "Content-type: text/xml" -d "<coverageStore><name>netcdfstore</name><type>NetCDF</type><enabled>true</enabled><workspace><name>cite</name></workspace><__default>false</__default><url>file://E://xxx.nc</url></coverageStore>" http://localhost:8090/geoserver/rest/workspaces/cite/coveragestores/netcdfstore

注意路径格式是:file://E://xxx.nc,而不是file://E:\xxx.nc或file://E:\\xxx.nc,这应该是该插件的一个bug。

2.2 修改nc文件数据存储

将netcdfstore的数据存储位置由E:\xxx.nc指向D:\xxv.nc。

curl -v -u admin:geoserver -XPUT -H "Content-type: text/xml" -d "<coverageStore><name>netcdfstore</name><type>NetCDF</type><enabled>true</enabled><workspace><name>cite</name></workspace><__default>false</__default><url>file://D://xxc.nc</url></coverageStore>" http://localhost:8090/geoserver/rest/workspaces/cite/coveragestores/netcdfstore

2.3 发布栅格图层

将netcdfstore数据存储中的RH2图层发布

curl -v -u  admin:geoserver -XPOST -H "Content-type: text/xml" -d "<coverage><nativeCoverageName>RH2</nativeCoverageName><name>RH2</name></coverage>" http://localhost:8090/geoserver/rest/workspaces/cite/coveragestores/netcdfstore/coverages

2.4 绑定图层样式

将发布的RH2样式绑定已经发布的一个名称叫RH2Style的样式。

curl -v -u admin:geoserver -XPUT -H "Content-type: text/xml" -d "<layer><defaultStyle><name>RH2Style</name></defaultStyle></layer>" http://localhost:8090/geoserver/rest/layers/RH2

三 自动化发布

var child_process = require('child_process');
var async = require('async');
//构造一个netcdf管理类
function NetCDFManager(options){
    this.ip=options.ip;
    this.port=options.port;
    this._geoserverurl=`http://${this.ip}:${this.port}/geoserver/rest`;
    this.user=options.user;//geoserver的用户名密码
    this.password=options.password;
    this.layerlist=options.layerlist;
    this.ws=(options.ws!==undefined)?options.ws:'netcdf';//工作区间,默认是netcdf工作区间
    this.storename=(options.storename!==undefined)?options.storename:'netcdfstore';//netcdf数据存储名称,默认是netcdfstore
}
//根据名称获取栅格数据存储
NetCDFManager.prototype.getCoverageStorebyName=function(cb){
    let storename=this.storename;
    let url=this._geoserverurl+`/workspaces/${this.ws}/coveragestores/${storename}.json`;
    var cmd=`curl -v -u ${this.user}:${this.password} -XGET ${url}`;
    child_process.exec(cmd, function(err,stdout,stderr) {
        if(stdout.indexOf('No such')>-1){
            cb(false);
            return;
        }
        if(JSON.parse(stdout).coverageStore.name===storename)
            cb(true);
        else
            cb(false);
    });
}
//发布一个栅格数据存储
NetCDFManager.prototype.publishCoverageStore = function(netcdffile,cb){
    netcdffile=netcdffile.replace(/\\/g,'//');
    var xml=`<coverageStore><name>${this.storename}</name><type>NetCDF</type><enabled>true</enabled><workspace><name>${this.ws}</name></workspace><__default>false</__default><url>file://${netcdffile}</url></coverageStore>`;

    var cmd=`curl -v -u ${this.user}:${this.password} -XPOST -H "Content-type: text/xml" -d "${xml}" ${this._geoserverurl}/workspaces/${this.ws}/coveragestores`;
    child_process.exec(cmd, function(err,stdout,stderr) {
        if(stdout=='')
            cb(true);
        else
            cb(false);
    });
}
//修改已发布的数据存储
NetCDFManager.prototype.updateCoverageStore = function(netcdffile,cb){
    netcdffile=netcdffile.replace(/\\/g,'//');
    var xml=`<coverageStore><name>${this.storename}</name><type>NetCDF</type><enabled>true</enabled><workspace><name>${this.ws}</name></workspace><__default>false</__default><url>file://${netcdffile}</url></coverageStore>`;

    var cmd=`curl -v -u ${this.user}:${this.password} -XPUT -H "Content-type: text/xml" -d "${xml}" ${this._geoserverurl}/workspaces/${this.ws}/coveragestores/${this.storename}`;
    child_process.exec(cmd, function(err,stdout,stderr) {
        if(stdout=='')
            cb(true);
        else
            cb(false);
    });
    
}
//发布一个图层
NetCDFManager.prototype.publishCoverage = function(coverage_name,cb){
    let xml=`<coverage><nativeCoverageName>${coverage_name}</nativeCoverageName><name>${coverage_name}</name></coverage>`;
    let url=`${this._geoserverurl}/workspaces/${this.ws}/coveragestores/${this.storename}/coverages`;
    var cmd=`curl -v -u ${this.user}:${this.password} -XPOST -H "Content-type: text/xml" -d "${xml}" ${url}`;
    child_process.exec(cmd, function(err,stdout, stderr) {
        if(stdout=='')
            cb(true);
        else
            cb(false);
    });
}
//给发布的图层赋予样式
NetCDFManager.prototype.setLayerStyle = function(layername,stylename,cb){
    let xml=`<layer><defaultStyle><name>${stylename}</name></defaultStyle></layer>`;
    let url=`${this._geoserverurl}/layers/${layername}`;
    var cmd=`curl -v -u ${this.user}:${this.password} -XPUT -H "Content-type: text/xml" -d "${xml}" ${url}`;
    child_process.exec(cmd, function(err,stdout, stderr) {
        if(stdout=='')
            cb(true);
        else
            cb(false);
    });
}


/*
伪逻辑代码

1 根据数据存储名称,判定是否有该数据存储。没有,publishCoverageStore一个,接步骤2.有,updateCoverageStore即可,end!
2 publishCoverageStore发布数据存储后,将规定要发布的图层逐一发布publishCoverage,逐一赋予样式setLayerStyle
注意都是异步的,需要后台代码转同步,js中的async库负责处理异步陷阱,其他语言自行百度。

*/

var netCDFManager=new NetCDFManager({
    ip:'localhost',
    port:'8090',
    user:'admin',
    password:'geoserver',
    ws:'netcdf',
    storename:'netcdfstore',
    layerlist:['RH2','SKT','TP','V10','VIS']
});
function publish(ncfile) {
    async.waterfall([
            //查询是否已经存在命名为netcdfstore的数据存储
            function (done) {
                netCDFManager.getCoverageStorebyName(function (info) {
                    done(null, info);
                });
            },
            function (info, done) {
                //已存在数据存储,直接替换其数据源为新的nc文件
                if (info) {
                    console.log('指定的数据存储已存在,直接进行更新操作');
                    netCDFManager.updateCoverageStore(ncfile, function (info) {
                        if (info) {
                            console.log('数据存储已经更新成功!');
                            done(null, info);
                        } else {
                            console.log('数据存储已经更新失败!');
                            done(info, null);
                        }
                    });
                }
                //不存在数据存储,新发布
                else {
                    console.log('指定的数据存储不存在,发布数据存储');
                    publishNC(ncfile, done);
                }
            }
        ], function (error, result) {
        if (error)
            console.log('自动发布存在错误!');
        else
            console.log('自动发布完成!');
    })
}


function publishNC(ncfile,cb){
    async.waterfall([function (done) {
            netCDFManager.publishCoverageStore(ncfile,function(info){
                if(info)
                {
                    console.log('数据存储已经发布成功!');
                    done(null, info);
                }
                else{
                    console.log('数据存储已经发布失败!');
                    done(info, null);
                }
            });
        }, function (resule,done) {
            //发布图层
            publishLayers(netCDFManager.layerlist,done);
            
        },function (result,done) {
            //发布样式
            publishStyles(netCDFManager.layerlist,done);
            
        }],function (error, result) {
            if(error){
                console.log('自动发布存在错误!');
                cb(error,null);
            }
            else{
                console.log('自动发布完成!');
                cb(null,result);
            }
                
    })
}
//自动发布一些列图层
function publishLayers(layerlist,cb){
    let asyncs={};
    for(let i=0;i<layerlist.length;i++){
        asyncs[i]=function(done){
            let layername=layerlist[i];
            netCDFManager.publishCoverage(layername,function(info){
                if(info)
                {
                    console.log(`${layername}发布成功!`);
                    done(null, info);
                }
                else{
                    console.log(`${layername}发布失败!`);
                    done(info, null);
                }
            });
        }
    }
    async.parallel(asyncs, function (error, result) {
        if(error)
            cb(error,null);
        else
            cb(null,result);
    })
}


//修改指定图层为指定样式
function publishStyles(stylelist,cb){
    let asyncs={};
    for(let i=0;i<stylelist.length;i++){
        asyncs[i]=function(done){
            let layername=stylelist[i];
            netCDFManager.setLayerStyle(layername,layername,function(info){
                if(info)
                {
                    console.log(`${layername}样式发布成功!`);
                    done(null, info);
                }
                else{
                    console.log(`${layername}样式发布失败!`);
                    done(info, null);
                }
            });
        }
    }
    async.parallel(asyncs, function (error, result) {
        if(error)
            cb(error,null);
        else
            cb(null,result);
    })
}


publish('D:\\G_2017070419.nc');

执行node app.js后,

img_30005ac45878552f6324b702f6156d9e.png
发布流程输出.png
img_51ebf0575cb4e6ad930183e352e1df13.png
发布结果.png
img_9be32910264afff616568f05379247a6.png
图层预览结果.png

perfect!

相关文章
|
3月前
|
存储 缓存 JavaScript
构建离线应用:Apollo与本地状态管理
构建离线应用:Apollo与本地状态管理
|
数据采集 弹性计算 监控
【最佳实践】如何使用Metricbeat收集系统数据及Nginx服务数据
如果您需要收集数据,但没有资源来运行资源密集型数据收集器,那么Beats会是您最佳的选择。这种无处不在(涵盖所有联网设备)的数据收集方式,能够让您快速检测到异常情况并做出反应。
2391 0
【最佳实践】如何使用Metricbeat收集系统数据及Nginx服务数据
|
7天前
|
存储 Cloud Native NoSQL
etcd 的简介以及发展历史
## 一、简介 etcd 是一个开源、分布式、一致性的键值存储系统。它是由 CoreOS(后来被 Red Hat 收购)开发的,旨在提供一个可靠的分布式协调服务。etcd 通常用于在分布式系统中进行配置管理、服务发现、分布式锁、选举等任务。 etcd 的特点包括: - **分布式一致性**:基于 Raft 共识算法,etcd 确保数据在分布式环境中的一致性和可靠性。 - **键值存储**:提供类似于 NoSQL 数据库的键值对存储功能。 - **高可用性**:通过多节点部署、自动故障转移等方式提高服务的可用性。 - **易于使用**:提供简单的 HTTP 和 gRPC API 进行数据操
|
2月前
|
存储 编解码 定位技术
R语言读取大型NetCDF文件
失踪人口回归,本篇来介绍下R语言读取大型NetCDF文件的一些实践。
53 4
|
10月前
|
监控 JavaScript 前端开发
一种基于日志服务CLI工具实现的多区域发布方案
一种基于日志服务CLI工具实现的多区域发布方案
391 2
|
12月前
|
测试技术 API 开发者
《Elastic(中国)产品应用实战》——四、使用Elasticsearch时间点读取器获得随时间推移 而保持一致的数据视图
《Elastic(中国)产品应用实战》——四、使用Elasticsearch时间点读取器获得随时间推移 而保持一致的数据视图
|
存储 Docker 容器
kkitDeploy更新公告--新上NFS存储功能
kkitDeploy更新公告--新上NFS存储功能
|
JSON Java 应用服务中间件
GIS开发:nginx发布常用数据
GIS开发:nginx发布常用数据
270 0
|
程序员 Python
775.【技术】超详细的yaml离线安装指南!!!!
775.【技术】超详细的yaml离线安装指南!!!!
443 0
|
存储 开发框架 前端开发
Geoserver系列:数据发布结构
Geoserver发布数据的结构流程
148 0