《能源地图》:阿里云数加MaxCompute轻松处理8000亿条气象数据

简介: 十三五期间伴随能源互联网的建设,能源大数据及云计算能力长足发展,圈内诸多专家和组织陆续又开始讨论“能源地图”的深化应用, 什么是能源地图: 能源地图 1、反映一定地域范围内能源的发展条件及其水平的地区差异的专题地图。

免费开通大数据服务:https://www.aliyun.com/product/odps


十三五期间伴随能源互联网的建设,能源大数据及云计算能力长足发展,圈内诸多专家和组织陆续又开始讨论“能源地图”的深化应用, 什么是能源地图:


能源地图


1、反映一定地域范围内能源的发展条件及其水平的地区差异的专题地图。具体说:根据能源种类,如煤炭、石油、天然气、水能、地热、太阳能、风能等,可以分别编制按能量和品种、质量分级的资源分布图,按开采和加工规模分级的能源工业企业分布图,按流向、流量表示的能源输送图,以销售数量和范围或人均消费量表示的能源消费分布图等。


2、可以全面、系统地表达资源、生产、输送、消费4方面的内容,有助于对能源地理的研究,并可为能源开发规划的制订服务。从综合研究的角度开发,可对一个国家的能源总体,做出各地资源构成和开采条件评价图、能源生产构成分布图、能源消费结构分布图、能源经济区划图以及能源基地综合发展规划图等。


 

在新能源领域,创建能源地图第一步:是拥有一套《新能源气候资源服务可视化平台》:即形成能源地图的气候资源图(太阳辐射、风速风日分布等)。本质上,能源地图既是经济地图的一部分,又与专题地图有较密切的关系,建立一套《气候资源服务可视化平台》,可以在此基础上建立如电网规划和远景预测图、如水力资源图、工业地图、交通运输地图、环境保护地图等。  

 

气候资源服务可视化平台—风资源图:


3654cbcefb164366bd5906281f613b688741f97f


气候资源服务可视化平台—光资源图:


ecdc92af7cb1181c349b08bc53fe51c14bba54fa


能源地图应用场景


如能源地图在《能量魔方政府版》中得到充分使用:系统充分利用《气候资源服务可视化平台》结合国土、林业、电网、城市规划等多方权威数据,对城市未来新能源发展进行合理规划,开发规划为政府提供了项目可视化,便于准确定位项目地理位置、占地面积、开发容量和电网接入变电站等信息查询。



a55f9802221b958fc300ad7fed020bbf31b2a17f


在2017年SNEC展会期间,北京能量魔方数据技术有限公司展示的“气象大师”平台也吸引了业内多数人士前来咨询。实际《气象大师》就是一款典型的气候资源服务可视化平台,可以帮助各类新能源企业建立自己的能源地图。

 

40032d5ecce1ca5ccfa0f6a9372b4a98825a0632


在展会交流中,大家讨论比较多的光资源(如年总辐射、年日照小时数)等数据的精确度和对标问题。从以下几个方面体现:


《气象大师》数据对标升级


气象大师在SNECE会议上展现的数据:通过东润集团公司近400座地面观测站观测数据、SolarGIS平台、国家气象中心数据等三组数据做对标处理。在全国范围选取4349个点进行同经纬度、同时间段、同物理变量(水平总辐射)对标,且做对标后订正。基于观测数据在全国的分布特点(西藏和港澳台除外),利用4349个观测数据对气象大师光资源数据进行的订正升级,最大程度的反映了各地实际历史光资源分布状况。


e4e8ca722c3823271d2d925871f18cdc3010587d

绿色为气象大师数据,蓝色为观测数据,红色为SolarGIS数据


507f7fc0e62ed634e3974d3ea32caa1cc9ce2b87

订正后局部放大图


be18017d491c8ae1570d956d8cfecac56768e758

《气象大师》数据存储升级


《气象大师》所有的数据源来自于1*1公里30年东润自制的原始气象数据NC文件,在阿里大数据计算平台上完成解析、汇总及统计处理的结果数据。


  • 风资源和光资源原始气象NC文件共计131400个,在阿里云OSS共占用空间45T,约1.7万亿记录。


  •  风资源和光资源解析后汇总处理后形成的大数据表共有近8000亿条记录,在阿里云大数据平台MaxCompute中存储,占用空间25T。


  • 阿里云大数据平台MaxCompute对汇总的大数据表计算处理后产生的结果数据提供给能量魔方应用,如其他应用需要此类数据可以共享使用。最终汇总的风资源大表记录数约是7000亿条,MaxCompute存储容量是23T。


  • 风资源原始气象NC文件共计114975个,全国分西北,东北,中部3个区,每个区每天有7个指标文件,包括温度,压强,湿度,风速,风向,AOD,10米光伏。每类气象指标在MaxCompute表每天数据量是2亿条。光资源原始气象NC文件共计16425个,全国分西北,东北,中部3个区,每个区每天有一个光伏文件。


  •  光资源气象预报在阿里云MaxCompute每天数量是2千万条(20653056)


2015年11.12日正式入驻阿里云数据市场,双方联合推出针对新能源的专属数据服务产品:资源评估、气象服务、高精度数据下载三项气象数据产品,此次数据市场的产品入驻作为与阿里云共建能源云的合作内容之一,具有里程碑意义,以大数据为代表的互联网创新理念与新能源发展当中的切实应用需求结合起来,推动虚拟世界和现实世界融合发展,促进新以行业产、管理、经营模式变革,重塑产业价值链。



c68db505cfe326e80f7cfee2fd48eb8334b7f795


最后需要告诉大家的是,升级后的《气象大师》数据,于5月6号已全面对外开放,从风光资源评估到风光气象预报的所有专业报告继续免费下载

【下载地址:www.bjnlmf.net】


能量魔方公司介绍


 北京能量魔方数据技术有限公司是北京东润环能科技股份有限公司(股票代码:831083)全资子公司,为实现集团公司能源互联网转型战略,专注以云计算、能源大数据和产业金融打造能源互联网业务服务平台,服务于分布式能源供给侧和新能源消费侧的互联互通为使命,为社会,企业和消费用户提供创新的分布式能源增值服务,从而推动真正意义的“人人享用清洁智慧能源”。


在政府领域:能量魔方拥有专业的可再生能源规划咨询、系统开发及数据处理团队,建立基于能源大数据技术,精确需求导向的可再生能源发展专项规划、项目管理新模式,提升政府对可再生能源重大基础设施规划的科学决策水平;


在企业领域:能量魔方以“互联网+智慧能源”城市示范项目业务服务平台建设为支撑,拥有城市可再生能源规划、投资建设、金融服务、项目运营、电网调度管理的成功经验,帮助企业制定有效的项目节点监管及控制的管理平台。


在消费领域:能量魔方以移动互联网+产业大数据中心为依托,应用资源卫星、地理信息、气象资源、绿建节能、土地规划、企业征信、电网规划、行业用能、手机信令等大数据采集、处理、分析与挖掘,为分布式资源业主及投资开发商实现资源识别、开发建设、投资评估的生态化服务体系。


转载:新能源门-王雅明公众号

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
1月前
|
SQL 人工智能 数据挖掘
阿里云DMS,身边的智能化数据分析助手
生成式AI颠覆了人机交互的传统范式,赋予每个人利用AI进行低门槛数据分析的能力。Data Fabric与生成式AI的强强联合,不仅能够实现敏捷数据交付,还有效降低了数据分析门槛,让人人都能数据分析成为可能!阿里云DMS作为阿里云统一的用数平台,在2021年初就开始探索使用Data Fabric理念构建逻辑数仓来加速企业数据价值的交付,2023年推出基于大模型构建的Data Copilot,降低用数门槛,近期我们将Notebook(分析窗口)、逻辑数仓(Data Fabric)、Data Copilot(生成式AI)进行有机组合,端到端的解决用数难题,给用户带来全新的分析体验。
110092 118
阿里云DMS,身边的智能化数据分析助手
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
703 0
|
5天前
|
数据采集 搜索推荐 大数据
大数据中的人为数据
【4月更文挑战第11天】人为数据,源于人类活动,如在线行为和社交互动,是大数据的关键部分,用于理解人类行为、预测趋势和策略制定。数据具多样性、实时性和动态性,广泛应用于市场营销和社交媒体分析。然而,数据真实性、用户隐私和处理复杂性构成挑战。解决策略包括数据质量控制、采用先进技术、强化数据安全和培养专业人才,以充分发挥其潜力。
11 3
|
7天前
|
运维 供应链 大数据
数据之势丨从“看数”到“用数”,百年制造企业用大数据实现“降本增效”
目前,松下中国旗下的64家法人公司已经有21家加入了新的IT架构中,为松下集团在中国及东北亚地区节约了超过30%的总成本,减少了近50%的交付时间,同时,大幅降低了系统的故障率。
|
18天前
|
机器学习/深度学习 分布式计算 数据挖掘
阿里云 MaxCompute MaxFrame 开启免费邀测,统一 Python 开发生态
阿里云 MaxCompute MaxFrame 正式开启邀测,统一 Python 开发生态,打破大数据及 AI 开发使用边界。
197 1
|
1月前
|
分布式计算 DataWorks 关系型数据库
DataWorks报错问题之dataworks同步rds数据到maxcompute时报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。

相关产品

  • 云原生大数据计算服务 MaxCompute