云Clickhouse冷热数据分层存储
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案,本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系,稳定性高,数据倾斜自动均衡。 2. 完善的数据同步链路,可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse,降低研发成本。 3. 平滑升级版本,业务中断小。 冷热分层后透明读取,帮客户节约整体数据存储成本。
云 ClickHouse冷热数据分层存储最佳实践 技术架构 场景描述 基于云 ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定 性、低维护成本、高性价比的实时数据分 析、精准营销、业务运营、业务分析、业 务预警、业务营销、数仓加速等场景化方 案,本实践会向客户提供数据库低维护成 本、数据库链路构建、冷热...
来自: 最佳实践 相关产品:云数据库RDS MySQL 版,数据传输,日志服务(SLS),云数据库 ClickHouse
云原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库,可提供PB级海量数据在线/离线分析服务,是面向各行各业的有竞争力的数仓方案,真正做到“人人可用的数据分析服务”。
自研向量引擎.ADB PG支持对接RDS,Flink,MaxCompute等数据源构建实时数仓,同时可高并行访问OSS,构筑全套数据湖分析;支持主流BI和ETL工具进行数据工程开发及商业智能搭建;实时数仓,商业智能.支持分布式事务,支持四种标准数据库隔离级别;满足高吞吐在线交易应用场景需求,实现HTAP混合负载.HTAP混合负载.更多产品与...
来自: 云产品
云原生数据库 PolarDB PostgreSQL 版
阿里云自研数据库 PolarDB PostgreSQL,100%兼容 PostgreSQL,高度兼容 Oracle。
查看更多商品.高度兼容Oracle语法,...兼容商业/开源等多种空间数据与服务类型,可利用旧客户现有的GIS数据库体系,支撑城市级空间数仓的建设,打造一库多平台解决方案.Ganos时空数据库引擎介绍.深度集成阿里云时空数据库引擎Ganos,为PolarDB数据库添加时空数据存储、管理、索引、计算能力.高效的海量时空数据存储计算能力.
来自: 云产品
EMR集群安全认证和授权管理 
EMR集群安全认证和授权管理 
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证,通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例,演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库,并 介绍在整个数据流程中,如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
的生态组件构建日志大数据仓库,并介绍在整个 3.Ranger中添加 Kafka、HDFS、Hive和 据流程中,如何通过 Kerberos和 Ranger进行认证 Hbase服务和访问策略。和授权的相关配置。4.Flume中和 Kafka、HDFS相关的安全配 置。产品列表:E-MapReduce、专有网络 VPC、云服务 最佳实践频道 阿里云最佳实践分享群 器 ECS、云数据库 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,E-MapReduce
阿里云最佳实践离线大数据workshop
阿里云最佳实践离线大数据workshop
本最佳实践,首先搭建一个简化的电商 demo 系统,然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统,学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建,学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
详见:https://www.aliyun.com/product/sls  DataHub:数据总线(DataHub)服务是阿里云提供的流式数据(StreamingData)服 务,它提供流式数据的发布(Publish)和订阅(Subscribe)的功能,让您可以轻松 基于流式数据的分析和应用。详见:https://www.aliyun.com/product/datahub  Maxcompute:大数据计算服务(MaxCompute...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓,作为一体化大数据智能计算平台ODPS的大规模批量计算引擎,MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务,使您经济高效的分析处理海量数据,进行敏捷的业务洞察。
基于 MaxCompute 构建数仓,在初期只有一名开发人员的情况下,也能快速地搭建起数系统,且费用成本极低.MaxCompute 将原本需要清算8小时的用户交易数据缩短至1个半小时完成,更减少了本地服务器部署压力以及开发人力成本.玩物得志基于DataWorks+MaxCompute 框架,使用其核心存储、计算等组件快速搭建起自己的大数据平台....
来自: 云产品
数据管理DMS
数据管理DMS是基于阿里巴巴集团十余年的数据库服务平台的云版本,提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的web数据库管理终端;可以为企业用户快速复制搭建与阿里集团同等安全、高效、规范的数据库DevOps研发流程解决方案。
稳定性受挑战,人工维护百个实例,无法提前发现并预防故障发生的问题.通过DMS管控大批量实例,真正实现研发全自助,提升效能.通过DMS,从0到1构建企业数据安全防护体系,保障企业数据安全.云数据库RDS MySQL版.云数据库PolarDB.推荐搭配产品.数据安全与研发效能.数据安全与研发效能.利用DMS将在线生产库数据实时同步至RDS...
来自: 云产品
Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自<em>建</em>Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自 Hadoop集群 构建数据仓库和分析系统,购买阿里云 Databricks数据洞察集群之后,涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维,节省人力成 本。2.Databricks数据洞察...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
云原生企业级数据湖解决方案
云原生企业级数据湖解决方案,数据湖解决方案,无缝对接多种计算分析平台,数据湖中的数据可以直接进行数据分析、处理。
构建全托管式海量数仓.客户大数据场景中有大量累积,数据随着时间推移,访问热度会大幅降低,将不同访问热度的数据存储在不同类型,优化长期存储成本.积累的大数据中的冷数据需要优化长期存储成本•计算和存储增速的不匹配,扩容存储资源可能会产生空闲的计算资源.通过分层存储模式,可以显著优化成本,因存储扩容产生...
来自: 解决方案
DTS数据同步集成MaxCompute数仓
DTS数据同步集成MaxCompute<em>数仓</em>
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成,并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
文档版本:20220126(发布日期)5 DTS数据同步集成 MaxCompute数仓 资源环境部署 步骤3 通过搜索关键字找到“DTS数据同步集成 MaxCompute数仓”模版,单击基于应用新 。步骤4 您可以双击图标修改资源参数,配置完成后,点击右上角的保存,设定应用名称后点 击确认。步骤5 应用保存成功后,点击部署应用。文档版本:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,数据传输,DataWorks,大数据计算服务 MaxCompute
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体,能够解决公共云、混合云场景下,远距离、毫秒级异步数据传输难题,支持关系型数据库、NoSQL、大数据(OLAP)等数据源,其底层基础设施采用阿里双11异地多活架构,为数千下游应用提供实时数据流,已在线上稳定运行7年之久。
可以将源端数据库数据实时同步到数据仓库,构建实时分析数仓,也可以根据调度策略的配置,定期地将源库中的结构和存量数据迁移至目标库中,构建更加灵活的数据仓库(例如构建T+1的周期性数仓).实时同步功能支持将并发粒度缩小到事务级别,能够并发同步同张表的更新数据,提升同步性能;支持多并发压缩传输,降低传输链路对...
来自: 云产品
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台,为DataX的商业版,支持ETL,支持50+数据源跨网络离线(全量/增量)同步。
随着金融行业发展,传统的离线数仓已经越来越难以满足业务的实时诉求,通过DataWorks构建实时数据仓库,推动行业大数据业务化运营转型.实时客户分析及精准推荐.实时营销活动分析及监控.构建客群标签画像,直观描述群体特征.减少重复营销成本,提高ROI.实时计算Flink版.数据总线DataHub.推荐搭配使用.为了快速数智化转型,...
来自: 云产品
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
Databricks数据洞察是基于Apache Spark的全托管数据分析平台,内核采用更高效稳定的商业版Databricks Runtime和Delta Lake,满足用户对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等场景需求。因产品服务策略调整,本产品将于2023年10月23日停止全面支持,并将于2024年4月23日停止服务.产品下线公告.Databricks...
来自: 云产品
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
MaxCompute 提供多种内函数来满足您的 计算需求,同时您还可以通过创建自定义函数来满足不同的计算需求。参考官方文档安装 MaxCompute Studio的 IDEA插件,并连接项目空间(前置步骤必 须完成)。注意:确保使用 JDK1.8版本 MC Studio介绍 https://help.aliyun.com/document_detail/50889.html IntelliJ IDE安装 ...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
云数据库HBase
阿里云云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 且100%兼容HBase协议的高性能、可弹性伸缩、面向列的分布式数据库,轻松支持PB级大数据存储,满足千万级QPS高吞吐随机读写场景。
存储计算分离,支持高性能并发写入,单节点十万QPS.PB级时空数据存储与高并发写入.引擎以Z-Order、Hilbert等空间填充曲线为基础,支持二维和三维时空索引.高效的时空索引与算法分析包.云服务器 ECS.推荐搭配使用.物联网时空时序场景.分布式高效时序数据库.使用HBase来存储海量帖子/文章、聊天以及评论等社交Feeds流数据....
来自: 云产品
游戏数据运营融合分析
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户,无法 接受T+1延迟。 3.对数据成本有一定诉求的客户,希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析:依托ADB计算密集型实例, 秒级监控DAU等数据,为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析:打通结构化和非结构化 数据,支撑产品体验分析;广告买量投放效 果实时(分钟级)分析,渠道的评估更准确。 3.低成本:DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析,在满足各种分析场景需求的同时,有效 地降低的客户的总体使用成本。 4.学习成本低:DLA和ADB兼容标准SQL语 法,无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
实时性差,传统数仓一般只能抽取头一天的数据,然后凌晨跑报表任务,时延一 般 T+1。单机存储限制以及成本比较高,云数据库或者自数据库都会遇到单机的存储 瓶颈。如果历史数据一直存储在数据库里面成本会很高;如果单独拆分历史库,架构设计上又提升了难度。文档版本:20210224 1 游戏数据运营融合分析 最佳实践概述 ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,云原生数据仓库AnalyticDB My,数据湖分析,Quick BI
大数据workshop
大数据workshop
大数据workshop
详见:https://www.aliyun.com/product/ecs DataHub:数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务,它提供流式数据的发布(Publish)和订阅(Subscribe)的功能,让您可以轻 松 基 于 流 式 据 的 分 析 和 应 用。详见:https://www.aliyun.com/product/datahub 实时计算 Flink 版:实时计算 ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
大数据近实时数据投递MaxCompute
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓,打通云下数据上云链路,解决数据复杂类型支持和动态分区问题,满足高级数据处理需求的最佳实践。 l混合云环境下,现有业务系统零改造,打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程,数据自动入仓。 l借助MaxCompute优化计算引擎,实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
本文以线下现有业务大数据离线数仓建设为背景,介绍如何在现有业务应用系统零 改造的前提下,从 Kafka集群切入,打通数据上云链路,解决数据复杂类型支持和 动态分区问题,将数据近实时投递至 MaxCompute,快速构建数仓服务。应用范围 混合云环境下,现有业务系统零改造,打通数据上云链路。使用 UDF实现复杂数据类型转换和...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,数据总线,云速搭CADT
CDH迁移升级CDP最佳实践
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载,终止服务,针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户,通过安装新的 CDP 集群,将现有数据拷贝至新集群,然后将新集群切换为生产集群,升级过程没有数据丢失风险,停机时间较短,适合大部分互联网客户升级使用。
hbase shell scan 'hbase_item' exit 说明:至此,我们已经构建了 HDFS、Hive、Kudu及 Hbase的测试数据。1.4.部署 CDP 1.4.1.购买部署 CDP 登录 CDP控制台(http://cdp.console.aliyun.com/),购买资源套餐。文档版本:20211029 44 CDH迁移升级 CDP最佳实践 基础环境搭建 在 CDP控制台配置集群。输入集群名称、配置 VPC和...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭
在线教育流量洪峰
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题,通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据,通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
在线教育流量洪峰最佳实践 场景描述 业务架构 在线教育等行业在业务峰值时段,客户查课、选课、约课、下单、上课、答题、运营报表等 环节均会遇到平日倍甚至十倍的流量洪 峰压力。任何一个环节应对不当都会造成业务 卡顿、服务质量降低等问题,极大影响用户体 验。问题的瓶颈又往往产生在数据库架构以及 产品性能上。...
来自: 最佳实践 | 相关产品:云数据库 Redis 版,云数据库PolarDB,云原生数据仓库AnalyticDB My,Quick BI
< 1 2 3 4 5 >
共有5页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用