云Clickhouse冷热数据分层存储
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案,本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系,稳定性高,数据倾斜自动均衡。 2. 完善的数据同步链路,可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse,降低研发成本。 3. 平滑升级版本,业务中断小。 冷热分层后透明读取,帮客户节约整体数据存储成本。
更多信息,请参见 www.aliyun.com/product/dts 云数据库 RDS MySQL 版:云数据库 RDS MySQL 版是全球最受欢迎的开源 据库之一,作为开源软件组合 LAMP(Linux+Apache+MySQL+Perl/PHP/Python)中的重要一环,广泛应用于各类应用场景。更多信息,请参见 www.aliyun.com/product/rds/mysql 文档版本:20210416 IV 云 ...
来自: 最佳实践 相关产品:云数据库RDS MySQL 版,数据传输,日志服务(SLS),云数据库 ClickHouse
新零售商超基于Serverless服务化改造
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业,主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态,涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展,其在快速上云后,将核心业务改造为全Serverless架构的中台模式,采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心,弹性支撑日常和大促峰谷所需资源,轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构:FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用:毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维:函数式极简编程可专注于业务创新,无采购和部署成本、提供监控报警等完备的可观测能力。
比如数据是否要做到无状态,无状态的话水平 文档版本:20210519 3 新零售商超基于 Serverless服务化改造 前置条件 扩展会比较容易,而如果是有状态,数据可能就需要做缓存,这就会涉及到 据库相关的问题,例如数据过期、一致性等。如果对这些了解不够透彻,做水 平扩展就会比较困难。ᅳ 水位监控 许多开发者在水位监控上...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,函数计算,API网关,表格存储
企业应用(酒店PMS)混合云组网最佳实践
企业应用(酒店PMS)混合云组网最佳实践
酒店上云是分阶段实施,线下和云上的混合云是长期 状态,需要保证线下多地域多分支、云上多地域之间 互相访问,且需要满足不同类型的企业节点的服务要 求,比如总部 IDC 要求带宽大,对安全可靠性要求 高等。
前言 前言 概述 本实践重点提供一种简单且具备成本效益的混合云网络解决方案,通过云服务器和数 据库来搭建云上应用系统,通过部署 SLB提供后续业务发展的横向扩展性以及应用容 灾。产品介绍 VPC:专有网络(Virtual Private Cloud),是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离,用户可以在...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,智能接入网关,云速搭
MaxCompute湖仓一体方案
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案,将 MaxCompute与自建的Hive集群做数据打 通,通过存储共享,元数据镜像等方式,解 决传统模式下的存储冗余,计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性,解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性:现有业务无需改造。 2.性能优化:MaxCompute在SQL上做 了大量优化与能力沉淀,可提高SQL 运行性能,降低计算成本。 3.灵活管理:元数据实时同步,无需额外 管理数据同步任务。 4.资源弹性:利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute(原ODPS) 云企业网CEN
更多信息,请参见:www.aliyun.com/product/odps HDFS:Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的 布式文件系统,它和现有的分布式文件系统有很多共同点。但同时,它和其他的 布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统,适合部署 在廉价的机器上。HDFS 能提供高吞吐量的数据...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云企业网,E-MapReduce,大数据计算服务 MaxCompute,运维编排,云速搭
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
广泛应用于企业级应用 共享、容器、AI机器学习、Web 服务和内容管理、应用程序开发和测试、媒体 和娱乐工作流、数据库备份等场景。详见:https://www.aliyun.com/product/nas 对象存储 OSS:是一款海量、安全、低成本、高可靠的云存储服务,提供 99.9999999999%(12个 9)的数据持久性,99.995%的数据可用性。多种存储...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
智能接入网关SAG
智能接入网关(Smart Access Gateway,简称SAG)是阿里云提供的一站式快速上云接入产品,企业可通过智能接入网关SDWAN技术实现Internet就近加密上云,适用于中小数据中心、分支互联、移动办公、应用加速及混合云等场景。阿里云SAG产品配置高度自动化,即插即用,网络拓扑变化自适应快速收敛,自动探测最优链路,故障时主动实时切换,高质量、高安全、高效率的帮助用户解决网络接入最后一公里难题。
SLB负载均衡具有即开即用,超大性能,弹性伸缩,安全...智能接入网关(Smart Access Gateway,简称SAG)是阿里云提供的一站快速上云SDWAN接入服务。企业可通过智能接入网关实现Internet就近加密接入,获得更智能、更可靠、更安全的上云体验。适用于中小数据中心、分支互联、移动办公、应用加速及混合云等场景.智能接入网关.
来自: 云产品
利用交互分析(Hologres)进行数据查询
利用交互<em>式</em>分析(Hologres)进行数据查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
同时, 中台的快速推进,使数据应用主要为数据支撑、用户画 像、实时圈人及广告精准投放等核心业务服务。高可靠和 低延时地数据服务成为企业数字化转型的关键。Hologres致力于低成本和高性能地大规模计算型存储和 强大的查询能力,为您提供海量数据的实时数据仓库解决 方案和实时交互查询服务。解决问题 1.加速查询...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
远程办公-AD管控下的弹性云桌面
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时,IT人员通常会面临以下问题,本文希望通过场景实践的方式,示范如何结合使用不同阿里云产品,来解决这些问题:用户如何管理?企业已有AD用户如何上云?云上共享文件服务权限怎么管?数据安全问题有保障吗?该如何设置?云桌面能使用本地机房或IDC中的服务吗? 本文使用的应用场景: 场景1:客户A在云上新建Windows ActiveDirectory(以下简称AD);弹性云桌面,和NAS文件存储服务部署在AD所在的VPC内。场景2:客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3:客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势: 易部署:弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用,配置实时生效,快速完成部署。 低成本:弹性云桌面无需前期传统硬件投资,帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道,比建立专线更便宜,快速实现混合云。 安全性:VPN网关使用IKE(秘钥交换协议)和IPSec对传输数据或进行加密,保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控:通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云,和文件级别的权限管控。
广泛应用于容器存储、大数据分析、Web 服务和内容管理、应用程 序开发和测试、媒体和娱乐工作流程、数据库备份。支持冷热数据分级存储。详情请查看:https://www.aliyun.com/product/nas CEN 云企业网(Cloud Enterprise Network)提供一种能够快速构建混合云和分布式 业务系统的全球网络,帮助用户打造一张具有企业级规模...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,云企业网,VPN网关,云桌面,云速搭CADT
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向,数据湖偏向灵活性,数据仓 侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊,数据湖自身的治理能 力、数据仓库延伸到外部...
来自: 最佳实践 | 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
微服务应用问题定位及故障演练
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署, 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮, 容器编排配置是否合理, 以及节点故障引 发的问题等, 方案通过 AHAS 故障注入模拟生 产环境产生的故障, 通过 ARMS 及时发现问题、 定位问题, 并结合 ARMS 的告警功能快速发现 并解决问题。  发现调用下游一个服务实例出现异常。  发现业务 Pod 故障, 验证业务的稳定性。  发现调用数据库延迟故障, 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表  应用高可用服务 AHAS  性能测试 PTS  应用实时监控服务 ARMS  容器服务 kubernetes 版  负载均衡 SLB  专有网络 VPC  日志服务 SLS
日志和监控是所有 Ingress Controller都会提供的基础功能,日志一般包括访问日志(Access Log)、控制日志(Controller Log)和错误日志(Error Log),监控主要从日志以及 Controller中提取 部分 Metric信息。通过 ingress仪表盘可以查看到 PV、UV、流量、延时、错误信息、访问的地域信息等等。步骤1 结合本方案主题问题...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭
函数计算实现弹性音视频处理系统
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用,每天 有大量的上传视频,需要及时转码处理以适配各 种终端及网络条件,要求短时间内准备大量的计 算资源进行大规模并行转码处理,同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
文档版本:20201228(发布日期)5 Function Compute 实现弹性音视频处理系统 创建 RAM子账号 步骤6 单击新建用户操作列下的复制,记录 AccessKey ID和 AccessKeySecret备用;或 者勾选新建用户,单击下载 CSV文件按钮,下载相关信息备用。1.2.为子账号授权 步骤7 单击 RAM控制台左侧导航栏人员管理下的用户,选择用户,单击...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,文件存储NAS,日志服务(SLS),Serverless 工作流
企业级分布式数据库解决方案
企业级分布式数据库解决方案挂载管理多个云数据库 RDS for MySQL,可线性提升数据存储容量及并发吞吐。为企业级客户提供弹性、稳定、高效的企业级分布式关系型数据库解决方案。
云原生分布式数据库 PolarDB-X 1.0 通过分库分表管理多个 RDS for MySQL,可线性提升数据存储容量及并发吞吐,有效解决单机数据库的扩展性难题。云原生分布式数据库 PolarDB-X 1.0 提供多种只读实例,可抵御超高并发的访问压力、加速复杂查询的响应时间。通过物理资源隔离的方式,缓解 DRDS 主实例的压力负载,降低业务架构...
来自: 解决方案
云原生分布式数据库PolarDB-X
阿里云云原生分布式数据库PolarDB-X(原DRDS升级版),可解决分库分表、海量数据存储、超高并发吞吐、复杂计算效率等问题。最高可支撑千万级并发和百PB级海量存储。
通过云原生分布式数据库PolarDB-X的分库分表能力,提升系统扩展性,提高了并发查询能力,降低了业务响应时间;利用异构索引表满足了客户多维查询的需求;借助全局二级索引解决了异构索引表数据延迟的问题.更多产品与服务.PolarDB-X 标准版.与MySQL完全兼容,采用一主一备一日志的Paxos多副本架构,规格丰富,性价比高。通过...
来自: 云产品
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程,模拟了数据库迁移所需的工作,帮助您快速上手。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景RDS 解决的问题如何迁移到 RDS迁移前后对比优惠购买自建数据库迁移到云数据库本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,...
来自: 解决方案
云原生数据库PolarDB 分布式
PolarDB 分布式版是阿里云自主设计研发的高性能云原生分布式数据库产品,为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。
重温开源 PolarDB 分布式版升级发布会,共建云原生分布式数据库生态.PolarDB分布式版V2.3 集中和分布式一体化开源发布.将DRDS模式数据库转换为AUTO模式数据库.Binlog日志服务.业务中台技术解决方案.企业级高可用架构解决方案.数据传输解决方案.查看全部日志.PolarDB 新用户低至6折起,配置越高,节省越多!PolarDB 新用户...
来自: 云产品
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
25 文档版本:20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 这里数据库名 kafkaToMongoDB 查询 中的数据 2.4.MongoDB 步骤1 双击新建的,可以看到默认的 test 集合,通过 db.test.find().limit(20);命令可以查询 该集合的数据,可以看到目前该集合中是没有任何数据的。26 文档版本...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案,帮助您免除MySQL运维的烦恼。
查看更多了解 RDS MySQL 定价策略,持续管控和优化成本安全合规云数据库 RDS MySQL 基于飞天分布式系统和全 SSD 盘高性能存储,在网络通信、数据存储、访问控制、安全审计、实例容灾等多个维度提供全方位多样化的安全加固功能,一站保障用户数据的可靠性和安全性。网络安全攻击防护:RDS 提供多种攻击防护的手段,包括防 ...
来自: 云产品
金融分布式架构SOFAStack
阿里云金融分布式架构SOFAStack为金融用户提供全栈式的基础架构能力,是集项目管理、微服务开发、发布部署、监控运维、容灾高可用等全栈式解决方案,助力客户应用轻松转型分布式架构,保证风险安全的同时帮助业务需求敏捷迭代,支撑金融业务创新,开发人员学习成本最多可降低92%、应用开发效率可最多提升80%、运维人力成本最多可节省90%
基于金融分布式架构 SOFAStack 技术和分布式数据库 OceanBase,保证其数据安全,异地多活秒级容灾,符合金融安全监管与合规要求,节省 80%IT 投入成本.基于 SOFAStack 提供的基础设施,从生态服务角度达到互联网化的交付速度;从技术架构的角度贯彻中台战略,确保更敏捷得响应业务需求;从运维基础设施角度解决大规模发布、...
来自: 云产品
云原生数据库
PolarDB是阿里云自研的云原生数据库,在存储计算分离架构下,利用了软硬件结合的优势,为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态,支持分布式扩展,高度兼容Oracle语法。
通过中国信通院《金融分布式数据库标准》、《分布式数据库长期稳定性测试》.提供计算资源、存储资源和数据库三重监控,支持自定义报警策略,全方位展示实例运行状况.基于灵活、强大的查询语法,可快速定位问题 SQL,并提供 SQL 实时分析能力以及开箱即用的报表中心.PolarDB 分布式版.教育、直播场景下业务有明显的峰值峰谷...
来自: 云产品
MySQL数据库上云选型解决方案
MySQL数据库上云选型解决方案,MySQL数据库成为近十年来数据库使用范围最广,数据库生态最好的开源数据库,本方案以MySQL数据库上云的各种场景为切入点,包括数据库的扩展性、数据库水平拆分、数据库垂直拆分、高弹性数据库、数据库大促支持、MySQL数据库海量数据分析等向上云的企业客户介绍如何选择适合企业的MySQL生态数据库。
通过DRDS分布式数据库解决方案的垂直拆分能力,客户可以获得RDS MySQL的分布式查询能力以及垂直拆分的管理能力。支持多个RDS MySQL的统一访问入口.MySQL 数据库垂直拆分场景.RDS 读写分离.阿里云提供经过多年沉淀研发的RDS MySQL数据库,通过数据传输服务DTS可以将云下IDC/云上ECS自建/其他云的MySQL数据库无缝迁移至RDS ...
来自: 解决方案
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用