云Clickhouse冷热数据分层存储
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案,本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系,稳定性高,数据倾斜自动均衡。 2. 完善的数据同步链路,可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse,降低研发成本。 3. 平滑升级版本,业务中断小。 冷热分层后透明读取,帮客户节约整体数据存储成本。
更多信息,请参见 www.aliyun.com/product/dts 云数据库 RDS MySQL 版:云数据库 RDS MySQL 版是全球最受欢迎的开源数 据库之一,作为开源软件组合 LAMP(Linux+Apache+MySQL+Perl/PHP/Python)中的重要一环,广泛应用于各类应用场景。更多信息,请参见 www.aliyun.com/product/rds/mysql 文档版本:20210416 IV 云 ...
来自: 最佳实践 相关产品:云数据库RDS MySQL 版,数据传输,日志服务(SLS),云数据库 ClickHouse
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一,面向不同业务场景,阿里云提供数据存储、分析、应用等全链路能力,满足企业客户全方位的数据处理需求,实现计算和存储分离、资源解耦、数据移动减化,用以满足行业快速发展的需求和趋势,利用数据重塑其业务。
本书由阿里云及网易帆、美创科技、CUUG、恒辉信达等开源生态合作伙伴共同出品,从安装部署到运维实践、开发工具,八大章节轻松入门 PolarDB for PostgreSQL 开源数据库.PolarDB for PostgreSQL 从入门到实战.由阿里巴巴多位技术专家精心打磨内容,通过详细的图文介绍,深度剖析实时数仓面临挑战与发展趋势,详细介绍...
来自: 云产品
专有云敏捷版
专有云敏捷版为云化各阶段客户提供大数据、数据库、云原生Paas三大优势场景的轻量化产品组合,支持与阿里云公共云、企业版形成一朵云,构建中心+分支的多级云平台。
集交易、分析、传输、治理于一体的企业级数据库管理平台,能够帮助企业构建稳定、安全、经济的全场景数据库解决方案,可快速替换Oracle、DB2、Teradata等传统数据库.敏捷版数据库场景(DBStack).物理机部署,最少3台节点即可输出;虚拟机部署,EDAS、AECP和ARMS产品组合,对比历史版本资源大幅下降.EDAS、AECP、ARMS和Mesh...
来自: 云产品
业务多活容灾解决方案
业务多活,英文Multi-Site High Availability,顾名思义就是业务分布在多个站点且同时对外提供 服务。与传统的灾备的最主要区别就是"多活 "里的所有站点同时在对外提供服务,不仅解决了容灾本身问题,提升了业务连续性,并且实现了容量的异地扩展。
数据传输服务.MySQL 是全球最受欢迎的开源数据库之一,广泛应用于各类应用场景.对象存储 OSS 是海量、安全、低成本、高可靠的云存储服务,具有与平台无关 RESTful API,能从互联网任何位置访问.PolarDB 是阿里巴巴自主研发的下一代云原生关系型数据库,让用户既享受到开源的灵活性与价格,又享受到商业数据库的高性能和安全...
来自: 解决方案
自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
步骤2 部署完成后,重启 Hive MetaStore和 HiveServer2 步骤3 由于在创建 EMR集群时我们指定了 RDS for MySQL实例的数据库作为 Hive的元 据库,但是此时元数据库还未创建,因此在 EMR控制台可以看到 Hive MetaStore服 务异常停止。文档版本:20210721 25 自建Hive数据仓库跨版本迁移到阿里云 EMR 创建 EMR集群 通过查看 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
数据湖构建 Data Lake Formation
数据湖构建服务是阿里云上数据湖架构中的核心部分,助力用户构建数据湖系统。支持多数据源实时入湖,实现湖上元数据统一管理,提供企业级权限控制,无缝对接多种计算引擎,打破孤岛,洞察业务价值
企业级数据权限管理 用户可以针对、表、字段分别设置权限.支持上游多种计算引擎 轻松构建全链路数据湖服务.兼容Hive Metastore 提供多语言Open API,易集成.独有JindoFS数据加速功能 提供高性能数据湖分析加速能力.云栖大会-云原生数据湖技术展望,点击前往.云栖大会-云原生数据湖技术展望,点击前往.数据湖构建(Data ...
来自: 云产品
密钥管理服务KMS
阿里云密钥管理服务KMS使用国家密码管理局检测认证的硬件加密机,提供安全合规的密钥托管和云数据加密服务,助您全面升级云数据安全防护能力。产品为蚂蚁金服提供安全合规的密钥管理服务,保障全球金融交易安全。
云服务器ECS.MySQL 是全球最受欢迎的开源数据库之一,作为开源软件组合 LAMP中的重要一环,广泛应用于各类应用场景.云数据库RDS MySQL版.面向OSS存储提供默认的加密服务能力,支持服务端与客户端加密能力.对象存储 OSS.支持阿里云80+云产品包含ECS、RDS、OSS等.落盘/透明.实时访问-云产品调用.不限制.否.是.遵循各个云产品....
来自: 云产品
基于链路追踪+ECI的流量洪峰应对
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受,对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量,因此对于系统的稳定性非常关注,结合阿里云的容器服务、链路追踪、弹性容器ECI等产品,帮助客户业务实现容器化改造,并且方便发现系统应用架构中的瓶颈等问题,实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ᅳ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ᅳ 运维研发效率提高,链路追踪服务端全托管,免运维。 ᅳ 链路追踪的应用调用链分析能力结合ECI高弹性能力,提升应用系统在洪峰流量冲击下的稳定性。 ᅳ 链路追踪接入方便,ECI POD弹性伸缩,节省用户运维成本和云资源使用成本。 ᅳ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩,更丰富的云原生弹性能力。
文档版本:20201222 9 基于链路追踪+ECI的应用高可用弹性实践 应用部署 环境变量 SQL_ENVIRONMENT配置 mysql的访问地址,按照 1.3章节创建的 据库服务访问地址进行配置,如下图所示:环境变量 TRACE_ENDPOINT配置链路跟踪接入点地址,获取方式如下:a.登录链路跟踪控制台(https://tracing.console.aliyun.com/)b.获取到...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,容器镜像服务 ACR,弹性容器实例 ECI
迁移与运维管理
阿里云提供一系列的运维管理工具:日志服务SLS、云治理中心等帮助你自动化的开发和运维,能够更加轻松控制云基础产品与基础设施。
阿里云提供一系列运维管理工具帮助用户实现简化、自动化地运维管理,使用这些工具,用户可以实现全站云资源的优化,进行协同工作并实现运维与监控、云管理、备份与迁移,帮助用户轻松控制云基础产品与基础设施.迁移与运维管理.DBS新用户购买micro备份实例3个月9.9元,限1次限1台!可观测产品大促专场,限时立省千元.买...
来自: 云产品
跨云迁移单写双读过渡架构
跨云迁移单写双读过渡架构
概述 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户需要跨云访问,如何保障数据链路的高可用尤为关键,采用专线和公网双备的方案保障数据传输的高可用,也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 在迁移时间持续较长的情况下,使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证,保障迁移平滑过渡。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
详见:https://www.aliyun.com/product/dg 云数据库 RDS MySQL版:MySQL 是全球最受欢迎的开源数据库之一,作为 软件组合 LAMP(Linux+Apache+MySQL+Perl/PHP/Python)中的重要一 环,广泛应用于各类应用场景。文档版本:20201209 III 跨云迁移单写双读过渡架构 前言 详见:https://www.aliyun.com/product/mysql 数据...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,数据传输,性能测试 PTS,云企业网,云速搭CADT
云上日志集中审计
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志,企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志;目前各云产品日志大部分 都进了sls,但都是产品独立的project,不方便集中 审计;客户的业务系统日志各种形态都有;多云和混 合云的场景,日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
2019年实施的《网络安全等级保护 2.0标准》要求,“网络系统操作、重要存储操 作、计算系统操作、安全系统操作需详细记录,审计管理员的操作本身也需要记录 并审计”,“集中收集、集中分析,集中存储时长要求(180天以上);对审计数据 的保护(备份、防修改、覆盖、防止中断等);需提供分析、监控报警等支持可疑 行为...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,负载均衡 SLB,弹性公网IP,日志服务(SLS)
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案,采取计算与存储完全分离的架构,支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓,提供Presto和Spark引擎,满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性,比开源自建集群最高降低50%+的成本,最快可1分钟级拉起300个计算节点,快速满足业务资源要求。
分析环境与生产隔离,分析过程不会对数据端的业务系统产生造成影响.拥有优越弹性,支持元数据发现,支持多源一键数据实时入湖分析等功能,直接使用SQL即可分析OSS等十种源数据.多项企业级能力,涵盖各类业务需求.GUI工具丰富.支持Microstrategy、MySQL Workbench、DBeaver等多种MySQL GUI管理工具.多种可视化工具支持...
来自: 云产品
金融分布式架构SOFAStack
阿里云金融分布式架构SOFAStack为金融用户提供全栈式的基础架构能力,是集项目管理、微服务开发、发布部署、监控运维、容灾高可用等全栈式解决方案,助力客户应用轻松转型分布式架构,保证风险安全的同时帮助业务需求敏捷迭代,支撑金融业务创新,开发人员学习成本最多可降低92%、应用开发效率可最多提升80%、运维人力成本最多可节省90%
系统支撑亿级用户,一天亿笔交易的能力,且并发交易每秒能处理千笔,清算时间不到一小时,即使是在双十一网购狂欢节,支付成功率页高达 99.99%以上.基于金融分布式架构 SOFAStack 技术和分布式数据库 OceanBase,保证其数据安全,异地多活秒级容灾,符合金融安全监管与合规要求,节省 80%IT 投入成本.基于 SOFAStack ...
来自: 云产品
SAP上云解决方案
SAP上云解决方案依托阿里云可靠和灵活的云计算基础设施和平台服务,结合 SAP 世界领先的企业级数据库和商务应用解决方案,帮助企业简化 IT 架构、实现商业价值、加速数字化转型的步伐。
企业客户的 SAP 系统部分部署在线下自有数据中心,另一部分新实施或者迁移并部署在阿里云上,自有数据中心的 SAP 系统和云上的 SAP 系统,或者自有数据中心的其他 IT 系统和云上的 SAP 系统之间需要互相交互集成,使 SAP 系统形成混合云部署的情况.SAP 开发测试系统上云.SAP 联机分析处理系统上云,实时事务交易系统线下...
来自: 解决方案
专有云企业版
阿里云专有云企业版是面向政企客户的全栈云平台,可一键式弹性扩展至公共云,提供不同应用场景需求下的混合云方案,支撑企业级核心应用平滑上云。
企业版集成数据库多种引擎,数据库生态工具、数据库自治服务等产品,为政企客户数据库上云提供各种方案,如传统商业数据库向云数据库升级,为政企构建数据中台等.关系型数据库RDS,主备实例高可用,支持跨可用区与跨地域部署,三节点架构保证RPO=0;关系型数据库PolarDB-O,提供ADAM迁移评估工具,存储计算分离架构,为用户...
来自: 云产品
保险上云解决方案
保险上云解决方案解决保险基础设施上云底层设计,核心系统分布式架构,业务数据化,运营数字化的全方位解决方案。支撑保险行业数据智能、业务敏捷、数据安全,和人工智能技术服务能力。
对象存储 OSS.MySQL 是全球最受欢迎的开源数据库之一,作为开源软件组合 LAMP 中的重要一环,广泛应用于各类应用场景.RDS 数据库.是一个真正具备低延迟、高并发、高可用、高可靠,可支撑万亿级数据洪峰的分布式消息中间件.消息队列 RocketMQ.通过互联网就可以完成金融级的身份认证,保险公司核对投保人、被保险人、继承人等...
来自: 解决方案
可观测可视化 Grafana 版
可观测可视化 Grafana 版作为云原生数据可视化平台,为运维SRE、研发工程师、产品经理、市场营销等不同角色提供开箱即用的一站式可视化平台,满足运维监控、经营分析、汇报展示等不同场景的查询、可视化、告警需求。
基于开源 Prometheus 构建的全托管监控服务。无需部署与运维,默认集成常见云服务并兼容相关开源组件。提供箱即用的 Grafana 看板和告警服务,帮助企业快速搭建监测体系.可观测监控 Prometheus 版.包含前端监控、应用监控、云拨测等子产品。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业...
来自: 云产品
故障演练Chaos
故障演练(Chaos)是阿里云打造的云原生混沌工程平台,场景丰富、简单易用、安全可控、高效可靠,提供一站式架构分析、故障巡检等功能,帮助系统平稳上云。
当企业的业务迁移部署在阿里云上,可使用阿里云的云解析DNS(Alibaba Cloud DNS)、负载均衡SLB(Server Load Balancer)、关系型数据库RDS(Relational Database Service)等产品,搭建同地域多可用区容灾系统架构,实现同城容灾。通过AHAS同城容灾演练验证同城容灾架构设计的合理性与正确性.通过可控的演练方式来评估同城...
来自: 云产品
游戏业务分区合服
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
基于阿里云分 布式文件系统和 SSD盘高性能存储,RDS支持 Relational MySQL、SQL Server、PostgreSQL、PPAS RDS Database(Postgre Plus Advanced Server,高度兼容 Service Oracle数据库)和 MariaDB TX引擎,并且提供 了容灾、备份、恢复、监控、迁移等方面的全套解 决方案,彻底解决数据库运维的烦恼。阿里云对象存储服务...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据传输,NAT网关,云企业网
在线教育流量洪峰
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题,通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据,通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
TPC-H提供测试用数据模型和测试 ,MySQL提供客户端连接 PolarDB进行操作。cd/root/2.18.0_rc2/dbgen/mysql-h-u test001-p PolarDB URL在页面获取:u 步骤2 登录数据库并执行语句 use tpch;source dss.ddl 文档版本:20210120 25 在线教育流量洪峰最佳实践 主数据库大流量方案 在数据库页面可以看到表已经创建。步骤3 ...
来自: 最佳实践 | 相关产品:云数据库 Redis 版,云数据库PolarDB,云原生数据仓库AnalyticDB My,Quick BI
< 1 2 3 4 ... 9 >
共有9页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用