数据管理与服务
数据管理与服务作为阿里云产品六大版块之一,面向不同业务场景,阿里云提供数据存储、分析、应用等全链路能力,满足企业客户全方位的数据处理需求,实现计算和存储分离、资源解耦、数据移动减化,用以满足行业快速发展的需求和趋势,利用数据重塑其业务。
本专场围绕图计算系统、应用及前沿学术研究问题,首先介绍阿里巴巴开源的一站式图计算系统 GraphScope的设计思想、基础能力以及未来发展方向;另外,邀请来自学术界和工业界的大咖,分享图计算最前沿的学术和技术热点;同时,邀请在业务中应用图计算技术的客户,分享图计算在真实业务场景中的应用案例.图计算及其应用....
来自: 云产品
基于HBR云上统一备份
基于HBR云上统一备份
场景描述 混合云备份(简称HBR)是一种简单易用且高性价 比的在线备份服务,可以为阿里云ECS,NAS,OSS 以及自建机房内的各类数据提供安全,高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
SELECT Count(*)FROM[AdventureWorksDW2017].[dbo].[DimCustomer]文档版本:20210402 137 HBR云上统一备份 ECS自建SQL Server备份 步骤10 重复步骤 5到步骤 9,将数据库恢复到第一次执行全量备份时的状态(18484条 ),观测结果符合预期。文档版本:20210402 138 HBR云上统一备份 ECS自建SQL Server备份 文档版本:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,混合云备份,云速搭
RDS MySQL迁移至PolarDB MySQL版
RDS MySQL的数据可在线实时同步到PolarDB MySQL版,并且升级切换后的PolarDB集群包含源RDS实例的账号信息、数据库、IP白名单和必要的参数。
应用场景秒级无感弹性伸缩,快速应对业务峰值教育、直播场景下业务有明显的峰值峰谷特征,学生课外时间、双11等大促活动时的业务量是日常情况的倍,业务系统需要在大促前后进行升降配。PolarDB 支持分钟级弹性升配能力,解决了传统数据库的升配时间会随着存储量的大小、宿主机资源的情况而不断上升的问题。海量存储,支持...
来自: 解决方案
密钥管理服务KMS
阿里云密钥管理服务KMS使用国家密码管理局检测认证的硬件加密机,提供安全合规的密钥托管和云数据加密服务,助您全面升级云数据安全防护能力。产品为蚂蚁金服提供安全合规的密钥管理服务,保障全球金融交易安全。
密钥管理服务和云服务器、云数据库、对象存储、文件存储等阿里云产品广泛集成,您可以使用密钥管理服务中的密钥加密这些产品中的数据,帮助您保护敏感的数据资产,增强云产品默认安全能力.广泛的云产品集成.密钥管理服务在每个地域构建了多可用区冗余的密码计算能力,保证向密钥管理服务发起的请求可以得到低延迟处理。您...
来自: 云产品
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
名词解释 HDFS Hadoop 分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文 件系统,它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式 文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉 价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应 用。VPN...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
等保咨询服务
阿里云等保咨询服务是整合云安全产品的技术优势,联合优质等保咨询、等保测评合作资源,为您提供了一站式服务,全面覆盖等保定级、备案、建设整改以及测评阶段,帮助客户高效地通过等保测评。
云安全中心是一个实时识别、分析、预警安全威胁的统一安全管理系统,可以帮助用户实现威胁检测、响应、溯源的自动化安全运营闭环,保护云上资产和本地主机并满足监管合规要求.<查看全部产品.等保咨询服务是整合云安全产品的技术优势,联合优质等保咨询、等保测评合作资源,为客户提供了一站式等保咨询服务,全面覆盖等保...
来自: 云产品
云速搭部署混合云备份HBR
云速搭部署混合云备份HBR
本实践以ECS文件备份为例,通过CADT设计备份架构,一键部署演示环境。
20211023 3 云速搭部署混合云备份HBR 云速搭架构设计入门 云速搭架构设计入门 方案架构 混合云备份 HBR(Hybrid Backup Recovery)作为阿里云统一灾备平台,是一种简单 易用、敏捷高效、安全可靠的公共云数据管理服务,可以为阿里云 ECS整机、ECS 据库、文件系统、NAS、OSS以及自建机房内的文件、数据库、虚拟机、大规模 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,混合云备份,云速搭CADT
云上高并发系统改造
云上高并发<em>系统</em>改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
尽可能避免跨查询:关联查询的数据尽量分散到同一个分片中,跨查询对 性能损耗很大。避免跨分表联表查询的方式有:a)剥离出高频访问的表,与核心表 1:1关系的,进行反范式设计,将核心表加 宽 b)如果与核心表是 N:1关系的,将高频访问字段冗余到核心表中 c)低频访问数据,业务功能设计上,避免一页展示大而全,...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
云原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库,可提供PB级海量数据在线/离线分析服务,是面向各行各业的有竞争力的数仓方案,真正做到“人人可用的数据分析服务”。
数据传输服务.DMS提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的web数据库管理终端,可以为企业用户快速复制搭建与阿里集团同等安全、高效、规范的数据库DevOps研发流程解决方案.数据管理 DMS.查看全部日志.自研云原生架构全量解耦计算和存储;用户可基于自身业务的独特性,动态调整实例资源!存算分离架构...
来自: 云产品
Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集<em>系统</em>
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
性能压测.51 文档版本:20210806(发布日期)1 Function Compute构建高弹性大数据采集系统 最佳实践概述 最佳实践概述 概述 当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类 服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游 戏运营,产互行业中的数字营销,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
中间件
阿里云中间件产品支撑了淘宝、天猫、盒马、菜鸟、高德等阿里巴巴集团核心业务,整合了阿里云计算、存储、网络等基础产品,服务百万企业与开发者,助力系统稳定高效运行。
近年来KV存储(HBase)、搜索(ElasticSearch)、流式处理(Storm/Spark Streaming/Samza)、时序数据库(OpenTSDB)等专用系统应运而生,产生了同一份数据集需要被注入到多个专用系统内的需求。利用大数据消息中间件 Kafka 作为数据中转枢纽,同份数据可以被导入到不同专用系统中。​​.发布/订阅模型,支持同份数据集能...
来自: 云产品
云服务器 ECS
阿里云服务器ECS是一种处理能力可弹性伸缩的云主机虚拟服务器,它使服务器托管更安全稳定,可降低开发运维成本,支持包年包月、按量付费等模式,方便财务更好管理
相关产品云服务器ECS本产品专有网络 VPC弹性公网 IP负载均衡SLB云数据库RDS一键部署电商行业业务及数据库上云电商行业业务及数据库上云的常见架构,推荐使用通用型u1实例,提供充足的库存和算力保障降本增效将电商业务和数据库上云,减少了硬件投入和运维成本;同时ECS的弹性伸缩和自动化运维能力,可以根据业务需求自动...
来自: 云产品
DTS数据同步集成MaxCompute数仓
DTS数据同步集成MaxCompute数仓
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成,并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
数据抽取不幂等或容错率低,如凌晨 0:00启动的 ETL任务因为各种原因(数据库 HA切换、网络抖动或 MAXC写入失败等)失败后,再次抽取无法获取 0:00时的 状态。2.针对不规范设计表,如没有 create_time/update_time的历史遗留表,传统 ETL需 全量抽取。3.实时性差,抽取数据+重试任务往往需要 1-3小时。另外数据库的数据...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,数据传输,DataWorks,大数据计算服务 MaxCompute
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据,我们如何进行数据库的选项,这里对比了开源的两种常见分析性 据库。ClickHouse对数据采用有序存储的方式,其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征,并且结合 LSM tree的设计进一步进行优化,使得 写性能达到最优(可达到 200MB/S...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
业务多活容灾解决方案
业务多活,英文Multi-Site High Availability,顾名思义就是业务分布在多个站点且同时对外提供 服务。与传统的灾备的最主要区别就是"多活 "里的所有站点同时在对外提供服务,不仅解决了容灾本身问题,提升了业务连续性,并且实现了容量的异地扩展。
解决多活场景跨地域(百公里~千公里)数据同步的压缩、高效传输、数据防循环等技术难题.实时向上层多活管控系统上报数据同步状态,实施单元间流量切换时的数据保护策略.单元内通过数据传输服务实现 RDS、PolarDB-X 到 ADB 的数据同步,实现单元内 AP 业务、TP 业务均可多活.数据库UNIT类型多活架构.数据库 UNIT 类型多...
来自: 解决方案
数据湖构建 Data Lake Formation
数据湖构建服务是阿里云上数据湖架构中的核心部分,助力用户构建数据湖系统。支持多数据源实时入湖,实现湖上元数据统一管理,提供企业级权限控制,无缝对接多种计算引擎,打破孤岛,洞察业务价值
企业级数据权限管理 用户可以针对、表、字段分别设置权限.支持上游多种计算引擎 轻松构建全链路数据湖服务.兼容Hive Metastore 提供多语言Open API,易集成.独有JindoFS数据加速功能 提供高性能数据湖分析加速能力.用户过亿的某在线教育平台.用户希望课件素材、应用日志、学习采样等数据能够集中存储,统一管理。用户也...
来自: 云产品
云备份 Cloud Backup
云备份 Cloud Backup作为阿里云数据统一灾备平台,是一种简单易用的公共云灾备服务,可以为阿里云ECS上的数据库、文件系统、NAS、OSS以及自建机房内的文件、虚拟机、大规模NAS等提供安全、高效的备份和容灾保护。图形化界面集中配置备份策略,并完全托管备份活动,轻松满足业务与合规需求。
云备份(Cloud Backup,原混合云备份 HBR)作为阿里云统一灾备平台,是一种简单易用、敏捷高效、安全可靠的公共云数据管理服务,可以为阿里云 ECS 整机、ECS 数据库、文件系统、NAS、OSS、Tablestore 以及自建机房内的文件、数据库、虚拟机、大规模 NAS 等提供备份、容灾保护以及策略化归档管理.查看产品文档.数据灾备中心...
来自: 云产品
云迁移中心
云迁移中心,为应用程序上阿里云提供迁云成本分析,网络拓扑图自动生成,一站式应用程序迁移监控,同时支持IDC和他云环境,加速和简化应用迁移。
提供关系型数据库、非关系型数据库、大数据系统等多种生产数据的元信息调研能力,统计表字段等明细结构,辅助用户快速完成上云分析和配置.集成阿里云主流大数据迁移产品,一站式数据上云任务总览和管理能力.大数据开发治理平台.智能数据构建与管理.推荐搭配使用.大数据上云与数据中台建设.大数据上云与数据中台建设.针对...
来自: 云产品
保险上云解决方案
保险上云解决方案解决保险基础设施上云底层设计,核心系统分布式架构,业务数据化,运营数字化的全方位解决方案。支撑保险行业数据智能、业务敏捷、数据安全,和人工智能技术服务能力。
根据您提交的需求,将有售前专家免费服务!根据您提交的需求,将有售前...人保健康用3个月时间,把原单体系统改造成为新一代电商核心系统,实现了高性能、高可用、高安全的设计目标,支撑业务上快速创收。高效的数字化的保单处理能力和效率提升,推动人保健康正式进入互联网保险业务新时代.中国人民健康保险.中国人民健康保险.
来自: 解决方案
同地域跨可用区容灾
同地域跨可用区容灾
场景描述 面向阿里云公共云客户, 1.业务在同一个地域(Region) 2.应用已经无状态 3.在不大幅增加成本的情况下,希望获得支持业务的跨可用区(Zone)容灾能力 3.希望对整体的应用做容灾备份(简称容灾),而非单独的数据库或存储等 解决问题 提供云上高可用架构方案并提供可参考的跨可用区架构提供简单的容灾演练 产品列表 云服务器(ECS)、数据库(RDS)、专有络(VPC)、负载均衡(SLB)、消息队列(MQ)等
Redis 单 不可演 一可用区 练,容 不可用 灾由 自动 完成 DRDS 单 不可演 一可用区 练,容 不可用 灾由 自动 完成 单一可用 不可演 区不可用 练,容 灾由 自动 完成 Demo 演练逻辑:通过 RDS 的主备切换功能,手动使数据库访问备库,验证网站访问和数据的读写是否正 常。一、确认当前 RDS主备库信息 登陆RDS ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,访问控制
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用