基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步，跨帐号阿里云Kafka实例 之间消息、元数据同步，阿里云Kafka实例和IDC 自建Kafka（其他云Kafka）之间消息、元数据同步。应用场景 在大数据场景，企业的Kafka实例...
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SLS 数据入湖 Kafka 最佳实践 业务架构 场景描述 应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的 聚合、分析处理和导出等，本方案给出了在多 云/混合云场景下，构建通过标准的Kafka协议 和托管服务，SLS可以连接Kafka数据入湖导 入，然后进行统一的海量数据的集中存储、智 能转储、...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 业务架构 场景描述 日志服务SLS提供Elasticsearch兼容接口，支 持客户将日志采集到日志服务后，仍可以继续沿 用Elasticsearch的查询方案，即通过使用 Kibana访问日志服务的Elasticsearch兼容接 口，实现查询SLS数据。应用场景 自建ELK日志系统的客户迁移到阿里云日志服 务...
ECS 数据备份与保护
随着企业核心业务规模不断扩大，需要根据业务需求对生产环境中的关键数据进行定期备份。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台ECS 数据备份与保护方案介绍方案优势应用场景方案部署ECS 数据备份与保护随着企业核心业务规模不断扩大，需要根据业务需求对生产环境中的关键数据进行定期备份，在发生误操作、病毒感染、或攻击等情况时，能够快速从已有的快照恢复到某个...
来自：
解决方案
数据同步服务
数据同步 MSS，源于阿里云移动开发平台。移动数据同步 MSS，通过一个安全的数据通道 TCP+SSL，及时、准确、有序地将服务器端的业务数据，主动的同步（SYNC）到客户端 App。提供增量、可靠的消息触达能力，将聊天消息按发送方的发送顺序，有序推送至指定用户。可以动态地将配置信息进行全设备推送，保证在线 APP 可实时接收推送数据。
网络遭到干扰时，TCP 长连接重建后即刻完成数据同步.客户端与服务端之间的可靠消息中间件.mPaaS 小程序.移动安全加固.发布服务 MDS.网关服务 MGS.移动分析 MAS.智能投放 MCDP.消息推送 MPS.解决方案：移动智能营销.解决方案：视频云营业厅.解决方案：APP安全合规.数据同步 MSS.移动开发平台.更多产品与服务.实时、高效、...
来自：
云产品
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
适用场景◆数据库双向同步◆数据库全局 ID不冲突◆双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。奇偶 ID涉及，避免数据冲突。文档版本：20220209 1 异地双活场景下的数据双向同步 最佳实践概述 DTS多种处理...
DTS数据同步集成MaxCompute数仓
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成，并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
DTS使用 binlog作为大数据同步的手段，将全量数据同步到 base表，增量数据依赖 binlog实时同步到 log表，统一做合表清洗可以拿到任意时间点的快照数据，从而实 文档版本：20220126（发布日期）37 DTS数据同步集成 MaxCompute数仓 MaxCompute数仓搭建 现 ETL幂等，大大提高数据仓库的数据质量。步骤1 请参考 2.1.创建数据库...
无代理ECS数据备份与高效环境搭建
本方案是基于快照提供数据保护和环境搭建的解决方案。可以帮助您实现无代理且有效可靠的数据备份，同时还可以帮助您快速克隆部署开发测试环境。使用基于快照的备份不仅简单有效，在数据备份以及恢复中也能保证稳定可靠，同时基于快照的环境搭建，不仅可以免于从0到1搭建环境，还可以将环境、数据等全部打包克隆到新机器上。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台无代理ECS备份与高效环境搭建方案介绍方案优势应用场景方案部署方案权益无代理ECS备份与高效环境搭建本方案是基于快照提供数据保护和环境搭建的解决方案，可以帮助您实现无代理且有效可靠的数据备份，同时还可以帮助您快速克隆部署开发测试...
来自：
解决方案
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
企业级云灾备与数据管理
本方案以备份 ECS 文件为例，介绍如何部署一个简单的云灾备环境，以满足常见的数据保护需求。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台企业级云灾备与数据管理方案介绍方案优势应用场景方案部署方案权益企业级云灾备与数据管理云备份 Cloud Backup 为企业数据安全提供了全方位的云灾备、冷热数据统一管理能力，全面覆盖公共云、混合云以及本地 IDC 生产环境，帮助用户减少因...
来自：
解决方案
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体，能够解决公共云、混合云场景下，远距离、毫秒级异步数据传输难题，支持关系型数据库、NoSQL、大数据(OLAP)等数据源，其底层基础设施采用阿里双11异地多活架构，为数千下游应用提供实时数据流，已在线上稳定运行7年之久。
仅需简单几步配置，即可快速构建安全稳定的跨云数据同步方案.提供免费的同步链路性能检测功能，可以一键自测数据同步作业的链路状态信息和多种性能指标，并给出相应的优化建议.提供可视化管理界面，提供向导式的链路创建流程，可以在其控制台简单轻松地创建传输链路.支持阿里云云数据库、阿里云ECS、本地数据中心、其他云...
来自：
云产品
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
测试等待表结构和数据同步完成 步骤1 数据同步实例显示同步中，单击实例 ID进入管理页面查看详情。文档版本：20210224 55 游戏数据运营融合分析 部署 RDS-ADB高性能库数据采集 文档版本：20210224 56 游戏数据运营融合分析 部署 ECS-SLS数据采集 3.部署 ECS-SLS数据采集 3.1.部署应用环境，模拟日志写入 本节将进入 3台应用...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
4.数据生态：打通云上各个数据源，方便数据同步和迁移。数据可视化（QuickBI）：是一个专为云上用户量身打造的新一代智能 BI服务平台。它可以提供海量数据实时在线分析服务，支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。文档版本：20201224 8 基于 Flink+ClickHouse...
数据传输解决方案
数据传输解决方案支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，解决远距离、毫秒级异步数据传输难题。
支持更安全、可靠、快速、灵活的数据传输服务.DTS产品介绍.DTS数据迁移.DTS数据订阅.DTS数据同步.数据传输服务(Data Transmission Service)DTS支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下，解决远...
来自：
解决方案
实时同步RDS与Redis构建缓存一致性
通过DTS数据订阅能力，用户可以实时订阅RDS日志数据变更，并将其写入Redis以实现缓存数据的更新，可以实现MySQL与Redis之间的缓存同步一致性。
解决问题：数据同步实现复杂MySQL和Redis之间保持数据一致性是业务刚需，但两者是异构数据同步，业务逻辑实现复杂、开发难度大，没有日志数据订阅、业务逻辑编写、目标数据写入端到端的代码示例等。相关产品云数据库 RDS MySQL 版数据传输服务 DTS云数据库 Redis 版云服务器 ECS专有网络 VPC在线咨询方案优势数据实时同步...
来自：
解决方案
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
文档版本：20201209 25 跨云迁移单写双读过渡架构 服务器和数据迁移 步骤3 选择 user表进行同步。步骤4 预检测，启动任务，等待完成进入同步中。文档版本：20201209 26 跨云迁移单写双读过渡架构 服务器和数据迁移 步骤5 登录北京地域的数据库。步骤6 新建 SQL查询。步骤7 执行 SQL查询，可见数据已经被成功同步过来。文档...
- 产品推荐
- 这些文档可能帮助您