利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受，除业务系 统上云外，很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大，迁移上云需要大量的 网络带宽，BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限（移 动/联通/电信均可），可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包 文档版本：20191010（发布日期）云服务器ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 利用低成本链路 完成业务数据迁移上云 最佳实践 文档版本：20150122（发布日期）2 利用低成本链路完成业务数据迁移上云 ...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
DTS数据同步集成MaxCompute数仓
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成，并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
数据抽取不幂等或容错率低，如凌晨 0:00启动的 ETL任务因为各种原因(数据库 HA切换、网络抖动或 MAXC写入失败等)失败后，再次抽取无法获取 0:00时的数 据状态。2.针对不规范设计表，如没有 create_time/update_time的历史遗留表，传统 ETL需 全量抽取。3.实时性差，抽取数据+重试任务往往需要 1-3小时。另外数据库的数据...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
通过Nginx和Pythonflask搭建WebServer，模拟应用中的关 键页面，比如登录、课程内容等，之后构造若干用户使用的模拟日志数据，投递到数 据湖进行分析后获取应用PV、UV、课程内容访问排行、平均得分等等。方案优势 支持超过10亿条元数据规模的数据管理，同时支持高可靠和高可用。 支持元数据实时备份和重建集群快速恢复...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
为 Dataworks独享集成实例配置网络 通过 CADT架构图跳转到 Dataworks独享实例页面 点击网络配置 文档版本：20240419 28 大数据近实时数据投递 MaxCompute 选择网络信息，选择 Kafka实例所在的 VPC，VSW以及安全组。5.4.配置 Kafka数据源 进入数据集成页面 新增数据源 文档版本：20240419 29 大数据近实时数据投递 ...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
云企业网可帮助您在不同地域 VPC间，VPC与本地数据中心间搭建私网通信通道，通过自动路由分发及学习，提高网络 的快速收敛和跨网络通信的质量和安全性，实现全网资源的互通，帮助您打造一 文档版本：20201013 II 数据迁移上云最佳实践 前言 张 具 有 企 业 级 规 模 和 通 信 能 力 的 互 联 网 络。详见：...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，无需对数据分析应用做...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
本最佳实践重点在于介绍狭义的数据加密 存储安全范畴，即首先使用 SDDP产品进行敏 感数据发现和分级分类，然后对高级别敏感数 据进行按需、不同类型的全链路加密存储。解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别 SDDP 密钥...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：以上是整体的架构图，下面我们来逐步拆解：数据源 这里来模拟采集用户一些行为数据，数据格式如下：{"action":"readArticle","articleTitle":"FC+Kafka最佳实践","articleAuthorId":1,"articleAuthorName":"jiyuan","ts":1621577423 } 文档版本：...
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
基于弹性供应组构建大数据分析集群最佳实践 业务架构 场景描述 基于弹性供应组（APG）搭建 spark计算集 群，提供一键开启跨售卖方式、跨可用区、跨实例规格的计算集群交付模式的实践。方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用 spot实例 交付，最高可省 90%成本。2.稳定可靠：跨可用域、跨实例...
云速搭部署 Elasticsearch 应用
本实践通过云速搭实现一个 DTS+Elasticsearch 的搜索引擎架构，构建一个快速分析和检索 业务数据的系统。
专有网络由逻辑网络设备（如虚拟路由器，虚拟交 换机）组成，可以通过专线/VPN等连接方式与传统数据中心组成一个按需定制的 网络环境，实现应用的平滑迁移上云。详见：https://www.aliyun.com/product/vpc 数据传输服务 DTS：Data Transmission Service，简称 DTS，是一种集数据迁移、数据订阅及数据实时同步于一体的数据...
云速搭部署 DTS 应用
通过云速搭实现 通过云速搭实现一个 DTS 和两个 RDS 实例的创建，并通过配置同步策略，将源 RDS数据库库中的数据同步到目标 RDS 数据库中。
其底层基础设施采用阿里双 11异地多活架构，为数千下游应用提供实时数据流，已在线上稳定运行 6年之久。详见：https://www.aliyun.com/product/dts。文档版本：20220104 3 云速搭部署DTS应用 云速搭架构设计入门 云速搭架构设计入门 方案架构 通过云速搭实现一个 DTS和两个 RDS实例的创建，并通过配置同步策略，将源 RDS ...
云速搭部署ADB应用最佳实践
本实践通过云速搭实现一个云原生数据仓库AnalyticDB MySQL版的产品实例。
专有网络由逻辑网络设备（如虚拟路由器，虚拟交 换机）组成，可以通过专线/VPN等连接方式与传统数据中心组成一个按需定制的 网络环境，实现应用的平滑迁移上云。详见：https://www.aliyun.com/product/vpc 云原生数据仓库 ADB：云原生数据仓库 AnalyticDB MySQL版是一种支持高并发 低延时查询的新一代云原生数据仓库，高度...
云速搭部署Flink应用
本水煎通过云速搭实现一个DataHub+Flink的实时流计算引擎架构，利用DataHub收集原始数据，推送到Flink进行基于流式数据的分析和应用。
更多信 息，详见：https://www.aliyun.com/product/bigdata/sc 数据总线 DataHub：是阿里云提供的流式数据(Streaming Data)服务，它提供流 式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻松构建基于流式数 据的分析和应用。详见：https://www.aliyun.com/product/datahub 对象存储 OSS（Object Storage Service...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
它底层的数据流基础设施为阿里双 11异地多 活基础架构，为数千下游应用提供实时数据流，已在线上稳定运行 6年之久。您 可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。详见：https://www.aliyun.com/product/dts 云企业网：阿里云致力于为用户提供优质、高效、稳定的网络传输环境，云企业网（Cloud Enterprise ...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
3.数据加工：消息队列收到的原始数据，往往存在格式不齐或内容不全，需要经过数 据清洗（ETL）之后，才能更好的被下游业务使用。而整个 ETL过程，是实时数 仓架构设计上非常重要的一环，该环节要做到延时小，成本低，可扩展性好，业务 指标计算准确。在系统选型上，推荐使用实时计算 Flink对数据进行处理，因为 Flink具有...
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构，能够满足不同的业务场景需要。
每天自动备份数据，数据容灾能力强，免费支持7天内的任意时间点数据的恢复，有效防范数据误操作，降低业务损失.VPC专有网络.实例部署在利用OverLay技术在物理网络基础上构建的专有VPC虚拟网络上，在TCP层直接进行网络隔离保护.DDOS防护.在网络入口实时监测，当发现超大流量攻击时，对源IP进行清洗，清洗无效情况下可以直接...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您