灵活配置，高效执行，快速集成分布式任务调度
企业级应用中经常会遇到数据定时处理、文件处理、报表生成等定时处理的任务，对于任务配置和执行率有较高要求，本文介绍如何利用SchedulerX来实施企业级定时任务的调度与管理，为定时任务提供高效、稳定和灵活的解决方案。
使用SchedulerX与传统方案对比 在传统方案中，通常会引入分布式任务调度框架或系统，并根据业务量的变化手动配置资源和调整架构。然而，这些方案存在着高硬件成本、管理复杂和可运维性差等问题，同时需要投入较高的资源、时间和人力成本。因此，本文推荐采用阿里云分布式调度 SchedulerX。传统方案 阿里云分布式调度...
来自：
技术解决方案
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
执行命令“shrocketmq-perf.sh”，开始压测，步骤8 压测完成后，会在/root/openmessaging/benchmark目录下自动生成压测结果json文 件，如下 文档版本：20240506 26RocketMQ性能压测快速方案 一键释放资源 步骤9 打开该json文件，查看压测结果，记录消息生产速率（publishRate）、消息消费速率（consumeRate）的大概平均数据...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
target_kafka_topic：业务系统Kafka云上备份实例的Topictopic-sync-b 业务系统Kafka云上备份实例的连接地址可以打开CADT控制台，双击业务系统Kafka 云上备份实例图标，在下方资源清单中找到。文档版本：20240330 49基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 4.6.配置sync-metadata-func-ram-b...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
5.1.ACK集群部署应用 步骤1登录ACK集群，新建命名空间project-qa（如果修改了命名空间名称，需要对应修改后续yaml文 件的namespace参数）文档版本：20240229基于SpringCloud玩转MSE 步骤2：在命名空间中，通过YAML分别创建4个应用：基线版应用：mseconsumer、mseprovider 灰度版应用：mseconsumer-gray、mseprovider-gray ...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
文档版本：20211025（发布日期）15 低成本跨境文件传输最佳实践 配置实验环境 第 三 组 是 超 大 文 件。initMultipartUpload，uploadParts，completeMultipartUpload 函数负责处理超大文件。项目详细流程图和处理逻辑参考：https://github.com/awesome-fnf/oss-copy 步骤1 下载 oss-copy源码 cd/opt yum install-y git git...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
基于阿里云分布式文件系统和 SSD盘高性能存储，RDS 支持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎，提供了容 文档版本：20220506（发布日期）III 云上高并发系统改造 前言 灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的 烦恼。更多信息，请参见：...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
需要使用 Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，无需对数据...
基于HBR云上统一备份
场景描述 混合云备份（简称HBR）是一种简单易用且高性价 比的在线备份服务，可以为阿里云ECS，NAS，OSS 以及自建机房内的各类数据提供安全，高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
更多信息，请参见：https://www.aliyun.com/product/oss 文件存储 NAS：件存储 NAS是一个可共享访问，弹性扩展，高可靠，高性能的 分布式文件系统。兼容 POSIX 文件接口，可支持数千台计算节点共享访问，可 以挂载到弹性计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计 算 BCS、高性能计算 EHPC，AI训练 PAI等...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
详情请查看 https://www.aliyun.com/product/emapreduce HDFS Hadoop 分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分布式文 件系统，它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式 文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉 价的机器上。HDFS能提供高吞吐量的...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
详见：https://www.aliyun.com/product/eip 文件存储 NAS：是一个可大规模共享访问，弹性扩展的高性能云原生分布式文件 系统。支持智能冷热数据分层，有效降低数据存储成本。广泛应用于企业级应用数 据共享、容器、AI机器学习、Web 服务和内容管理、应用程序开发和测试、媒体 和娱乐工作流、数据库备份等场景。详见：...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
基于阿里云分布式文件系统和 SSD盘高性能 存储，RDS支持 MySQL、SQL Server、PostgreSQL、PPAS（高度兼容 Oracle）和 MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决 方案。文档版本：20210721 IV 自建Hive数据仓库跨版本迁移到阿里云 EMR 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V ...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
基于阿里云分布式文件系统和 SSD盘高性能存储，RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎，提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
名词解释 HDFS Hadoop 分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分布式文 件系统，它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式 文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉 价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应 用。VPN...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
基于阿里云分布式文件系统和 SSD盘高性能存储，RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎，提供了容灾、备份、恢复、监控、迁移等方面全套解决方案，彻底解决数据库运维烦恼。详见：https://www.aliyun.com/product/rds/mysql 文档日期：20210726 V 云上持续审计合规最佳实践 目录 目录 文档版本信息.I ...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
hadoop fs-ls/extwarehouse/tpcds/2 文档版本：20211029 66 CDH迁移升级 CDP最佳实践 数据迁移 进一步查看文件中的演示数据，都已正常复制（可以和 CDH中的同一个文件进行对 比）。hadoop fs-cat/extwarehouse/tpcds/2/call_center/data-m-00001 可见，HDFS已经正常复制到了 CDP集群。2.2.Hive/Impala迁移 首先，登录 CDH的...
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
通过云原生数据库 PolarDB 分布式版，高效支撑了双11业务，在订单业务峰值超过1亿件的情况下，系统平滑稳定运行。同时基于AnalyticDB,支撑了数十亿寄递数据和客户关系数据的多维分析.通过引入OLTP和OLAP型数据库，将在线数据与离线分析逻辑拆到两种数据库中，不再完全依赖Oracle.云原生数据库 PolarDB 分布式版方案极大地...
来自：
云产品
Serverless 应用引擎SAE
Serverless 应用引擎 SAE（Serverless App Engine）是一款零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 让您免运维 IaaS和 K8s，秒级完成从源代码/代码包/ Docker 镜像部署任何语言的在线应用（如 Web /微服务 /Job任务）到 SAE，并自动伸缩实例按使用量计费，开箱即用日志、监控、负载均衡等配套能力。
对标 Google CloudRun，提供 Web 应用上云的一站式快捷体验：包括免运维 IaaS、自动弹性伸缩、开箱即用 Web 应用防火墙、CDN全球加速、OSS 持久化存储、日志管理、负载均衡、RDS数据库等能力，同时还提供闲置计费和缩容到 0 的能力，让流量零星/有突发峰值的Web应用使用成本更低。该解决方案适用于个人博客、论坛、企业官网...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您