开源大数据平台 E-MapReduce 相关资源
阿里云大数据平台 E-MapReduce 提供详细的产品文档，面向开发者提供全方位的服务，有免费的实验课程和解决方案体验馆，帮助您快速上手。在阿里云 E-MapReduce 开发者社区，您可以和更多开发者交流。
本文在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。在EMR Notebook提交任务时这个用户可以指定吗？不支持指定，在创建spark session前运行一下os.environ["HADOOP_USER_NAME"]="xxx"就可以把提交用户改成xxx。EMR Workflow后续会如何收费...
来自：
云产品
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
存储引擎：阿里云Kafka架构，有云存储和Local存储。（详细对比参见文档：https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for-kafka/pro duct-overview/comparison-between-storage-engines） 消息类型：普通消息。创建Group： Group名称：根据实际业务自行填写。 Group描述：根据实际业务...
中小企业基于SAG APP实现云上移动办公
1. 客户端一键接入上云，配置自动化 2. 城域内 Internet 就近接入，快速高效 3. 数据加密传输，满足安全性要求 4. 阿里云控制台统一配置管理
中小企业基于 SAG APP实现云上移动办公 最佳实践 业务架构 场景描述 公司已在阿里云上部署了应用服务，如 OA系统、办公管理后台等，公司员工日常通过办公网络访 问云上资源。随着公司的不断发展，移动办公的场 景越来越多，如出差、在家办公等。公司运维人员 也要求在任何时间和任何地方都能安全访问云资 源。解决问题 1....
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
阿里云对象存储OSS（ObjectStorageService）：是一款海量、安全、低成本、高可靠的云 存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种 存储类型供选择，全面优化存储成本。 云速搭CADT（CloudArchitectDesignTools）：是一款为上云应用提供自助式云架构管理 的产品，显著地降低应用...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
分布式云容器平台ACKOne：是阿里云面向混合云、多集群、分布式计算、容 灾等场景推出的企业级云原生平台，ACKOne可以连接并管理您任何地域、任 何基础设施上的Kubernetes集群，并提供一致的管理和社区兼容的API，支持 对计算、网络、存储、安全、监控、日志、作业、应用、流量等进行统一运维管 控。 日志服务SLS：是云...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
ECS规格：c7.4xlarge，数 连线，类型选择 量为2 PodAndNode 微服务治理 支付方式：按量，企业版 2C4G，2节点，固定可用 开通监控prometheus 云原生网关 微服务引擎 区 和SLS MSE 支付方式：按量 建议生产环境选择企 注册中心 引擎类型：Nacos 业版本 开发版，1C2G，1节点 不提供公网带宽 默认创建：支付方式：按量 topic：...
混合云HBR云上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案，可以为任何位置的客户虚拟机和数 据提供强有力的保护，包括企业数据中心、远程和分 支机构以及云上资源；支持加密、压缩、重删，保证 数据快速、安全、高效地备份到云上，本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
文档版本：20190716 29 混合云HBR云上备份VMware虚拟机 部署阿里云混合云存储客户端 文档版本：20190716 30 混合云HBR云上备份VMware虚拟机 配置阿里云混合云存储网关进行备份 4.配置阿里云混合云存储网关进行备份 4.1.注册登录混合云备份网关 步骤1 登录vSphereWebClient。步骤2 选中OVF模板，右键选择启动>打开电源。步骤...
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时，IT人员通常会面临以下问题，本文希望通过场景实践的方式，示范如何结合使用不同阿里云产品，来解决这些问题：用户如何管理？企业已有AD用户如何上云？云上共享文件服务权限怎么管？数据安全问题有保障吗？该如何设置？云桌面能使用本地机房或IDC中的服务吗？ 本文使用的应用场景： 场景1：客户A在云上新建Windows ActiveDirectory（以下简称AD）；弹性云桌面，和NAS文件存储服务部署在AD所在的VPC内。场景2：客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3：客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势： 易部署：弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用，配置实时生效，快速完成部署。 低成本：弹性云桌面无需前期传统硬件投资，帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道，比建立专线更便宜，快速实现混合云。 安全性：VPN网关使用IKE（秘钥交换协议）和IPSec对传输数据或进行加密，保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控：通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云，和文件级别的权限管控。
类别 配置项 说明 区域 区域 华北 2（北京）专有网络 状态 新购（本实践为新购，可根据实际情况选取）VPC 名称 企业云上业务 VPC IPv4网段 推荐网段 192.168.0.0/16 交换机 状态 新购（本实践为新购，可根据实际情况选取）名称 企业云上业务交换机 可用区 华北 2（北京）可用区 H IPv4网段 192.168.60.0/24 ECS 地域及可用...
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
小型互联网迁移阿里云 最佳实践 业务架构图 场景描述 本方案主要适用于中小型互联网企业，从他云迁移到 阿里云，方案涉及网络规划、服务器、数据库、存储 数据、Kafka和镜像数据的迁移方案内容；同时在实 践环节，增加服务器和 RDS的迁移操作演练和验证。解决问题 提供服务器、数据库等关键环节的平滑迁移方案 提供云上高...
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一，主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品，向客户提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时支持灵活扩展，可以直接使用自助服务界面。
云存储网关 CSG.文件存储 HDFS.数据库文件存储 DBFS.智能媒体管理 IMM.混合云容灾服务 HDR.存储容量单位包 SCU.负载均衡 SLB.弹性公网 IP.Web 应用防火墙.办公安全平台 SASE.终端访问控制 UEM.容器服务 ACK.容器服务 Serverless 版 ASK.Serverless 应用引擎 SAE.容器镜像服务 ACR.企业级分布式应用服务 EDAS.应用高可用服务...
来自：
云产品
企业办公安全访问一体化
本场景模拟企业办公环境，基于 CSAS 服务构 建企业办公安全一体化方案，将“安全 + 网络” 能力无缝融合，实现了对云下办公终端安全的统 一管理，企业无需在投资复杂且昂贵的传统硬件 安全设备，即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
企业办公网络、安全一体化管理 最佳实践频道 阿里云最佳实践技术分享群 产品列表 云安全访问服务CSAS 云服务器ECS 专有网络VPC 云数据库RDS 对象存储OSS云服务器ECS（产品名称）文档模板（手册名称）/阿里云 企业上云实践 企业办公安全一体化访问 最佳实践 文档版本：20210129 文档版本：20150122（发布日期...
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
文档版本：20200630（发布日期）34 云上日志集中审计 集中云安全产品日志 步骤3 根据需要，选择配置参数，本实践示例配置：配置项 说明 当前版本 企业版 资产数 50台 带宽（互联网防火墙吞吐量）50Mbps 日志分析 是 日志存储容量 4000GB 购买时长 1个月 文档版本：20200630（发布日期）35 云上日志集中审计 集中云安全产品...
云原生数据库PolarDB 分布式版
PolarDB 分布式版是阿里云自主设计研发的高性能云原生分布式数据库产品，为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。
云原生数据库 PolarDB 云原生数据库 PolarDB 分布式版 PolarDB 分布式版(PolarDB for Xscale，简称“PolarDB-X”)是阿里云自主设计研发的高性能云原生分布式数据库产品，为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。新用户购买 PolarDB 分布式 标准版2核4G/4核8G实例 享1年付2.8折优惠！立即...
来自：
云产品
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
创建 V1.1 2019/09/19 筱晖-文档优化 V1.2 2019/12/03 云魁 增加快照恢复 到阿里云 ElasticSearch 实例 V1.3 2021/08/02 游士 使用 CADT迭 代文档并优化 文档版本：20210802 I 自建 ElasticSearch快照备份 OSS 前言 前言 概述 客户业务系统部署在 IDC或者公有云环境，通常会部署基于 ELK的日志收集、存 储、分析和展现系统...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
hangzhou_jindo.uri oss:/emr-hz-jfs-bucket/block_mode/jfs.namespaces.emr_hangzhou_jindo.mode block 步骤2 JindoFS块存储模式生效之后，使用 6.1.2步骤进行数据迁移，完成后可以看到类似上 面的 DistCp迁移报告：文档版本：20210714 58 自建Hadoop数据迁移到阿里云 EMR 迁移到其他阿里云存储服务 步骤3 使用命令行查看 ...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
云上持续审计合规 最佳实践 业务架构 场景描述 企业会面临外部对企业云上信息系统的合规要求，如等 保 2.0法规要求，同时当云上资源达到一定规模时，在 内部会制定合规管控的基线，满足自身管理效率和安全 合规的需求，包括记录云上资源管理的操作日志、资源 配置变更日志，还需依赖云平台提供的持续监控和自动 告警能力，...
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
本最佳实践的网络规划方案如下：类型 地域 IP网段 连接方式 VPC 北京 10.0.0.0/24 模拟使用阿里云 RDS实例 VPC 杭州 172.16.0.0/24 模拟 IDC机房自建 MySQL VPC 上海 192.168.0.0/16 模拟云上自建 PgSQL 其中北京模拟云上 RDS服务，杭州模拟模拟线下 IDC机房自建数据库，上海模拟云 上自建数据库实例。本最佳实践通过 DMS,...
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
创建并配置 cpfs 背景信息 上述配置中，我们在华北 2（北京）配置了 worker节点，计算时，worker节点读取 存储上的数据。所以，我们把 cpfs实例建立在华北 2（北京）区域，通过 CEN，华 东 2（上海）的 master节点也可以访问到 cpfs。创建 cpfs 步骤1 登录阿里云控制台。步骤2 通过产品与服务导航，定位到文件存储 NAS，...
- 产品推荐
- 这些文档可能帮助您