- 相关产品：
- 区块链溯源服务解决方案 光伏行业解决方案 可信一证通解决方案
开源大数据平台 E-MapReduce 相关资源
阿里云大数据平台 E-MapReduce 提供详细的产品文档，面向开发者提供全方位的服务，有免费的实验课程和解决方案体验馆，帮助您快速上手。在阿里云 E-MapReduce 开发者社区，您可以和更多开发者交流。
本文为您介绍在EMR on ECS上创建集群的操作步骤和.查看详情Q：如何清理创建失败的集群？A：集群创建失败，通常是由于RDS配置错误导致集群部署失败，或者是由于部分ECS没有库存导致的。如果在创建过程中，集群已经创建出来部分ECS实例，且集群状态为启动失败，这时需要您前往ECS控.查看详情Q：创建集群时报错“ECS库存不足”...
来自：
云产品
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
1.4、创建VPC对等连接，模拟专线连接，也可以通过公网连接 2、华东2（上海）region：2.1、开通云产品：Kafka、SAE 2.2、云服务器ECS（模拟业务产生日志）2.3、SAE模拟应用引擎（SAE或K8S集群等），产品日志数据，投递到 Kafka 文档版本：20240428 2SLS数据入湖Kafka最佳实践 最佳实践概述 产品介绍 专有网络VPC...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
云服务器ECS免去了您采购IT 硬件的前期准备，让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器，实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器，解决多种业务 需求，助力您的业务发展。 阿里云对象存储OSS（ObjectStorageService）：是一款海量、安全、低成本、高可靠的云 存储服务，...
基于函数计算FC实现大语言模型部署
在现代AI应用中， Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
步骤5 进入ModelScope首页,点击模型服务，完成 FC服务完整的授权链路，具体步骤如下所 示，记录魔搭社区 6位UID 步骤6 授权ModelScope使用阿里云服务，输入魔搭社区 6位UID完成ModelScope的 Role角 色授权并确认状态为已授权 文档版本：20240429 4 基于函数计算 FC实现大语言模型部署最佳实践 使用魔搭将社区模型部署到 FC ...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
微服 务的好处在于快速迭代，迭代过程保障线上流量不受损。依赖开源产品缺少专业运维工具，常常需要投入较大的运 维人力和成本。本实践基于云原生应用产品提供微服务注册配置中心、微 服务治理和云原生网关等一系列高性能和高可用的企业级 云服务能力。方案优势 本实践通过云速搭CADT，一键完成基础环境的搭建和部 署，提供...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
20240322 28容器多云统一监控日志 场景验证 步骤4 双击CADT画布中上海region名为ecs_k8s_cluster的ecs实例，点击“远程登录”步骤5 通过命令终端查看上海ECS上自建K8Spod运行状态，执行命令:kubectlgetpo-A 需要确认全部状态为Running，文档版本：20240322 29容器多云统一监控日志 场景验证 步骤6 在ECS上创建名为tunnel....
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
因为kafka-sync-func-ram-a函数负责从阿里云上的业务系统Kafka实例向模拟线下自 建开源Kafka集群同步消息，所以目标Kafka的连接地址是部署在ECS上的开源Kafka 集群，因为北京Region和上海Region网络在架构图中通过VPC对等连接进行了打通，所以使用该ECS的内网IP地址即可。步骤3 找到层，点击编辑。添加层，选择添加自定义层...
通过云速搭创建具有IPv6地址的ECS
随着国家推进 IPv6 规模部署行动计划的贯彻落实，以及工业互联网、物联网、5G 等前沿技术的快速发展，各行业用户 IPv6 改造诉求愈发强烈。 阿里云 IPv6 在互联网、金融、政企、传媒等各行业，提供了丰富的产品选择和可靠安全的服务体验。本文针对希望部署具有IPv6地址的ECS场景，提供一键部署模版，进行部署和效果验证。 应用场景 l 针对具备IPv6地址的ECS提供可视化架构 l 支持方案的批量部署和效果验证
弹性公网 IP：弹性公网 IP是独立的公网 IP资源，可与阿里云专有网络 VPC类型的云服 务器ECS、NAT网关、ENI网卡、私网负载均衡 SLB绑定，并可以动态解绑满足灵活管理的要 求。弹性公网 IP可为您在云上部署的网站提供 Internet访问服务。NAT网关：阿里云 NAT网关提供公网 NAT和私网 NAT两种功能。公网 NAT网关通过自定义 SNAT...
OA云资源申请流程自动化
在企业级客户场景中，对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案，以解决OA云资源申请流程中的自动化问题，提高运维效率，以更好地支撑业务创新。
最佳实践频道 阿里云最佳实践分享群 产品列表 云服务器 ECS 云速搭 CADT 云数据库 RDS 专有网络 VPC 钉钉扫描二维码或搜索钉群号 31852400入群 OA云资源申请流程自动化 最佳实践 文档版本：20240130（发布日期）OA云资源申请流程自动化 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 OA云资源申请流程自动化最佳...
中小企业基于SAG APP实现云上移动办公
1. 客户端一键接入上云，配置自动化 2. 城域内 Internet 就近接入，快速高效 3. 数据加密传输，满足安全性要求 4. 阿里云控制台统一配置管理
文档版本：20211008 8 中小企业基于 SAG APP实现云上移动办公最佳实践 环境构建 1.2.3.ECS部署 Web服务 用户可按照实际业务部署应用，这里通过在 ECS上部署 httpd服务模拟办公系统。步骤1 访问 ECS控制台 https://ecs.console.aliyun.com/#/server/region/cn-shanghai，查看 创建好的 ECS，勾选该 ECS，单击更多>发送远程...
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施，集团 旗下有多个分公司（如制造分公司和销售分公 司），各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴，拟达到以下 业务目标： 1. 各个分公司拥有独立的账号，可以购买云资 源，由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建，分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
产品列表 专有网络 VPC 资源管理 Resource Management 云服务器 ECS 配置审计 Config 最佳实践频道 阿里云最佳实践生态群 操作审计 ActionTrail 访问控制 RAM 云上 IT治理 Workshop 文档版本信息 阿里云 企业上云最佳实践 云上 IT治理 Workshop 文档版本：20210909（发布日期）云上 IT治理 Workshop 文档版本信息 文档版本...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
最佳实践频道 阿里云最佳实践分享群 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 数据库快速搭建疫情分析系统 最佳实践 文档版本：20210725 文档版本：20150122（发布日期）II 阿里云数据库快速搭建疫情分析系统最佳实践 文档版本信息 文档版本信息 文本信息 ...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
创建云服务器ECS.10 1.3.申请并绑定弹性公网IP（EIP）.14 1.4.部署Redis服务.17 1.5.部署RDS服务.22 1.6.部署应用服务.30 1.6.1.安装wordpress.31 1.6.2.配置访问云数据库RDS.34 1.6.3.开通redis支持插件，并配置云Redis.36 1.6.4.新建应用服务器.41 1.7.部署SLB服务.45 1.8.验证服务可用性.55 2.应用全球多地部署.58 2.1....
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
产品列表 日志服务 SLS 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 负载均衡 SLB 云服务器 ECS 云数据库 RDS 云防火墙 CFW 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 云上日志集中审计 最佳实践 文档版本：20200630（发布日期）文档版本：20150122（发布日期...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
名词解释 E-MapReduce 阿里云 E-MapReduce（EMR）是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink生态大数据 PaaS 产品。提供用户在云 上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学 习等场景下的大数据解决方案。详情请查看 ...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
详见：https://www.aliyun.com/product/ram 文档版本：20240419 III 大数据近实时数据投递 MaxCompute 前言 E-MapReduce EMR：是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品。提供用户在云上使用开 源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场 ...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
是阿里云提供的一种基础云计算服 务无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS实 例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。也能随时释 放资源，节省费用。文档日期：20210726 IV 云上持续审计合规最佳实践 场景描述 详见：https://www.aliyun.com/product/ecs RDS：...
云数据库RDS MySQL版备份恢复
场景描述 用户数据库数据， 部分需要快速、 小颗粒度恢复、 部分需要异地备份、部分需求长期归档。 当前自建 MySQL 上建立完善的备份/恢复系统无法完美满足用户需求， 且建设/维护成本很高。 RDS 的完善的备份/恢复方案可以有效帮助到用户。 方案优势 1. 可以方便实现本地备份及库表级别快速恢复， 快速应对误操作误删除等逻辑错误， 降低业务损失。 2. 可以方便实现异地备份， 实现数据级容灾， 满足合规要求。 3. 可以方便将数据进行归档， 实现长期数据的高性价比保存方案。 4. 有效提升用户数据备份效率， 降低维护工作量。 解决问题 1. 自建数据库发生误操作时恢复复杂 2. 部分数据发生错误进行恢复时可能影响其他数据访问 3. 异地备份操作复杂 4. 长期数据保存成本较高 5. 备份恢复系统维护所需人力成本较高
最佳实践频道 阿里云最佳实践分享群 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 云数据库 RDS MySQL版备份恢复 最佳实践 文档版本：20210427 文档版本：20150122（发布日期）II 云数据库 RDS MySQL版备份恢复 文档版本信息 文档版本信息 文本信息 属性 内容 ...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
应用场景 跨境对象存储数据传输需求 对跨境传输成本控制严苛 能接受一定程度网络抖动带来的文件同 步延迟 系统需要有足够的弹性和扩展性应对大 产品列表 规模文件的写入 云服务器 ECS 对象存储 OSS 专有网络 VPC 函数工作流 Serverless Workflow 日志服务 SLS 函数计算 FC 阿里云最佳实践分享群 最佳实践频道 如二维码过期...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
EMR：阿里云 E-MapReduce(EMR)是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品。提供用户在云上 使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等 场 景 下 的 大 数 据 解 决 方 案。更 多 信 息，请 参 见：...
- 产品推荐
- 这些文档可能帮助您