基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
企业需要对这些非结构 化数据做快速的分析和处理，然后应用到下游业务中，可能存到OSS，然后被客户端拉流观看，或者其他数据分析的业务中。所以需要一套高并发、低成本、自动化的方案。该最佳实践就适 用于这类场景。方案优势 在高并发场景下，基于Serverless技术架构，整个流程有更好的并发处理能力。 基于CloudFlow...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
因为kafka-sync-func-ram-a函数负责从阿里云上的业务系统Kafka实例向模拟线下自 建开源Kafka集群同步消息，所以目标Kafka的连接地址是部署在ECS上的开源Kafka 集群，因为北京Region和上海Region网络在架构图中通过VPC对等连接进行了打通，所以使用该ECS的内网IP地址即可。步骤3 找到层，点击编辑。添加层，选择添加自定义层...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
TO-BJ、VPC-BJ-TO-SH）步骤4 配置华东2（上海）到华北2（北京）IDC容器Prometheus指标上报路由，共2条 SH-TO-BJ-Prometheus-1 SH-TO-BJ-Prometheus-2 文档版本：20240322 22容器多云统一监控日志 场景验证 步骤5 配置华东2（上海）到华北2（北京）镜像仓库服务路由共2条 SH-TO-BJ-ACR SH-TO-BJ-ACR-Auth 文档版本：20240322...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
外部发布 制作人 敬海 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/07/15 敬海-创建 V1.1 2019/09/03 筱晖-文档优化 V1.2 2019/12/09 敬海-增加概览页 V1.3 2020/01/14 敬海-更新架构图 文档版本信息：20200114 I RAPIDS加速机器学习 前言 前言 概述 本文为在阿里云的 GPU实例上，采用 RAPIDS加速库，...
混合云HBR云上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案，可以为任何位置的客户虚拟机和数 据提供强有力的保护，包括企业数据中心、远程和分 支机构以及云上资源；支持加密、压缩、重删，保证 数据快速、安全、高效地备份到云上，本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
文档版本：20190716 29 混合云HBR云上备份VMware虚拟机 部署阿里云混合云存储客户端 文档版本：20190716 30 混合云HBR云上备份VMware虚拟机 配置阿里云混合云存储网关进行备份 4.配置阿里云混合云存储网关进行备份 4.1.注册登录混合云备份网关 步骤1 登录vSphereWebClient。步骤2 选中OVF模板，右键选择启动>打开电源。步骤...
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一，主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品，向客户提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时支持灵活扩展，可以直接使用自助服务界面。
倚天云服务器采用倚天710处理器，基于新一代CIPU架构，通过芯片快速路径加速手段完成计算、存储、网络性能的数量级提升，支持计算型(c8y)、通用型(g8y)、内存型(r8y)三种规格族，公测地域支持北京、上海、杭州和深圳.弹性计算\\tFPGA计算型实例规格族f5启动邀测.f5实例搭载第三代Intel ® Xeon ® 可扩展处理器（Ice Lake）...
来自：
云产品
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
提供用户在云 上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学 习等场景下的大数据解决方案。详情请查看 https://www.aliyun.com/product/emapreduce HDFS Hadoop 分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分布式文 件系统，它和现有的分布式文件系统有很多共同点。但同时，它和其他...
云原生数据库PolarDB 分布式版
PolarDB 分布式版是阿里云自主设计研发的高性能云原生分布式数据库产品，为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。
云原生数据库 PolarDB 云原生数据库 PolarDB 分布式版 PolarDB 分布式版(PolarDB for Xscale，简称“PolarDB-X”)是阿里云自主设计研发的高性能云原生分布式数据库产品，为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。新用户购买 PolarDB 分布式 标准版2核4G/4核8G实例 享1年付2.8折优惠！立即...
来自：
云产品
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
最后介绍如果将备份在 OSS的快照仓 库恢复到阿里云 ElasticSearch实例 目标客户：IDC/公有云客户对自建 ELK日志系统有云上、跨云备份、迁移到阿里云 的 ElasticSearch的客户。技术架构 本实践基于如下图所示的技术架构和主要流程。方案优势 安全性 基于 IPSec VPN/专线的方式进行数据安全传输 低成本 可以在 OSS Bucket设置...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
其优点是学习成本低，可以通过类 SQL语句快速实 现简单的 MapReduce统计，不必开发专门的 MapReduce应用，十分适合数据仓 库的统计分析。E-MapReduce 阿里云 E-MapReduce（EMR）是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink生态大数据 PaaS 产品。提供用户在云上使用开源 技术建设数据仓库、...
MySQL数据库上云选型解决方案
MySQL数据库上云选型解决方案，MySQL数据库成为近十年来数据库使用范围最广，数据库生态最好的开源数据库，本方案以MySQL数据库上云的各种场景为切入点，包括数据库的扩展性、数据库水平拆分、数据库垂直拆分、高弹性数据库、数据库大促支持、MySQL数据库海量数据分析等向上云的企业客户介绍如何选择适合企业的MySQL生态数据库。
上海简米网络科技有限公司.Ping+分布式改造.Ping+专注帮助企业快速高效搭建支付系统，因业务发展，部分核心业务数据并发写及存储面临瓶颈，需要通过拆分解决这两个痛点，PolarDB-X很方便地解决我们数据库水平扩展的需求。——Ping+技术总监叶波光.长沙营智PolarDB分布式.长沙营智信息技术有限公司.我们使用PolarDB-X+RDS的...
来自：
解决方案
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向，数据湖偏向灵活性，数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊，数据湖自身的治理能 力、数据仓库延伸到外部...
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK（容器服务Kubernetes版，简称ACK）支持企业级K8s容器化应用的全生命周期管理，提供高性能可伸缩的容器应用管理能力，助力企业高效运行云端K8s容器化应用。
相关产品容器服务 ACK文件存储 NAS块存储云数据库 Redis 版性能测试 PTS云速搭 CADT一键部署ACK 实现 GPU 成本优化利用 ACK 部署 GPU 集群之后，出于成本优化的考虑，对于集群中 GPU 利用率不高的应用，比如推理的应用，建议利用阿里云 cGPU 技术将一定数量的应用跑到一块 GPU 卡上，以提高利用率。对于 GPU 利用率比较高的...
来自：
云产品
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
步骤2 选择日志库（bp-demo-logstore）下的数据处理>导出>OSS(对象存储)，单击页 面右上角的开启投递。步骤3 选择直接投递。文档版本：20210224 70 游戏数据运营融合分析 部署 SLS-OSS数据投递 步骤4 请参考相关参数说明和截图，完成 OSS投递功能配置，并单击确定。配置项 说明 OSS投递名称 自定义，本实践设置为 output-to...
数据安全解决方案
数据是企业的核心资产，如何保护企业的云上数据，是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时，阿里云根据自身多年的经验积累，结合大量云上客户的最佳实践，提供了一套完整的数据安全解决方案，帮助企业提升云上数据风险防御能力，实现企业核心及敏感数据安全可控。
数据不再单纯存储在数据库中，各类数据仓库、中台和非结构化文件、缓存都在企业中扮演着重要角色。分散数据的统一治理和权责定义，对企业提出了要求.理解数据生命周期，评估各阶段潜在风险.数据安全风险评估是企业信息系统建设的根基，从多个维度进行安全评估可以达到“事半功倍”的效果。在分析的过程中结合数据生命周期各...
来自：
解决方案
云原生分布式数据库PolarDB-X
阿里云云原生分布式数据库PolarDB-X（原DRDS升级版），可解决分库分表、海量数据存储、超高并发吞吐、复杂计算效率等问题。最高可支撑千万级并发和百PB级海量存储。
云原生数据库 PolarDB 云原生数据库 PolarDB 分布式版 PolarDB 分布式版(PolarDB for Xscale，简称“PolarDB-X”)是阿里云自主设计研发的高性能云原生分布式数据库产品，为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。新用户购买 PolarDB 分布式 标准版2核4G/4核8G实例 享1年付2.8折优惠！立即...
来自：
云产品
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
MaxCompute湖仓一体方案 最佳实践 业务架构 场景描述 数据湖 EMR与云数仓的融合解决方案，将 MaxCompute与 Hive集群做数据打通，通 过存储共享，元数据镜像等方式，解决传统 模式下的存储冗余，计算资源弹性能力弱的 痛点。可大幅度增强系统的资源弹性，解决 业务高峰期计算资源不足的问题。湖仓一体 兼具数据湖的灵活性与...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
产品列表 阿里云最佳实践分享群 最佳实践频道 容器 Kubernetes ACK 容器实例 ECI 容器镜像仓库 ACR 函数计算 FC 访问控制 RAM 如二维码过期，专有网络 VPC 请搜索群号：31852400 云服务器 ECS 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于 ECI+FaaS 构建游戏战斗结算服 最佳实践 文档版本：...
容器Swarm集群向ACK集群灰度迁移
场景描述 随着K8S生态的完善，越来越多的客户需要从 Swarm集群迁移向ACK集群 解决问题 1.迁移过程中维持业务的延续性 2.迁移过程业务高可用 3.迁移过程可灰度 4.迁移过程可回滚 5.迁移进度可把控 产品列表 专有网络VPC 云数据库RDSMySQL 容器服务ACK 云服务器ECS
文档版本：20190401 3 容器 Swarm集群向 ACK集群灰度迁移最佳实践 资源规划 资源规划 地域规划：本例选择华东 2（上海）网络规划：按照组网用途和习惯自定义命名，本例中◆专有网络 VPC：命名 docker_test,CIDR 192.168.0.0/16◆虚拟交换机：命名 subnet1 192.168.1.0/24 E可用区 subnet2 192.168.2.0/24 F可用区 subnet3 ...
- 产品推荐
- 这些文档可能帮助您