Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
Funcraft Funcraft 是一个用于支持 Serverless 应用部署的命令行工具，能帮助我们便捷地管 理函数计算、API 网关、日志服务等资源。它通过一个资源配置文件（template.yml），协助我们进行开发、构建、部署操作。所以第二个函数我们需要使用 Fun来进行操作，整个操作分为四个步骤：1.安装 fun工具 2.编写 template.yml模板...
基于转发路由器构建企业级组网
通过云企业网转发路由器 1. 实现灵活的互通、隔离、引流策略 2. VPC 间的内网互访流量经过三方安全设备管控（如Palo Alto） 3. 统一多 VPC 的互联网访问出口，提高业务安全性
增加 Palo Alto防火墙配置 欢迎加入 最佳实践频道 阿里云最佳实践技术分享群 文档版本：20210204 I 基于转发路由器构建企业级组网 名词解释 名词解释 VPC：专有网络（Virtual Private Cloud），帮助您基于阿里云构建出一个隔离的网 络环境，并可以自定义 IP地址范围、网段、路由表和网关等；此外，也可以通过 专线/VPN/GRE...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
文档版本：20200330 12 EMR集群安全认证和授权管理 EMR Kafka安全集群 2.EMR Kafka安全集群 本最佳实践中，将首先创建云上虚拟网络 VPC，后续所有云上资源都将规划在该 VPC 中，例如 RDS数据库、日志发生器、EMR Kafka集群、EMR Hadoop集群和 EMR网 关集群等。2.1.创建专有网络 VPC 步骤1 登录专有网络控制台，地域：华东 1...
混合云HBR云上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案，可以为任何位置的客户虚拟机和数 据提供强有力的保护，包括企业数据中心、远程和分 支机构以及云上资源；支持加密、压缩、重删，保证 数据快速、安全、高效地备份到云上，本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
Gateway 网关地址。本例为192.168.10.253。Hostname 设置要部署的虚拟机的名称，例如hbr。IP 弹性网卡私网IP（从弹性网卡列表页面查询）。PrimaryDNS 在机器上命令行终端输入ipconfig/all获取。SecondaryDNS 在机器上命令行终端输入ipconfig/all获取。文档版本：20190716 27 混合云HBR云上备份VMware虚拟机 部署阿里云混合...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
echo"ElasticSearch服务器的私网 IP地址 elasticsearch">>/etc/hosts 步骤3 执行下面命令，将自动下载并解压 Logstash和一个样例配置文件，并启动 Logstash 工具，配置文件中将 Magento的接入日志/var/log/httpd/magento-access_log内容作 为输入，并输出到 ElasticSearch的索引 magento_access_logs中。cd~#wget ...
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
阿里云提供了通过数据库网关录入第三方云数据库的功能，无需开放数据库的公网地 址即可完成连接，对数据传输进行安全加密，同时免防火墙配置，大大降低使用门槛。本最佳实践描述在混合云场景下，如何利用阿里云数据库网关服务对云上的 RDS 服 务和 IDC中的本地数据库进行统一管理。本最佳实践的网络规划方案如下：类型 地域...
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
私网 NAT网关(也即 VPC NAT 网关)可使 VPC内的 ECS实例通过私网地址转换服务，实现 VPC与 VPC之 间、及 VPC与线下 IDC互访能力。云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低 应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时 也支持自助拖拽方式定义应用云上架构；支持较...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
产品列表 云服务器 ECS 云架构设计工具 CADT 专有网络 VPC 访问控制 RAM 云企业网 CEN 弹性容器实例 ECI Nat网关 NAT 容器镜像服务 ACR 负载均衡 SLB 容器服务 Kubernetes版 ACK 弹性公网 IP EIP 文档模板（手册名称）/Error!Use the Home tab to apply 云服务器 ECS（产品名称）标题 to the text that you want to appear ...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
为了持续支持业务高速 且稳定地发展，其在快速上云后，将核心业务改造 为全 Serverless架构的中台模式，采用函数计算+API网关+表格存储 OTS 作为计算网络存储 核心，弹性支撑日常和大促峰谷所需资源，轻松支 撑 618/双 11/双 12大促。核心价值 全 Serverless 架构：FC+API 网关+OTS Serverless 解决方案。弹性高可用：毫秒...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
步骤12 找到 Demo中的 database-service.yaml文件，替换 externalName为 RDS的内网地 址。文档版本：20201209 23 跨云迁移单写双读过渡架构 服务器和数据迁移 步骤13 拷贝 database-service.yaml中的内容使用模板创建 service。文档版本：20201209 24 跨云迁移单写双读过渡架构 服务器和数据迁移 3.2.数据迁移 步骤1 进入 ...
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
文档版本：20240226 38 微服务引擎的线上流量治理 服务网关 步骤2 进入网关详情页，网关入口提供了公网和私网的入口地址。记录公网地址，后续备用。步骤3 配置服务来源，选择容器服务，并选择 ACK集群。文档版本：20240226 39 微服务引擎的线上流量治理 服务网关 步骤4 添加服务，选择 frontend服务。文档版本：20240226 40...
企业办公安全访问一体化
本场景模拟企业办公环境，基于 CSAS 服务构 建企业办公安全一体化方案，将“安全 + 网络” 能力无缝融合，实现了对云下办公终端安全的统 一管理，企业无需在投资复杂且昂贵的传统硬件 安全设备，即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
企业办公访问内网服务安全防护 对于远程办公的场景，CSAS基于ZTNA零信任网络架构，可以帮助用户更好的进行 访问内网服务进行安全防护，ZTNA网关只对合法客户端建立连接，后端业务对其它 非法访问及扫描不可见，使内部服务应用隐藏，而且CSAS策略支持按照用户身份属 性、客户端属性下发访问控制策略，同时支持按照应用（DNS/...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
收集 3个节点的私网 IP地址和对应的主机名，如下所示（请根据您环境的实际 IP地 址进行修改）：192.168.100.37 master 192.168.100.38 slave1 192.168.100.39 slave2 192.168.100.41 slave3 文档版本：20210714 16 自建Hadoop数据迁移到阿里云 EMR 自建 Hadoop集群环境搭建 通过 SSH远程登录 hadoop-master节点所在的 ECS...
混合云灾备之HDR VMware虚拟机容灾
场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像，可以为云上或云下的VMware环境提供有效 的数据保护，保证数据快速、安全、高效地备份到云 上，并在需要时快速恢复备份镜像。 解决问题 1.云上和云下的VMware虚拟机容灾保护。 2.云下的VMware虚拟机环境如何在云上快速恢 复。 产品列表 1.弹性裸金属服务器 2.HDR混合云容灾服
混合云灾备之HDRVMware虚拟机容灾 最佳实践 业务架构图 场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像，可以为云上或云下的VMware环境提供有效 的数据保护，保证数据快速、安全、高效地备份到云 上，并在需要时快速恢复备份镜像。如有问题请使用钉钉扫码联系文档作者：解决问题 1.云上和云下的VMware虚拟机...
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务，无需创建NAT网关或EIP等公网出口，更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
若服务提供方和服务使用方所在的 VPC存在地 址冲突也无法通过云企业网进行私网互联通信。解决方案 使用 PrivateLink就可以通过私网访问其他 VPC 提供的服务，无需创建 NAT网关或 EIP等公网出 口，更好的保障安全性和网络质量。支持同账号 和跨账号的 VPC间私网访问。PrivateLink解决的是 VPC之间的私网通信，私网调用阿里云...
混合云多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云，但想使用阿里云公共云的安全服务；或 者业务系统部署在多个云平台上，想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务，统一管理阿 里云、IDC和它云的资产； 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
IP地址：IP地址是它云 VPN网关的 IP地址，本最佳实践中是 2.2.VPN中的 VPN 地址，123.206.22.236。文档版本：20200630 11 混合云多云统一安全 自建虚拟机网络和测试 步骤3 在用户网关列表中可以看到新创建的用户网关。3.1.4.创建 IPsec连接 步骤1 在左侧导航栏选择 VPN>IPsec连接，并单击创建 IPsec连接。文档版本：...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
弹性公网IP：是独立的公网IP资源，可与阿里云专有网络VPC类型的云服务器ECS、NAT网关、ENI 网卡、私网负载均衡SLB绑定，并可以动态解绑满足灵活管理的要求。弹性公网IP可为您在云上部署 的网站提供Internet访问服务。 云数据库 RDSMySQL 版：基于阿里巴巴的 MySQL源码分支，经过双十一高并发、大数据量的考 验，拥有...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
私网 IP地址 从 ECS或弹性网卡对应 IP进行选择 BEI_Game_1 公网端口 10022 私网端口 22 协议类型 TCP 步骤5 参考上述步骤，再创建 BEI_Game_2的 DNAT配置。配置项 说明 公网 IP地址 选择 EIP实例 BEI_EIP_manage对应的公网 IP地址。私网 IP地址 从 ECS或弹性网卡对应 IP进行选择 BEI_Game_2 公网端口 20022 私网端口 22 ...
Hyper-V on 弹性裸金属最佳实践
场景描述 本方案适用于基于弹性裸金属服务器（神龙）自 建Microsoft Hyper-V环境的场景。 解决问题 l使用神龙自建+Microsoft Hyper-V虚拟 化环境环境。 l创建LinuxHyper-VVM。 lHyper-VVM访问外部网络。 l外部网络访问Hyper-VVM上的服务。 产品列表 l神龙GPU云服务器（ecs.ebmg5s） l专有网络VPC
步骤1 增加一个端口映射，在 power shell中执行以下命令：netsh interface portproxy add v4tov4 listenaddress=[神龙实例内网 IP]listenport=[外网端 口]connectaddress=[vm1的 IP地址]connectport=[内网端口]步骤2 删除一个端口映射，在 power shell中执行以下命令:netsh interface portproxy delete v4tov4 ...
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
办公网络 IP段：即线下关键用户/运维用户所在的子网 IP CIDR地址 生产应用 IP段：即生产系统应用服务器的 IP地址 开发应用 IP段：即开发系统应用服务器的 IP地址 测试应用 IP段：即测试系统应用服务器的 IP地址 sap router IP地址：sap router服务器的 IP 地址 安全组名称 规则类型 协议类型 端口范围 目标 IP地址 入方向 ...
- 产品推荐
- 这些文档可能帮助您