MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
公网 NAT网关通过自定义 SNAT、DNAT规则可为云上服 务器提供对外公网服务、及主动访问公网能力；私网 NAT网关(也即 VPC NAT 网关)可使 VPC内的 ECS实例通过私网地址转换服务，实现 VPC与 VPC之 间、及 VPC与线下 IDC互访能力。云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低 应用云上管理的难度和...
OA云资源申请流程自动化
在企业级客户场景中，对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案，以解决OA云资源申请流程中的自动化问题，提高运维效率，以更好地支撑业务创新。
最佳实践频道 阿里云最佳实践分享群 产品列表 云服务器 ECS 云速搭 CADT 云数据库 RDS 专有网络 VPC 钉钉扫描二维码或搜索钉群号 31852400入群 OA云资源申请流程自动化 最佳实践 文档版本：20240130（发布日期）OA云资源申请流程自动化 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 OA云资源申请流程自动化最佳...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
2.云原生架构构建业务系统，高效免运维。解决问题 1.利用服务器自建数据采集系统成本高，弹 性不足。2.利用服务器自建数据采集系统运维复杂，成本高。产品列表 专有网络 VPC 日志服务 SLS 链路追踪 Tracing Analysis 云服务器 ECS 云数据库 RDS 最佳实践频道 阿里云最佳实践技术分享群 函数计算 FC 消息队列 Kafka 版 性能...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤1 运行 Git命令，进行本地下载游戏服代码，下载地址：https://code.aliyun.com/best- practice/game-server-188.git 步骤2 采用你熟悉的 IDE工具打开项目，比如这里采用了 IntelliJ Idea演示，详情见官网：https://www.jetbrains.com/idea/ （本模拟项目采用了典型的 MVC分层方式，进行服 务的构建）。步骤3（可选）本...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
ECS名 疫情分析应用服 务 主机名 analysis 支付方式 后付费 按量付费 实例规格 2核 CPU，4GB 内存（ecs.t6-c1m2.large）镜像 Centosr 镜像版本 Centos 7.6 64位 系统盘 cloud_essd ESSD云盘 文档版本：20210725 44 阿里云数据库快速搭建疫情分析系统最佳实践 资源配置清单 硬盘容量 40GiB 出网带宽 0 不分配公网 IP 登陆...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
云服务 器 ECS免去了您采购 IT硬件的前期准备，让您像使用水、电、天然气等公共资 源一样便捷、高效地使用服务器，实现计算资源的即开即用和弹性伸缩。阿里云 ECS 持续提供创新型服务器，解决多种业务需求，助力您的业务发展。详见 https://www.aliyun.com/product/ecs CADT：是一款为上云应用提供自助式云架构管理的产品，...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
低成本跨境文件传输 最佳实践 业务架构 场景描述 随着企业的...OSS传输加速费用 1.25GB，函数计算有 100万次调用次数的免费额度。详细费用参 考：函数计算计费方式：https://help.aliyun.com/document_detail/54301.html OSS计费方式：https://www.aliyun.com/price/product?#/oss/detail 文档版本：20211025（发布日期）32
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
产品列表 日志服务 SLS 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 负载均衡 SLB 云服务器 ECS 云数据库 RDS 云防火墙 CFW 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 云上日志集中审计 最佳实践 文档版本：20200630（发布日期）文档版本：20150122（发布日期...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
如下图：需要安装python、git、nodejs等软件，具体安装步骤参见附件中的samplecode.txt 步骤3 修改nginx配置，打开/etc/nginx/nginx.conf，改为如下内容，参见附件中的 sample-nginx.conf 文档版本：20200331 34数据湖-在线学习场景数据分析 应用场景 步骤4 程序启动以后测试页面，在浏览器中打开 http://公网地址/app1/...
Exchange Server云上部署最佳实践
阿里云提供基础设施服务，能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署，可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
部署域控制器和 DNS 文档版本：20220119 16 Exchange Server云上部署最佳实践 部署域控制器和 DNS 文档版本：20220119 17 Exchange Server云上部署最佳实践 部署域控制器和 DNS 文档版本：20220119 18 Exchange Server云上部署最佳实践 部署域控制器和 DNS 步骤5 部署后配置，将服务器提升为域控制器。文档版本：20220119 ...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
本例中应用服 务器 web_1、web_2是对等的应用服务器，因此仅迁移一台即可，本例迁移 web_1。操作步骤 步骤1 登录云服务器 ECS控制台（https://ecs.console.aliyun.com/）步骤2 创建弹性公网 IP。文档版本：20210617 43 企业上云 workshop-IDC业务迁移上云 应用迁移 购买按量付费、按使用流量计费、带宽峰值不小于 100Mbps的...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本：20211203 70 SLS多云日志采集、处理及分析 日志服务器集群公网日志数据传递到日志服务 步骤8 日志服务机器组添加日志服务器 按照本节步骤 1到步骤 6再在杭州区域同一 VPC同一可用区下创建一台 ECS日志服 务器并添加到日志服务机器组。文档版本：20211203 71 SLS多云日志采集、处理及分析 日志服务器集群公网日志...
自建ELK迁移阿里云日志服务
场景描述 ELK Stack（Elastic/Logstash/Kibana） 通常 被用于日志实时分析， 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表 阿里云日志服务（SLS） VPN 网关 IPSec VPN 云服务器
通常自建的ELK系统在弹性、功能、成本、优化、稳定性等方面客户会遇到较多问题，本文介绍 如何将自建的ELK系统迁移到阿里云SLS日志服 务。应用场景 1.自建ELK系统快速迁移阿里云日志服务SLS 解决问题 1.自建ELK如何迁移到阿里云日志服务SLS 2.ES存量日志如何一键导入日志服务SLS 3.新增日志如何通过Logtail采集到日志服务...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
Knox作为阿里云 EMR集群的默认服务进行安装，安装后，使用者可以指定阿里 云 RAM子用户作为认证用户，在公网直接访问 Yarn、HDFS、SparkHistory等服 务的 Web UI。1.2.授权（Authorization）授权是任何计算环境的基本安全要求之一。其目标是确保只有适当的人员或流程才能 访问、查看、使用、控制或更改特定的资源、服务或...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
步骤4 打开浏览器，在地址栏输入 http://{服务器公网地址}:8888，远程访问 JupyterLab服 务。服务器公网地址在 ECS的管理页面的获取，如下图所示。登录后，进入如下页面：24 文档版本信息：20191209 RAPIDS加速机器学习 使 用容器服 务 A CK部署 RAPIDS环境 步骤5 双击文件列表中的 xgboost_E2E.ipynb，打开 demo。5.1.3....
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
步骤6 打开浏览器，在地址栏输入 http://{服务器公网地址}:8888，远程访问 JupyterLab服 务。服务器公网地址在 ECS的管理页面的获取，如下图所示。步骤7 登录后，进入如下页面：26 RAPIDS加速图像搜索 单机部署图搜应用 步骤8 双击文件列表中的 cuml_knn.ipynb，打开 demo。5.3.图像搜索示例程序介绍 示例程序是一个图像...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
CDH迁移升级 CDP 最佳实践 业务架构 场景描述 解决的问题 CDH升级至 CDP 当前 CDH免费版停止下载，终止服务，针对需要企业版 服务能力并且 CDH升级过程对业务影响较小的客户，通 要求升级过程无数据丢失风险 过安装新的 CDP集群，将现有数据拷贝至新集群，然后 要求升级宕机时间及短 将新集群切换为生产集群，升级过程没有...
云速搭-ECS结合网络相关优化方案
本实践设计了不同的ECS结合网络部署方案，并使用云速搭CADT做预算，可以快速对比出不同方案根据当前账户的折扣的价格差，根据需要部署系统的需求和享有的折扣，可以灵活配置ECS和网络产品，节约成本。
专有网络由逻辑网络设备（如虚拟路由器，虚拟交 换机）组成，可以通过专线/VPN等连接方式与传统数据中心组成一个按需定制的 网络环境，实现应用的平滑迁移上云。详见：https://www.aliyun.com/product/vpc 云服务器 ECS：云服务器 ECS（Elastic Compute Service）是一种简单高效、处 理能力可弹性伸缩的计算服务。帮助您...
私网CLB监听端口自转发
通过云速搭实现一个 EIP-CLB->ECS 的简单架构，实现其中 CLB 前端在监听到http 80 端口的请求时，基于一个配置的自转发规则会把请求转发到自己监听的 https 443端口，以确保请求拥有可信的证书，然后转发给后端的 80 或其他端口，后端应用则无需校验证书就能确定收到的请求是可信的。
步骤4 进入核算价格阶段，这里会将架构中的云资源按照免费、按量付费、包年包月进行区 分，如果产品享受折扣这里会自动将账号对应的优惠显示出来 状态为计价成功时，可以单击查看报告：文档版本：20211112 17 私网CLB监听端口自转发 通过云速搭部署资源 步骤5 CADT也会实时生成一个应用架构成本分析报告。文档版本：...
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后，企业在享受K8S带来应 用管理的便利的同时，存在硬件性能不足，本 地扩展性差，容器容灾难，K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性：如何通过弹性裸金属服务 器的强劲硬件性能，实现云端资源急速扩 展，从容应对应用访问压力大的问题。 2.如何简化云端K8S运维：通过阿里云容器服 务（ACK）实现敏捷开发和部署落地，加速 企业业务迭代。 3.如何综合考虑迁移和容灾：如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云：如何实现应用上云数据 库连接零修改。 5.数据库上云及回退：如何实现上云回退； 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
创建，完全由用户管 Worker，简单、低 和 Worker 理 成本，Master免运 维 免费（用户承担 免费（用户承担 收费 按容器实例的使用资源 Master和 Worker的 Worker 的资源费 方式 量和时长（秒）计费 资源费用）用）典型 批量任务，突发扩容，所有场景 所有场景 场景 CI/CD测试 容器服务：容器服务提供高性能可伸缩的容器应用...
- 产品推荐
- 这些文档可能帮助您