云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
后来，通过阿里云解决方案架构师建议的方案，将大数据集群迁移到资源较充足的可 用区以及 为 EMR 弹性伸缩配置多规格 ECS 选型增加交付成功率等方法，目前已阶 段性的解决因资源不足导致弹性扩容失败的问题，但该方案在 Spot计算资源不足时，启用大量按量收费算力，带来了较高的成本，并且抢占式实例和按量付费实例都不保 ...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
资源规划最佳实践：在规划云上可用区资源时，建议选择靠后较新的可用区（如上海 L，可 用区靠后，则为新可用区），新可用区资源更充沛，新规格也会在新的可用区优先上线。弹性计算资源规划 资源类别 配置项 配置明细 说明 ECS（业务系统，可用区 默认（华东 2，可用区 G）ECS创建在 vswitch-B下，无需选择。和主数据中 2台...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
这也是为什么所有 IT安全相关的法规标准都反复强调企业 必须持续记录足够时间的审计事件。审计事件让云上运维可见。配置审计是从资源角度进行的审计合规，侧重在资源配置结果。不管经过多少人 多少次的操作变更，只看最终资源在云上的配置是否符合安全预期。比如 OSS Bucket必须开启服务端加密，这是直接对运维结果的要求和...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
首 先要知道为什么要使用 filebeat呢？因为 logstash是 jvm跑的，资源消耗比较大，启 动一个 logstash就需要消耗 500M左右的内存，而 filebeat只需要 10来 M内存资源。工作原理：Filebeat由两个主要组件组成：prospector 和 harvester。这些组件一起工作来读取文 件（tail file）并将事件数据发送到您指定的输出。启动 ...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
说明：模拟的日志文件如下 {"clientTime":1596102120822,"consumeTime":1596214681374,"env":"production","l evel":"info","product":"XXXX","registerTime":1596153578322,"serverTime":1596214 681284} 步骤3 安装 java1.8 1.Flume需要 java1.8运行环境，所以先要安装 java1.8。在 centos上可以通过 yum 快捷的安装 java...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
解决问题 如有问题请使用钉钉扫码联系文档作者：1.如何使用混合云存储部署VMware虚拟化平台。2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。产品列表 1.混合云存储阵列 2.对象存储OSS 版本：20191223 阿里云 企业上云实践 混合云存储构建VMware虚拟化平台 最佳实践 文档版本：20150122（发布日期）2 ...
OA云资源申请流程自动化
在企业级客户场景中，对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案，以解决OA云资源申请流程中的自动化问题，提高运维效率，以更好地支撑业务创新。
usr/local/bin:/usr/sbin:/usr/bin:/root/bin*/5*cd/root/350&cadt deploy-task-y>>/root/task.log 文档版本：20240130 34 OA云资源申请流程自动化 产品支持 产品支持 产品介绍：https://www.aliyun.com/product/developerservices/cadt 帮助文档：https://help.aliyun.com/product/182827.html 产品支持钉群：请用钉钉扫...
可观测可视化 Grafana 版
可观测可视化 Grafana 版作为云原生数据可视化平台，为运维SRE、研发工程师、产品经理、市场营销等不同角色提供开箱即用的一站式可视化平台，满足运维监控、经营分析、汇报展示等不同场景的查询、可视化、告警需求。
提供开箱即用的 Grafana 看板和告警服务，帮助企业快速搭建监测体系.应用实时监控服务 ARMS.包含前端监控、应用监控、云拨测等子产品。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量.支持按需发起压测任务，可提供百万并发、...
来自：
云产品
短信服务
阿里云短信服务（Short Message Service-SMS）支持国际和国内短信验证码、短信通知和营销推广短信，国内短信支持三网合一专属通道，支持发送助手及API/SDK接口，按成功收费，免运维，秒级触达，服务范围覆盖全球200多个国家和地区。
调用API或用群发助手，即可发送验证码、通知类和营销类短信；国内验证短信秒级触达，到达率最高可达99%；国际/港澳台短信覆盖200多个国家和地区，安全稳定，广受出海企业选用.云通信精选特惠，短信新客户限时200条2元起.云通信精选特惠，短信新客户限时200条2元起.28A_Banner组件.谢赟辉,靖鑫,也树.孙慧颖,靖鑫,也树.手机二...
来自：
云产品
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
这里设置 Async为异 步调用。如此设置，我们便可以验证通过第一个函数提供的 HTTP接口发起请求→采集数据→调用第二个函数→将数据作为消息传给 Kafka这个流程了。4.2.开启函数服务的 VPC资源访问 步骤1 因为函数计算中的函数和 Kafka是不在一个 VPC内的，所以我们需要打通 VPC。我 们选择函数服务，在右侧的服务配置界面中...
云监控
云监控（CloudMonitor）是阿里云提供的一站式、全链路、开箱即用的云资源监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控，提供丰富的指标数据和强大开放的平台能力，第一时间发现和定位问题构建完善的监控运维体系。
开箱即用的监控视图.各云产品核心指标的监控图表且无需任何配置.丰富的报警通知方式.除了语音、短信、邮件、钉钉群外还可以推送到指定的WebHook、消息队列、函数计算、日志服务中.云服务事件的自动化处理.基于云产品事件进行自动化处理.云监控提供常用云服务的系统事件、状态变更事件等信息（例如ECS 服务器的状态变化事件...
来自：
云产品
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
V1.5 2020-03-30 青俞、弦望 云魁 Distcp传输方案 更新部分失效链接和命令，使 V1.6 2021-07-14 游士 用云速搭 CADT创建初始云 资源 联系我们 如果您在使用本最佳实践时遇到问题，欢迎通过钉钉扫描下面的二维码获取文档方案 负责人的进一步帮助：文档版本：20200330 I 自建Hadoop数据迁移到阿里云 EMR 前言 前言 概述 客户...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
基于 SLS实现统一告警 最佳实践 业务架构 场景描述 告警监控对于一个企业有着至关重要的作 用，然而很多企业在告警运维方面存在着重 复建设、监控质量差、告警风暴、触达不人 性化、无法闭环等问题。SLS告警提供了一站式云上告警管理方案，能够有效的解决企业在使用告警中的痛点。本文以通过自定义告警、Prometheus 告 警、...
事件总线 EventBridge
事件总线 EventBridge是阿里云提供的一款无服务器事件总线服务，支持阿里云服务、自定义应用、SaaS应用以标准化、中心化的方式接入，并能够以标准化的 CloudEvents 1.0 协议在这些应用之间路由事件，帮助您轻松构建松耦合、分布式的事件驱动架构。
进而减少用户、Web前端和后端服务之间大量不必要的轮询请求.消息推送通知是运营方法中使用频率较高的一种。它可以在某个时间节点提醒用户进行某项操作，比如上新活动推送、有趣新闻内容提醒、或派送优惠券通知等，增强用户黏性.服务Knative&FC目标事件.开箱即用，高性价比的统一的事件源集成中心.函数计算和Knative都作为云...
来自：
云产品
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
华 北 2的 vpc定义为 vpc-beijing，华东 2的 vpc定义为 vpc-shanghai，中间用云企业 网 CEN打通内网。网络规划如下：名称 VPC 网段 交换机网段 vpc-beijing 192.168.0.0/16 G可用区交换机 192.168.10.0/24 vpc-shanghai 192.168.0.0/16 G可用区交换机 192.168.20.0/24 规划 k8s网络插件采用 Calico，详见 ...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
有问题请扫钉钉二维码联系我们。文档版本：20210725 2 阿里云数据库快速搭建疫情分析系统最佳实践 通过 CADT部署资源 1.通过 CADT部署资源 资源的创建除了通过控制台来创建以外，还可以通过云速搭 CADT来一键拉起。CADT是一款为上云应用提供自助式云架构管理的产品，显著地降低应用云上管理的 难度和时间成本。CADT提供大量...
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景，包括 Teragen和Terasort测试，TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群，并提供了Teragen和Terasort测试，TestDFSIO测试的测试脚本，便于迅速开展测试。
深度整合 ✓ 支持基于阿里云 ECS和 ACK部署 EMR集群，支持 ECS多种实例规格，您可以根据使 用场景灵活选择。✓ 集成在 DataWorks，您可以在 DataWorks上使用 EMR作为作业计算和数据存储引擎。✓ 集成了数据湖构建（Data Lake Formation），实现数据湖场景下多引擎的统一元数据管理。基准性能测试介绍 本示例提供两个测试...
PolarDB 应对大并发复杂查询实践
MySQL架构是单线程处理SQL，遇到大并发复杂查询时，需要排队长时间等待，容易形成慢查询，影响业务。PolarDB并发查询能力可以很好解决此问题。
如果想生成更多数据，可以将 dbgen-s后的数据设为要 生的数据容量(G)。cd/root/2.18.0_rc2/dbgen 文档版本：20210412 27 PolarDB如何应对大并发复杂查询 测试环境安装./dbgen-s 10 从本最佳实践的 git库下载脚本，其中 load.ddl是加载数据，dss.ri是主键生成命令，都拷贝到 dbgen目录下。...
- 产品推荐
- 这些文档可能帮助您