说明 演练前，基于MSHA流量监控或其他监控产品，确定业务稳态的监控指标（如日常情况RT≤200ms，错误率），以便在故障发生时判断故障影响面以及在故障恢复后判断业务的实际恢复情况。步骤二：应用故障注入 这里使用阿里云故障演练产品，对...
说明 基于MSHA流量监控或其他监控能力，确定业务稳态的监控指标，以便在故障发生时判断故障影响面以及在故障恢复后判断业务的实际恢复情况。演练预期：电商首页展示的查询链路对商品应用是强依赖，强依赖故障将导致业务不可用，且故障的...
故障复盘：故障复盘是指对故障进行分析和总结，以便更好地避免故障的再次发生。在故障复盘过程中，需要对故障的起因、影响、处理过程等进行详细的记录和分析，并制定相关的措施。故障复盘也是一种学习和提高的过程，能够不断完善系统和提高...
1个公网负载均衡CLB：基于对流量按需分发的能力，可以将流量分发到不同的后端服务器，可消除系统中的单点故障，当某个服务器发生故障时，CLB会自动将请求分配到其他正常的服务器上，从而保证服务的连续性和稳定性。2个文件存储NAS：实现多...
通过故障诊断平台，运维人员可以将诊断过程、排查顺序进行图形化编排与设计，即故障诊断决策树。而后，在实际故障发生时，即可执行自动化、标准化的故障排查，并直接输出诊断报告，反馈诊断结果。故障诊断功能有效提升了故障排查效率，实现...
容器智能运维平台 提供一键故障诊断能力，包括Pod诊断、Service诊断、Ingress诊断，可以辅助您定位集群中出现的问题。本文介绍如何在ACS集群中使用集群诊断功能。前提条件 已创建ACS集群。具体操作，请参见 创建ACS集群。确保ACS集群运行...
当您创建并启动一致性复制组后，如果生产站点中的云盘发生严重故障，您可以通过一致性复制组批量对生产站点的云盘数据进行容灾恢复。本文主要介绍如何通过一致性复制组进行容灾恢复。背景信息 一致性复制组支持故障切换和反向复制功能，当...
如果发现问题，则会在应用总览页面上方闪现一个红色盾牌图标，单击该图标即可弹出故障诊断报告，故障报告上的故障定界和根因分析可以帮助您更好地发现和解决问题。常见的故障自动诊断场景 RT突增 下游业务导致的本应用的RT突增，您可以联系...
事件升级故障后生成故障。故障协同处理使用步骤 说明 以下步骤为已开通移动应用（钉钉），且服务组关联的webhook群为企业内部群。1.事件升级故障 H5界面：事件已响应 消息卡片点击 详情 按钮进入 事件详情 H5界面，可点击 更多-升级故障 ...
本文档介绍云数据库MongoDB版实例的节点故障处理机制。单节点实例 由于单节点实例架构的特殊性，单节点实例仅拥有一个节点。当节点发生故障后，系统会对故障节点进行检查与修复。节点故障期间实例的相关服务不可用。说明 单节点实例适用于...
涉及的流程如下：重要 硬件维修采用整机替换的方式现场更换硬件设备，阿里云不在现场进行硬件故障诊断和排查。在您授权同意后，阿里云会按照约定的时间上门更换硬件设备，并将拆除的故障设备运送回阿里云工厂进行维修。具体维修流程，请...
因为目前TSDB采用多节点提供服务，当一个节点故障后，客户端到该节点的连接会切换到其他正常节点。故障节点恢复后，如果使用长连接会导致该节点在没有新的连接请求的情况时，无法提供服务。客户端通过设置httpConnectionLiveTime可以使客户...
容器智能运维平台 提供一键故障诊断能力，包括节点诊断、Pod诊断、Service诊断、Ingress诊断、内存诊断、网络诊断，可以辅助您定位集群中出现的问题。本文介绍如何在ACK集群中使用集群诊断功能。前提条件 已创建Kubernetes托管版集群。具体...
事前：通过应用巡检、故障诊断以及和监控平台的联动，实现应用运行风险的主动发现。事中：通过故障诊断、应急预案、容灾切换实现风险事件快速定位和恢复。事后：通过风险定级、回溯，实现风险事件的闭环管理。有效提升 IT 技术风险防御水平...
日常巡检、业务监控、故障诊断发现风险事件，并将其上报至风险管理中心，由风险管理中心进行统一调度，如触发故障诊断、应急预案等。运行总览集中展示整个平台的运行状态、风险情况。部署架构 HAS 部署时，需要依赖以下底层服务：数据库 ...
故障状态：处理中（升级时故障还在处理中），输入发现故障的时间、已恢复（升级时故障已恢复），输入故障生成的时间和故障恢复的时间；所属服务：升级故障所属的 服务；影响服务：选择 影响服务（可多选）；进展摘要：处理人将事件升级为...
请参考具体章节查看详细信息：创建应用 runtime 与 agenthub 部署 启动应用 设置报警 观察监控指标 故障诊断 更新 runtime 版本
自动化故障诊断和标准化应急预案快速定位并恢复故障，减少因故障引起的业务中断时间。故障演练主动检验应用高可用能力。支持蚂蚁产品双中心容灾切换，满足监管合规需求。技术风险防控内容库快速更新 阿里云、蚂蚁技术风险团队基于域内、...
为了能够快速恢复系统故障，Hologres提供了单实例快速恢复的机制。本文为您介绍单实例快速恢复的触发条件和行为。实例快速恢复逻辑说明 Hologres在 V2.0版本之前，Hologres计算节点均为容器调度（即下图中的Worker Node），资源管理器...
应用诊断是对应用的单独故障诊断，可以由链路诊断触发或人工触发。高可用管理平台通过应用诊断初步定位问题，锁定可疑应用，再通过 Arthas 和线程分析进一步确认问题。目前，应用诊断支持用户应用和蚂蚁应用。应用诊断是故障诊断的原子能力...
设置短时间窗口可以保障故障处理后，及时解除告警。以设置30天的SLO为例：当1小时内错误预算消耗2%（即该小时内错误率高于阈值的14.4倍）或6小时内消耗5%（阈值的6倍）时，会触发一个Page级别的告警；1天内错误预算消耗10%（阈值的3倍）或3...
设置短时间窗口可以保障故障处理后，及时解除告警。以设置30天的SLO为例：当1小时内错误预算消耗2%（即该小时内错误率高于阈值的14.4倍）或6小时内消耗5%（阈值的6倍）时，会触发一个Page级别的告警；1天内错误预算消耗10%（阈值的3倍）或3...
当其中一部分ECS实例发生故障后，CLB 会自动屏蔽故障的ECS实例，将请求分发给正常运行的ECS实例，保证应用系统仍能正常工作。同城容灾（多可用区容灾）为了提供更加稳定可靠的 CLB 服务，CLB 已在各地域部署了多可用区以实现同地域容灾。当...
数据库发生故障后，无法在发生故障时定位到原因，可以通过智能压测功能，在克隆库上复现故障场景，定位故障原因。功能架构 智能压测的功能架构如下图所示：源数据库：将要进行大促、将要业务变更或者已经发生故障，需要进行流量捕获的数据...
请输入：用户名：owner 密码：changepassword 登录成功后，显示下面的界面：输入命令：ls/etc/sysconfig/network-scripts 上面示例，显示有6个网卡配置文件（ifcfg-enp61s0f0、ifcfg-enp61s0f1、ifcfg-enp95s0f0、ifcfg-enp95s0f1、ifcfg-...
在同城多活的场景下，能够确保对跨可用区的多个业务集群的请求实现高效负载均衡分配，在单个可用区内的业务集群发生故障时，可在1秒内完成故障节点的自动摘除从而实现故障转移，有效的保障服务连续性和高可用性。容灾概述 目前云上容灾主要...
图 1.Tair 容灾架构演进 灾备方案 灾备级别 说明 单可用区高可用方案★主备节点部署在同一可用区中的不同机器上，当任一节点发生故障时，由高可用HA（High Availability）系统自动执行故障切换，避免单点故障引起的服务中断。同城容灾方案...
图 1.Redis容灾架构演进 灾备方案 灾备级别 说明 单可用区高可用方案★主备节点部署在同一可用区中的不同机器上，当任一节点发生故障时，由高可用HA（High Availability）系统自动执行故障切换，避免单点故障引起的服务中断。同城容灾方案...
网络灾备 当前网络出现故障后，支持切换到备份网络，提升设备在线时长。降低成本 节省了事前勘测和故障后运维的人力以及相关成本。支持存量设备升级 设备本身无需硬件改造，安装相关SDK进行存量设备OTA升级后，即可支持智能卡。可选网络 ...
智能算法列表 类型 算法名称 算法逻辑 异常诊断类算法 One-Class SVM 基于历史批量数据的做算法学习并进行异常诊断 异常诊断类算法 孤立深林 基于历史批量数据的做算法学习并进行异常诊断 异常诊断类算法 Robust Covariance 基于历史批量...
为确保ALB后端服务器的业务可用性，您可以通过为ALB服务器组配置健康检查来检查服务器组的运行状况，以避免后端服务器异常对业务的影响，并提升业务可靠性。本文为您介绍如何创建、编辑和删除健康检查等操作。背景信息 ALB 支持基于每个...
同城高可用功能可有效避免单个可用区故障导致的服务中断，确保业务的稳定性。Flink支持对包年包月的工作空间开启跨可用区，以实现同城高可用。本文为您介绍如何开启并使用跨可用区，以及停止跨可用区计费等。功能介绍 包年包月工作空间...
当其中一部分轻量应用服务器发生故障后，负载均衡会自动屏蔽故障的轻量应用服务器，将请求分发给正常运行的轻量应用服务器，保证应用程序仍能正常工作。弹性管理应用程序的服务能力。您可以根据业务发展的需要，自行添加或移除轻量应用负载...
面对即将到来的短期业务高峰或数据库结构变更（尤其是索引变更）时，您可以通过智能压测功能，确认数据库实例规格是否需要扩容，并验证在真实业务场景下的实际效果，降低上线后引发故障的风险。此外，在数据库发生故障且无法定位原因时，...
面对即将到来的短期业务高峰或数据库结构变更（尤其是索引变更）时，您可以通过流量回访与压测功能，确认数据库实例规格是否需要扩容，并验证在真实业务场景下的实际效果，降低上线后引发故障的风险。此外，在数据库发生故障且无法定位原因...
选择容灾方案 图 3.Tair容灾架构演进 灾备方案 灾备级别 说明 单可用区高可用方案★主从节点部署在同一可用区中的不同机器上，当任一节点发生故障时，由高可用HA（High Availability）系统自动执行故障切换，避免单点故障引起的服务中断。...
自动SQL优化 智能压测 确认数据库实例规格是否需要扩容，并验证在真实业务场景下的实际效果，降低上线后引发故障的风险。此外，在数据库实例发生故障且无法定位原因时，可以利用克隆库复现故障场景，以便更好地定位故障原因。智能压测 搜索...
数据多副本跨可用区部署，主节点故障后RTO。GDN集群间数据延迟小于2秒，分钟级切换，支持异地多活容灾。全方位、多维度确保系统高可用。采用白名单、VPC网络、数据多副本存储等全方位的手段，对数据库数据访问、存储、管理等各个环节提供...
选择容灾方案 图 3.Redis容灾架构演进 灾备方案 灾备级别 说明 单可用区高可用方案★主从节点部署在同一可用区中的不同机器上，当任一节点发生故障时，由高可用HA（High Availability）系统自动执行故障切换，避免单点故障引起的服务中断。...
当主集群发生故障后，阿里云确认主集群不可恢复，开放将项目切换到备份集群所在地域的能力，切换按钮可用，由您选择触发切换，操作步骤如下。重要 您需要谨慎操作切换功能。因为备份非实时，不支持PiTR，所以切换可能会有数据丢失。如果...