在杭州单元发生故障的情况下，可以使用MSHA切流功能将受影响的用户流量切换到另外的单元，进行快速业务恢复（这里区别于传统的思路，不是去排查、处理和修复故障，而是立即使用切流进行恢复，将业务恢复和故障恢复解耦）。容灾切换预期：将...
容灾系统部署在阿里云的两个地域中，当生产站点发生故障（例如海啸、地震）时，业务系统切换到容灾站点。生产站点和容灾站点部署在不同的地域，提供容灾即服务，RPO低至1分钟、RTO低至15分钟的高可靠的业务持续性保障，有效避免了地域性...
如果本地盘发生故障、物理服务器发生宕机，或者人为误操作，本地盘会丢失数据。请勿在本地盘上存储需要长期保存的业务数据。但云盘采用分布式三副本机制，能防止意外硬件故障导致的数据不可用。如果应用没有多节点数据冗余架构，强烈建议您...
容灾站点 除了生产站点以外另外建立容灾站点，当生产站点发生故障时，容灾站点可以接管业务，实现业务不间断。恢复点目标（RPO）由于云盘异常可能丢失的数据量，以时间为单位，是异步复制功能的数据指标之一（一致性复制组功能的RPO默认为...
确保操作人员熟悉容灾恢复流程，确保在主站真正发生故障时，操作人员可以顺畅地进行容灾切换。按如下步骤进行容灾演练：在 受保护服务器 页签，单击要启动容灾演练服务器右侧对应的 操作 列表下的 容灾演练。在 容灾演练 面板，选择 恢复...
通过以上业务依赖的预判可以得出以下结论：前端对商品推荐服务预判为弱依赖，表示当推荐服务发生故障时前端正常访问不应该受阻。在购物链路中，商品服务product对商品数据库product-mysql预判为强依赖。表示如果扣减库存失败，则应该阻断下...
无 ActionOnMaintenance String 当专有宿主机发生故障或者在线修复时，为其所宿实例设置迁移方案。取值：Migrate：迁移实例到其他物理机并重新启动实例。Stop：在当前专有宿主机上停止实例，确认无法修复专有宿主机后，迁移实例到其他物理...
当地址池中地址发生故障时，HealthCheck模块会准确的检测到异常情况并与DNS交互（如下图中序号3所示），摘除故障地址（如下图中序号4所示），这样用户端会自动解析到可用的地址池（如下图中序号5所示）。并当故障地址恢复时，自动恢复至...
确保操作人员熟悉容灾恢复流程，确保在生成站点真正发生故障时，操作人员可以顺畅地进行容灾切换。前提条件 保护组处于 增量复制中 或者已有恢复点之后，您就可以进行故障演练。如何创建跨可用区和跨地域容灾的保护组，请参见 跨可用区容灾...
当主实例发生故障或不可用时（例如操作系统错误、硬件故障等），系统会自动触发主备切换，主实例和备实例将进行互换，切换后实例地址保持不变，应用程序会自动连接到新的主实例（原备实例），从而保障业务的连续性和高可用性。此外，您还...
确保操作人员熟悉容灾恢复流程，确保在生成站点真正发生故障时，操作人员可以顺畅地进行容灾切换。前提条件 保护组处于 增量复制中 或者已有恢复点之后，您就可以进行故障演练。如何创建跨可用区和跨地域容灾的保护组，请参见 跨可用区容灾...
数据库代理采用双主节点的高可用架构，流量连接按照1:1比例分发到两个节点当中，如果其中一个节点发生故障，将由另一个节点承担全部流量，并会自动触发故障节点重搭恢复任务，以确保数据库服务的高可用性。数据库代理的性能会随着代理连接...
该方案为当前每个实例内部默认启用，当系统发生故障时，无需手工运维介入，系统可以自动恢复。在恢复期间，如果查询算子需要访问恢复中的节点，则查询会立即失败。Hologres从V1.1版本开始，采用全新恢复机制，节点恢复速度在一分钟左右，比...
数据 强 一致性 在组复制中，事务总是先传输到集群中其他节点，然后写入Binlog文件，这保证无论主节点在什么时刻发生故障，重新启动后数据都不会比集群选出的新主节点多。旧主节点故障重启后，能够自动加回集群，拉取它缺失的Binlog，就...
即使计算节点发生故障，也可以保证实例无数据丢失。高可用 AnalyticDB PostgreSQL版 高性能版由于减少了一个副本，在高可用方面出现了一些下降，在物理机故障等极端情况下，集群恢复的时间会变长（8小时以内）。高性能版通过ESSD多副本技术...
事件名称 事件所属类型 说明 IP流量告警 数据监控告警 您可以设置数据监控报警通知，及时获知指标数据发生的异常，并在发生故障时及时发现问题，缩短故障处理时间，以便尽快恢复业务。连接数告警 QPS告警 状态码告警 DDoS黑洞事件告警 事件...
赔偿方案 阿里云对用户存在故障的每个Archive按不可用时间的100倍赔偿，即赔付金额=发生故障的Archive故障前24小时平均每分钟费用×不可用时间×100倍；其中:(1)赔偿只针对使用归档存储服务已产生费用的用户，以归档存储代金券的形式赔偿，...
确保操作人员熟悉容灾恢复流程，确保在主站真正发生故障时，操作人员可以顺畅地进行容灾切换。容灾演练操作步骤如下：在左侧导航栏，选择 连续复制型容灾>云上容灾。在页面右上角，选择容灾站点对。单击容灾中心的 受保护服务器 页签。单击...
时间线：展示故障的时间线记录，其中有7个节点必须完善详细内容，节点已用红星标注，包含：故障发生、故障发现、故障通告、业务响应、初因定位、恢复执行和故障恢复。节点记录和PC端故障时间线保持一致。复盘 按钮：故障恢复后，需进行故障...
故障管理概述 故障管理是源于ITIL的一个概念，在IT企业或者互联网企业进行故障管理的目的是当生产环境出现重大宕机时尽快恢复正常的服务运营，将组件失败对业务所造成的负面影响降到最低，从而确保满足事先与业务客户之间所约定的服务级别...
无容灾保护 当来自Consumer端的请求量突然增加时，如果Provider容量水位较高，会导致个别Provider发生故障：注册中心会将故障节点摘除，全量流量会给剩余节点。剩余Provider节点负载变高，大概率也会发生故障。最终所有Provider节点故障，...
更新故障通知：在故障处理的过程中，当故障进展发生变化，包括进度更新、影响恶化、故障等级变化、原因明确、根因定位等场景下，可更新故障过程中的内容，并在 故障详情 页点击更新故障通知，选择需要的故障通告类型，并最终确认发出故障...
故障通告及更新 基于7x24监控值班工作特性，对于业务异常达到故障等级时，以用户定制的（语音、短信、IM）的方式在约定时间内将故障影响信息以及处理进展通知给对应的接收人/组，并持续更新直至故障结束。故障应急协同群 故障发生后，可以...
以此，降低产品使用过程中故障发生概率，提高故障恢复效率，进而实现产品高可用性的有效提升。机房级容灾 同城双活 同一个城市，建设两个机房环境，两地距离 50 km 以内，万兆光纤专线互连，业务应用层面可以两个机房同时提供业务服务，当...
对于已知的明确故障，可以根据诊断现象，编排诊断决策树，进而故障发生时执行，完成故障定位。对于未知的故障，您可以依据运维经验，编排出常见的排查路径，辅助快速故障定位。新建诊断决策树 登录高可用管理控制台。在左侧导航栏上，单击 ...
跨地域故障转移功能可以在某地域服务发生故障时，将该地域流量转移至其他地域，实现跨地域容灾。以Bookinfo应用为例，本文介绍如何使用跨地域故障转移和流量分布能力实现跨地域容灾和流量负载均衡。网络规划 在进行操作前，您需要对vSwitch...
而后，在实际故障发生时，即可执行自动化、标准化的故障排查，并直接输出诊断报告，反馈诊断结果。故障诊断功能有效提升了故障排查效率，实现故障的快速定位与处理。本节将向您介绍诊断规则的相关操作。诊断规则是诊断节点的构成，诊断规则...
有计划、受管控的变更操作降低故障发生率、业务连续性异常。规范变更准备及变更方案，提高变更成功率与可靠性。变更有记录，所有变更可回溯。核心功能 针对变更操作的审批管控以及所有变更记录 基础配置：支持自定义配置变更系统、变更类型...
重要 阿里云注册域名不支持同时配置多家厂商DNS服务器，因为NS记录缓存时间一般为48小时，部分场景下的故障发生时，NS缓存短时间无法消除，依然会有解析请求到故障DNS。同时不同厂商之间的解析数据不一致问题也容易引发故障。阿里云注册...
单个或多个模块都可能会有不同类型的故障发生，导致模块不能正常运行，例如Producer无法发送消息，这种场景叫做消息的演练场景。需要注意的是演练场景仅是组件表象，其内部故障原因可能是多种多样的，需要进一步进行分析。
说明 演练前，基于MSHA流量监控或其他监控产品，确定业务稳态的监控指标（如日常情况RT≤200ms，错误率），以便在故障发生时判断故障影响面以及在故障恢复后判断业务的实际恢复情况。步骤二：应用故障注入 这里使用阿里云故障演练产品，对...
平时，您还可以方便地进行容灾演练，确保真实故障发生时恢复流程顺畅，保证容灾计划的准确性。混合云容灾服务让您无需承担自建灾备中心的巨大投入，也无需担心传统容灾方案复杂的软硬件部署运维，极大减少了异地容灾的成本，提高容灾的有效...
多活流量必须经过接入层，以便在故障发生时，通过接入层切换入口流量。比例分流：接入层支持按比例将流量分流到机房。特殊场景下，可以将机房流量切零，从而实现故障情况下的流量切换。精准路由：接入层支持根据HTTP请求Header/Cookie/...
告警规则 告警规则能够根据故障的严重程度，在故障发生时及时发出不同等级的提醒，帮助您在错误预算被过多消耗之前及时响应。ASM基于“多窗口多燃烧率告警策略”生成告警规则，适用于大多数场景。多燃烧率策略下，短时间内的高故障率或持续...
告警规则 告警规则能够根据故障的严重程度，在故障发生时及时发出不同等级的提醒，帮助您在错误预算被过多消耗之前及时响应。ASM基于“多窗口多燃烧率告警策略”生成告警规则，适用于大多数场景。多燃烧率策略下，短时间内的高故障率或持续...
根据智能AI算法和阿里多年积累的AIOps经验，在故障发生后，提供自动化解决方案。在方案设计中我们提供包括时序预测和根因分析、历史数据预测的3大类算法场景的设计，更多具体算法详见《10.1算法列表》《智能故障发现设计方案》3 定制化业务...
备节点的故障发现时长为秒级，在99%的场景下，备节点从故障发生到节点恢复不超过10分钟。在好的架构下才能实现高可靠性。实现RPO=0的成本极高，需要单独购买研发服务。数据可靠性一般，取决于单块磁盘的损害概率。实现RPO=0的成本极高，...
当服务下所有实例全部移除时，集群将针对该服务自动开启1分钟的推空保护，防止因网络抖动、服务提供者短时间内发生故障等问题导致的异常推空，以保证此场景下用户业务可用性。说明 为保证业务的最高可用性，建议打开 ...
添加非空列：会自动在结果表Schema末尾添加对应的列，并自动同步新增列的数据，新增的列会默认设置为可空列，对于添加列发生之前的数据自动设置为NULL值。重命名列：被看作为添加列和删除列。直接在结果表中末尾添加重命名后的列，并将重...
沉淀研发运维处理经验，形成知识体系，更好的复用。故障管理闭环：事件影响恶化，将升级为故障，故障管理形成闭环，持续提升业务连续性。云钉一体的运维协同：基于钉钉打通多端、多团队的协同，加速运维事件处理。产品适用场景 一站式运维...