集群启停 重启集群 当云数据库 SelectDB 版集群出现异常情况，无法提供服务时，您可以重启该集群。重启集群 删除集群 当业务不再需要该集群时，您可以删除该集群。删除集群 监控告警 功能集 功能 功能描述 参考文档 监控告警 监控告警 云...
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
资产报告升级，可从资源粒度查看分析质量概况，并支持下载异常数据进行归档。质量负责人权限升级，新增支持新建、编辑、删除质量规则、并执行规则试跑权限。支持Oracle、PostgreSQL、SQL Server、SAP HANA不同数据类型及添加质量规则功能...
当数据库出现性能问题或异常操作时，通常需要结合数据库的会话信息，快速定位和解决数据库的问题。数据库自治服务DAS（Database Autonomy Service）的实例会话功能，支持实时查看目标实例的会话信息，并提供会话运维操作，例如结束会话、10...
当数据库出现性能问题或异常操作时，通常需要结合数据库的会话信息，快速定位和解决数据库的问题。数据库自治服务DAS（Database Autonomy Service）的实例会话功能，支持实时查看目标实例的活跃会话、异常会话、会话访问来源和SQL语句等...
数据下载量异常 StartTime string 否 异常事件发生时间，即开始检测异常事件时间。格式：时间戳。单位：毫秒。1657900000 EndTime string 否 异常事件结束时间，即结束检测异常事件时间的。格式：时间戳。单位：毫秒。1698700000 PageSize ...
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
背景信息 DataWorks的数据开发（DataStudio）面向各引擎（MaxCompute、Hologres、EMR、CDH等）提供可视化开发界面，包括智能代码开发、数据清洗加工、规范化任务开发与发布等，保证数据开发的高效与稳定。更多数据开发模块的使用，详情请...
数据加工 使用 DataWorks数据开发（DataStudio）模块，将日志数据通过函数正则等方式拆解为可分析字段，并与用户信息表加工汇总产出基本的用户画像数据，并提交调度系统，结合DataWorks调度参数实现周期性数据清洗操作。学习如下内容：如何...
数据清洗层（ODS）：按部门划分，不同部门内数据统一口径，清洗掉不宜公开的数据，例如“ods_人力资源部”、“ods_生产部”等。任务节点：只有单一输入、单一产出的SQL任务。数据表：ODS层表。空间成员：各部门委派的数据清洗人员。资源...
数据加工 使用 DataWorks数据开发（DataStudio）模块，将日志数据通过函数正则等方式拆解为可分析字段，并与用户信息表加工汇总产出基本的用户画像数据，并提交调度系统，结合DataWorks调度参数实现周期性数据清洗操作。学习如下内容：如何...
一个实时同步任务支持多个转换插件进行数据清洗，并支持多个写入插件实现多路输出功能。实时同步支持单表实时增量数据同步至MaxCompute单表、分库分表实时增量数据同步至MaxCompute单表、整库（多表）实时增量数据同步至MaxCompute多表。...
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。重新校验：仅待处理、已...
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。重新校验：仅待处理、已...
例如数据同步至ClickHouse数据源前需要自定义数据清洗的规则，您就可以填写准备语句。填写完成语句：导入后执行的SQL脚本。例如数据写入目标表A后，重命名目标表A为B，您就可以填写完成语句。输入字段 展示从源表中读取的字段。输出字段 ...
功能说明 您可以通过深度检测功能，检测数据库实例如下指标是否异常：数据库空间使用情况 阻塞死锁数量 慢SQL数据 平均活跃会话 数据库日志增长方式 操作步骤 登录 DAS控制台。在左侧导航栏中，单击 实例监控。找到目标实例，单击实例ID，...
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。加入白名单：加入白名单...
或者历史任务中出现过异常，但最新数据处理中已经用不到了，可以选择直接忽略。取消忽略：取消忽略后，将会按照最新一次校验结果确定问题状态。如果校验通过，问题状态是已解决；如果校验不通过，问题状态是未解决。加入白名单：加入白名单...
例如数据同步至ClickHouse数据源前需要自定义数据清洗的规则，您就可以填写准备语句。填写完成语句：导入后执行的SQL脚本。例如数据写入目标表A后，重命名目标表A为B，您就可以填写完成语句。输入字段 展示从源表中读取的字段。输出字段 ...
数据质量 数据质量 包括 字段规则异常、自定义规则异常、数据源规则异常、指标规则异常、表规则异常。数据服务 数据服务 包括 平均响应时间异常、调用次数异常、错误率异常。修改告警消息模板 在不同模块的页签下，单击 操作 列下的 图标，...
补齐分区写入功能 补齐了 INSERT OVERWRITE SELECT 的ETL、目标分区写入功能，简化了用户ETL数据清洗处理的步骤。深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力，包括对象存储OSS上7种以上...
整体系统的查询时间在毫秒级，数据清洗在分钟级。某位置服务平台 场景：实时采集车辆设备轨迹，40万+终端设备，3万+轨迹点/秒峰值；对外提供实时位置查询、地理围栏、轨迹相似度判断等服务。架构说明 HBase Ganos承载所有历史轨迹库的存储...
展示 数据表异常数、指标-异常规则、数据源异常数 和 实时元表异常数，同时展示与昨日数据的对比结果。您也可以单击显示区域上方的 图标，查看规则校验详情。② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势，...
展示 数据表异常数、指标-异常规则、数据源异常数 和 实时元表异常数，同时展示与昨日数据的对比结果。您也可以单击显示区域上方的 图标，查看规则校验详情。② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势，...
通过JDBC使用程序导入数据 在数据清洗或复杂非结构化数据场景下，当外表和DataWorks导入无法满足定制化导入需求时，可以编写程序通过JDBC导入数据。常见使用场景 数据预处理后导入 业务端实时产生日志文件，需要对日志文件进行自动化解析并...
数据质量 数据质量 包括 字段规则异常、自定义规则异常、数据源规则异常、指标规则异常、表规则异常。数据服务 数据服务 包括 平均响应时间异常、调用次数异常、错误率异常。修改告警消息模板 在不同模块的页签下，单击 操作 列下的 图标，...
为了简化用户使用SDK的复杂度，DTS实现了SDK容...当主SDK异常或是出现网络连接异常时，DTS会自动failover漂移到备SDK上，同时使用最后消费的时间点启动备SDK。主SDK每消费一条数据，会向DTS控制系统汇报一个ACK，即向控制系统汇报消费时间点。
通过机器学习和智能算法，支持数据库实例核心指标的异常检测和预测，并自动联动一键诊断模块，帮助您直接定位异常根因。前提条件 数据库实例需要满足以下条件：当前仅支持 RDS MySQL。数据库实例已接入DAS，并且接入状态显示为 接入正常，...
提升稳定性 DAS提供丰富的数据库性能监控和告警功能，可以快速发现和定位数据库异常，提升数据库的稳定性。运维和管理一站化，无需多平台间切换，显著减少误操作概率。持续可用 DAS基于机器学习和专家经验实现数据库自感知、自修复、自优化...
数据库自治服务DAS（Database Autonomy Service）为RDS PostgreSQL提供事件 告警 功能，...开启事件告警功能后，如果检测到异常事件，DAS将会根据您设置的方式进行通知（例如手机短信），帮助您及时发现数据库异常变化。详情请参见 配置告警。
当任务触发质量规则校验时，您可以使用去噪管理功能，对当前工作空间内，数据质量规则校验异常的数据不触发报警，且不阻塞任务运行（任务不会因为数据质量校验不通过而失败退出）。前提条件 已创建数据质量校验规则，详情请参见 配置规则：...
操作视频 异常检测 异常检测：基于机器学习和细粒度的监控数据，DAS实现7 X 24小时的异常检测，相比基于阈值的告警方式，能够更为及时地发现数据库异常变化，并给出优化或止损建议。自治服务 DAS基于机器学习和专家经验，针对日常运维中...
缺陷级别：严重，建议修复，概率性发生时会出现数据正确性问题。缺陷发生现象：如果集群启用JindoFS Cache模式（即设置数据缓存参数 jfs.cache.data-cache.enable 为 true）或者使用了JindoFS Block模式（Block模式默认启用缓存），则数据...
安全审计（新版）功能默认开启所有的内置数据库审计规则和异常检测模型，如果无需使用某些内置数据库审计规则和异常检测模型，您可以关闭对应规则和模型。并且该功能支持根据访问的库、表、字段、访问源、实例等不同维度自定义检测模型，使...
数据库自治 功能集 功能 功能描述 参考文档 监控告警 7 x 24小时异常检测 基于机器学习和细粒度的监控数据，实现7 x 24小时异常检测，全天侯监控数据库异常变化。异常检测 性能趋势 提供了丰富的性能监控指标并支持自定义图表；能够展示...
数据服务 包括 平均响应时间异常、调用次数异常、错误率异常 和 Offline百分比异常。实时计算 包括 业务延迟过高、TPS超过范围、失败超过配置比例、数据滞留超过配置 和 反压持续时间超过配置。不同的计算引擎，支持的告警类型不同。租户内...
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
数据服务 包括 平均响应时间异常、调用次数异常、错误率异常 和 Offline百分比异常。实时计算 包括 业务延迟过高、TPS超过范围、失败超过配置比例、数据滞留超过配置 和 反压持续时间超过配置。不同的计算引擎，支持的告警类型不同。租户内...
日志服务智能异常分析App提供模型训练和实时巡检功能，支持对日志、指标等数据进行自动化、智能化、自适应地模型训练和异常巡检。本文介绍智能巡检的背景信息、工作原理、功能特性、基本概念、调度与执行场景和使用建议。背景信息 基于时间...
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...