表单加工 的离线数据集支持切换指标的 统计字段、统计函数，切换的 统计字段、统计函数 的选择结果必须符合 指标的值类型。对于离线映射数据集、离线表单数据集的来源表提示 未获取到表结构信息 时，请检查来源表是否被删除或表名称是否...
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
想用AnalyticDB进行离线数据处理？本篇实践教程通过详细的分步指南与代码示例，清晰讲解核心操作流程，助您快速构建并优化数据处理任务。
支持的同步类型 单表离线 数据去向为OSS或OSS-HDFS时，支持的数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：数据集成侧同步任务配置 单表实时 数据去向为OSS或OSS-HDFS时，支持的数据来源：Kafka、LogHub 配置指导：数据...
请求路径和方法 请求路径 请求方法 描述/api/delete_data POST 删除数据 请求内容 名称 类型 是否必需 描述 默认值 举例 metric String 是 待删除数据的 Metric 无 cpu tags Map 否 待删除的时间线。该参数不是必选，在没有 tag 的情况下,...
本文为您介绍Hive的离线数据迁移到 云数据库 SelectDB 版 的各个方式以及方式选择规则。方式选择 根据不同的业务场景，选择合适您的迁移方式。具体的方式选择可以参考如下规则：方式 适用场景 推荐原因 操作步骤 Catalog 数据存储在阿里云...
可对任务总数、线上任务、正运行任务等核心指标进行统计，并可以实现异常任务执行状态的监控，当前实例状态监控。对任务的开始时间、结束时间、耗时、速率、状态和执行日志等信息进行跟踪和展示，并支持周期任务重跑。数据源管理 支持对...
可对任务总数、线上任务、正运行任务等核心指标进行统计，并可以实现异常任务执行状态的监控，当前实例状态监控。对任务的开始时间、结束时间、耗时、速率、状态和执行日志等信息进行跟踪和展示，并支持周期任务重跑。数据源管理 支持对...
查询治理所有实例上的慢SQL DAS通过离线数据分析技术，在每天凌晨1点将全部实例在昨天产生的慢SQL进行统计分析和自动打标，帮助您对慢SQL进行分类，同时提供治理建议和数据导出功能，您可以按照系统提供的优先级顺序对慢SQL进行灵活治理，...
100 splitInterval:6h mem:Xms6G-Xmx6G 1.5 MB 230000 12分钟30秒 CPU占比为30%2 总时间线数据为600万 总数据点数为2592000000 1 channel:10 oidCache:true oidBatch:100 splitInterval:6h mem:Xms8G-Xmx8G 292 MB 200000 2小时55分钟30秒 ...
查看数据预览 数据洞察 您可以为表创建数据洞察，通过深度数据分析和解读来获取数据统计及分布情况。查看数据洞察 查看表基本信息 您可以在表详情页左侧的 表基础信息 区域查看表的 浏览次数、读取次数、收藏次数 等信息。图标表示当前表为...
流利说基于数据库自治服务DAS的 7*24异常检测、SQL诊断引擎、自动SQL限流、自动性能扩展、自动SQL优化 和 流量回放与压测 六项核心能力构建了“基础服务自治平台”的数据库部分，通过 DAS服务接口 实现了线上故障修复自动化、数据库优化...
如果您需要查看租户粒度下的全局异常数据统计概况，则单击 图标进行切换查看。实时实例页面展示当前时间的异常统计信息排行。离线实例页面默认展示运行日期为当天的统计数据。同时，您可以选择查看最近7天内的统计数据。鼠标悬停至 图标，...
如果您需要查看租户粒度下的全局异常数据统计概况，则单击 图标进行切换查看。实时实例页面展示当前时间的异常统计信息排行。离线实例页面默认展示运行日期为当天的统计数据。同时，您可以选择查看最近7天内的统计数据。鼠标悬停至 图标，...
离线同步任务 场景介绍 离线数据同步支持 源端单表同步至目标端单表、源端分库分表同步至目标端单表 两类同步场景。同时，结合DataWorks调度参数，可实现增量数据和全量数据周期性写入目标表的对应分区；再配合运维中心的补数据功能，可...
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor 等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
DataWorks 内置了开箱即用的公共数据集数据源，帮助您零配置快速体验单表离线数据同步。本文为您介绍DataWorks的公共数据集数据同步能力支持情况。支持的数据集详情及地域 支持的公共数据集列表以及数据集的详情参见 DataWorks Gallery 云...
在数据库日常运维中，您可以通过查看数据库实例中计划执行、正在执行和已执行完成的性能事件（例如异常事件、优化事件、弹性伸缩事件等），及时且全面地了解数据库的性能问题及相关的运维操作。本文介绍如何通过数据库自治服务DAS的性能...
MaxCompute/Hive-Lindorm 离线数据查询加速，将数仓中的明细、指标等数据批量回流Lindorm提供在线查询。待补充，目前可联系值班咨询 Lindorm 数据导出 ODPS（MaxCompute）重要 该功能自2023年6月16日下线，2023年6月16日后购买的LTS 不再...
准备示例数据表 本实践需准备一个MongoDB数据集合、一个MaxCompute表，用于后续进行离线数据同步。准备MaxCompute表并构造表数据。创建一个名称为 test_write_mongo 的分区表，分区字段为 pt。CREATE TABLE IF NOT EXISTS test_write_mongo...
将数据库接入数据库审计系统后，您可以通过云盾数据库审计系统，查看系统审计到的SQL语句。本文为您介绍如何查看数据库审计系统审计到的SQL语句。操作步骤 登录 云盾数据库审计管理控制台。在左侧导航栏，单击 A100实例。在 A100实例 页面...
本文介绍 云数据库 SelectDB 版 中手动记录统计信息或者自动收集统计信息，为您进行查询性能优化提供参考。概述 云数据库 SelectDB 版 支持手动记录统计信息或者自动收集统计信息。收集统计信息有助于优化器了解数据分布特性。在进行基于...
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元；其中，前200个集成同步任务免费。计算任务：每1个离线计算任务或实时计算任务计算1个数据处理单元。...
统计周期即统计数据的时间范围，例如最近7天、最近30天等。本文为您介绍如何新建统计周期。前提条件 需开通智能研发版或资产运营 高级版 功能才能使用统计周期。完成计算引擎类型设置，详情请参见 计算设置。计算引擎类型设置完成后，系统...
统计周期即统计数据的时间范围，例如最近7天、最近30天等。本文为您介绍如何新建统计周期。前提条件 需开通智能研发版或资产运营 功能才能使用统计周期。完成计算引擎类型设置，详情请参见 计算设置。计算引擎类型设置完成后，系统会自动...
离线全量Key分析 离线全量Key分析 功能支持全数据结构、全实例架构及Redis各个版本的离线RDB备份文件解析，对线上服务无影响。相比开源工具redis-rdb-tool的解析速度，离线全量Key分析 在大小Key混合（占比1：9）的场景下实现4倍速度提升，...
开启 跳过点和线 会忽略选中的点和线数据。几何差集：选中两个及以上 面类型要素 后单击 图标执行面数据差集计算操作。开启 跳过点和线 会忽略选中的点和线数据。要素处理工具集 要素处理工具集包括 要素打散、要素剪裁、要素简化、面内...
在排查云数据库 Tair（兼容 Redis）数据库实例的故障和性能降低的原因时，您可以通过时延洞察功能，对数据库所有命令以及自定义特殊事件进行时延统计，得到精确到微秒级别的延迟时间，从事件、时间、时延三个维度对实例进行分析，快速定位...
CloudDBA的时延洞察功能可以对 云数据库 Tair（兼容 Redis）数据库所有命令以及自定义特殊事件进行时延统计，并给出精确到微秒级别的延迟时间。您可以通过该功能排查 云数据库 Tair（兼容 Redis）数据库的故障和性能降低的原因。功能简介 ...
DM（达梦）数据源 Milvus数据源 TiDB数据源 DRDS（PolarDB-X 1.0）数据源 MongoDB数据源 TSDB数据源 Elasticsearch数据源 MySQL数据源 Vertica数据源 FTP数据源 OpenSearch数据源 TOS数据源 GBase8a数据源 Oracle数据源 HBase数据源 Graph ...
离线数据T+1更新其血缘关系。各数据源使用限制 E-MapReduce DataLake或自定义集群若要在DataWorks管理元数据，需先在集群侧配置EMR-HOOK。若未配置，则在DataWorks中无法展示血缘关系。配置EMR-HOOK，详情请参见 配置Hive的EMR-HOOK。EMR ...
云原生数据仓库 AnalyticDB MySQL 版 采用计算存储分离的架构，通过云原生技术实现了池化，提供了Serverless存储的能力。Serverless架构下的存储资源支持独立弹性伸缩，同时...通过智能采集湖上数据统计信息，改善湖上查询计划，加速湖查询。
调用GetFullRequestStatResultByInstanceId接口，按照SQL ID异步统计数据库实例SQL洞察结果中的全量请求数据。接口说明 说明 异步调用后不会立即返回完整结果，当返回数据中 isFinish 取值为 false 时，请等待 1s 后重新发起调用，直到 ...
原子指标用于明确业务的统计口径和计算逻辑，是基于用户的业务活动（即业务过程）创建的，用于统计业务活动中某一业务状况的数值。例如，用户的业务活动为购买，则原子指标就可以指定为支付金额。本文为您介绍如何创建原子指标。准备工作 ...
例如，统计 一个自然日中线上生鲜门店的下单总数、一个自然日中线上和线下生鲜门店的下单总数。进入派生指标页面 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据建模，在下拉框中选择对应工作空间后单击 ...
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
PolarDB-X 支持SQL审计与分析功能，依托日志服务，提供了运营中心、性能中心、安全中心等开箱即...修改目标页签下单一图表的数据统计时间 将鼠标放置在目标图表右侧的 图标上，单击 选择时间范围，在弹出的页面中修改当前图表的数据统计时间。
汇总表用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建汇总表。功能介绍 汇总表是将一个数据域中的多个派生指标通过时间周期及关联维度整合...
基础功能和增值功能 智能研发版 基础功能 离线数据集成 支持 离线编码研发 支持 规范建模 支持 资产清单 支持 权限管理 支持 增值功能 说明 在购买了基础功能的前提下，您可以叠加购买增值功能包。实时集成 可增购 实时研发 可增购 智能运...
重要 DataWorks已不推荐使用旧版资源组（独享资源组和公共资源组）。相较于旧版资源组，Serverless资源组支持的能力更丰富、能有效利用资源碎片避免浪费，因此...数据集成离线同步任务通过调度资源组将任务下发至数据集成任务执行资源上执行。