此数据为离线统计，有T+1的延迟。存储量 为当前租户本地域下，所有表的逻辑存储大小总和，包含调度任务的临时文件、删除表后尚未释放的存储空间。此数据为离线统计，有T+1的延迟。总API数 为当前租户本地域下，当前时间点，已发布至API网关...
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
查看数据统计信息和分布情况 查看表基本信息 您可以在表详情页左侧的 表基础信息 区域查看表的 浏览次数、读取次数、收藏次数 等信息。图标表示当前表为DataWorks智能数据建模生成的模型表。如果您需要使用智能建模功能，请参考 概述。浏览...
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标...
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，将...
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
1小时（相对）大批量修改SQL的列表，包括：最早执行时间 最近执行时间 PolarDB-X 实例ID 数据库 表格 执行次数 平均更新行数 平均时长（秒）SQL 修改数据统计时间 日志报表页面的所有图表都是基于不同时间段（默认为过去1小时内的）的数据...
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标，选择 添加子级目录，为根目录添加子目录。在 类目属性设置 对话框，输入类目名称和类目描述，单击 确定。（可选）在左侧导航栏，单击 离线数据同步，将鼠标悬停在新建...
数据统计范围 关于调度资源大盘的数据统计频率和数据统计范围说明如下：数据统计频率：每分钟统计1次。针对分配资源，取当前时间点的快照值；针对消耗资源，取过去1分钟内的峰值（即分钟内峰值）。每次页面刷新触发页面数据更新。数据统计...
本文介绍图层线数据选择的基础线符号为纹理填充线时的参数配置。前提条件 已登录DataV-Atlas管理控制台。已进入项目编辑页面。样式 基础 可见缩放等级：级别表示地图的缩放层级，地图的缩放层级在设置范围内线数据将显示，范围外将隐藏。...
等保报表：本报表参考《中国国家信息安全保护检验标准》完成设计，针对国家等级保护的检测要求进行审计数据统计梳理。旨在帮助数据库管理人员、审计人员对各种异常行为和违规操作及时发现，快速定位分析，为整体信息安全管理提供决策依据。...
本文介绍图层线数据选择的基础线符号为基础线时的参数配置。前提条件 已登录DataV-Atlas管理控制台。已进入项目编辑页面。样式 基础 可见缩放等级：级别表示地图的缩放层级，地图的缩放层级在设置范围内线数据将显示，范围外将隐藏。范围为...
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线同步周期任务。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组中...
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
全部数据 为您展示当前工作空间下离线数据和流式数据的全部数据情况。报警趋势图 为您展示 近7天、近30天 和 近半年 EMR、MaxCompute和DataHub数据源的任务报警趋势图，单位：次。阻塞趋势图 为您展示 近7天、近30天 和 近半年 EMR、...
数据集市与主题域 数据集市与主题域通常位于应用层，面向用户的实际业务需求，对指定的某类业务进行场景或产品的细粒度划分，制定不同分析视角，基于公共层的整合数据进行业务个性化的数据统计。数据集市 数据集市是对某个业务分类制定细化...
数据同步支持离线同步任务的批量创建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。...
数据同步支持离线同步任务的批量创建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。...
图表样式 飞线层是3D地球的子组件，支持独立的样式和数据配置，包括飞线的半径、弧度、类型以及起始点经纬度等，适用于OD数据的线型表达，通常表示两地之间的关联，如物流、交易等。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，...
离线数据加工卡点，主要指在业务系统的数据生成过程中进行的卡点校验。代码提交的卡点校验 代码提交卡点主要包括您在提交代码时，手动或自动进行SQL扫描，检查您的SQL逻辑。校验规则分类如下：代码规范类规则。例如，表命名规范、生命周期...
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
时间周期是用来明确数据统计的时间范围或者时间窗口，例如近1天，近1自然周。用于在统计派生指标时，限定业务统计的时间范围。本文为您介绍如何创建时间周期。背景信息 时间周期与原子指标、修饰词，共同构成一个派生指标，用于体现企业某...
请求路径和方法 请求路径 请求方法 描述/api/delete_data POST 删除数据 请求内容 名称 类型 是否必需 描述 默认值 举例 metric String 是 待删除数据的 Metric 无 cpu tags Map 否 待删除的时间线。该参数不是必选，在没有 tag 的情况下,...
本文为您介绍在线数据风险点监控和离线数据风险点监控。在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请...
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
应用层：基于实际应用需求，获取公共层加工整合后的数据，面向具体应用场景或指定产品进行的个性化数据统计。该层级仅支持使用 业务分类 视角管理模型表。未分层：如果已创建的模型表未划分层级归属（即 公共层 或 应用层），则该表会被...
搭建离线数据仓库：您可以将DBS备份数据作为数据湖存储，搭建离线数据仓库，实现湖仓一体，挖掘数据价值。应对审计需求：全量备份数据保存在DBS中，若有临时审计需求，可以快速过滤出需要的数据进行审计分析。快速定位数据：库-表-分区的新...
图表样式 飞线层是3D球形地图的子组件，支持独立的样式和数据配置，包括飞线的速度、高度、色调以及起始点经纬度等，适用于OD数据的线型表达，通常表示两地之间的关联，如物流、交易等。配置面板 搜索配置：单击 配置 面板右上角的 搜索...
方案亮点：PB级数据量、同时支持在线和离线数据分析。业务挑战 通过对游戏服的用户行为日志进行收集、存储和分析，计算玩家留存率、LTV、ARPU、充值总金额等。游戏运营变化快，需要灵活的Schema。在线用户基数大，日志数据规模大，需要高...
OD飞线是三维城市构建器的图层，支持独立的样式和数据配置，能够以飞线的形式表现地理位置上两个点之间的OD数据，可以用来展示两地之间的关联信息，如物流、交易等。本文介绍OD飞线各配置项的含义。在场景编辑器左侧图层列表中，单击 OD飞...
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如Mysql、...