分页查询检查项产生风险的统计数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
您可以使用云工作流和函数计算轻松构建ETL离线数据处理系统，实现更灵活、成本更低的数据处理解决方案。您无需管理底层服务器资源，从而更加聚焦于业务逻辑本身。背景信息 随着云计算、人工智能、物联网等新技术的应用普及，人类产生的数据...
在 PolarDB PostgreSQL版 冷热分层存储架构中，先将冷数据按规则切成小块，再对切好的块数据进行压缩，最后写入OSS，达到通用数据压缩率20%-40%，时空数据压缩率60%-70%，平均压缩率50%的效果，相当于将存储于数据库云盘中的数据转存在OSS...
在 PolarDB PostgreSQL版（兼容Oracle）冷热分层存储架构中，先将冷数据按规则切成小块，再对切好的块数据进行压缩，最后写入OSS，达到通用数据压缩率20%-40%，时空数据压缩率60%-70%，平均压缩率50%的效果，相当于将存储于数据库云盘中的...
查看数据预览 数据洞察 您可以为表创建数据洞察，通过深度数据分析和解读来获取数据统计及分布情况。查看数据洞察 查看表基本信息 您可以在表详情页左侧的 表基础信息 区域查看表的 浏览次数、读取次数、收藏次数 等信息。图标表示当前表为...
此数据为离线统计，有 T+1延迟。存储量 当前地域下，所有表的逻辑存储大小总和，包含调度任务的临时文件、删除表后尚未释放的存储空间。此数据为离线统计，有 T+1延迟。总API数 当前地域下，已发布至API网关的MaxCompute类型的API总数。...
概述 Quick BI如何统计哪些仪表板已经下线了，但是数据集还在加速？详细信息 可以通过帮助文档的API联合查询。1.先查询数据集详情，获取到开启加速的数据集，获取到开启加速的数据集信息：2.查询所有下线的仪表板信息：3.通过血缘查仪表板...
数据集成任务：仅统计数据集成离线同步和实时同步任务的相关运维情况。进入运维大屏 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 运维中心，在下拉框中选择对应工作空间后单击 进入运维中心。查看周期任务运...
离线数据集是通过指标映射创建离线标签的前提条件。可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。离线数据集的加工...
离线数据集是通过指标映射创建离线标签的前提条件。可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。离线数据集的加工...
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标...
在 离线数据同步 页面，单击 新增任务，在 离线数据同步 管理页面，配置离线同步周期任务。填写基本信息，任务名称“信用卡客户数据上云_全量”。在 源端配置 区域，配置数据源端。参数 说明 示例 数据源 数据来源端的数据源类型以及该类型...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在 离线数据同步 页面，单击 新增任务。在 离线数据同步 管理 页面，配置离线同步周期任务。填写基本信息，任务名称“信用卡客户数据上云_d”。在 源端配置 区域，选择...
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加离线数据同步任务...
想用AnalyticDB进行离线数据处理？本篇实践教程通过详细的分步指南与代码示例，清晰讲解核心操作流程，助您快速构建并优化数据处理任务。
本文将指导您如何通过SQL加工创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请参见 创建标签项目。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签 标签工作台。在顶部菜单栏中，选择 项目。在...
本文将指导您如何通过SQL加工创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请参见 创建标签项目。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签 标签工作台。在顶部菜单栏中，选择 项目。在...
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
Y Y N Y Y 查看实例详情&日志 Y Y N Y Y 补数据 Y Y N Y Y 回滚到该版本 Y Y N Y Y 删除版本 Y N N N Y 重跑实例 Y Y N Y Y 移除已申请离线标签 Y N N N-离线数据集 新建（保存并发布）&复制离线数据集 Y Y N N-编辑（保存&发布）离线数据...
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
本文将指导您如何通过表映射创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请参见 创建标签项目。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签 标签工作台。在顶部菜单栏中，选择 项目。在左侧...
本文将指导您如何通过表映射创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请参见 创建标签项目。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签 标签工作台。在顶部菜单栏中，选择 项目。在左侧...
支持的同步类型 单表离线 数据去向为OSS或OSS-HDFS时，支持的数据来源：数据集成模块数据来源支持的所有数据源类型 配置指导：数据集成侧同步任务配置 单表实时 数据去向为OSS或OSS-HDFS时，支持的数据来源：Kafka、LogHub 配置指导：数据...
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
Y Y N Y Y 移除已申请离线标签 Y N N N-离线数据集 新建（保存并发布）&复制离线数据集 Y Y N N-编辑（保存&发布）离线数据集 Y Y N N Y 删除离线数据集 Y N N N Y 查看离线数据集详情 Y Y Y Y Y 查看实例详情&运行日志 Y Y N N Y 下线离线...
1小时（相对）大批量修改SQL的列表，包括：最早执行时间 最近执行时间 PolarDB-X 实例ID 数据库 表格 执行次数 平均更新行数 平均时长（秒）SQL 修改数据统计时间 日志报表页面的所有图表都是基于不同时间段（默认为过去1小时内的）的数据...
方案亮点：PB级数据量、同时支持在线和离线数据分析。业务挑战 通过对游戏服的用户行为日志进行收集、存储和分析，计算玩家留存率、LTV、ARPU、充值总金额等。游戏运营变化快，需要灵活的Schema。在线用户基数大，日志数据规模大，需要高...
本文为您介绍Hive的离线数据迁移到 云数据库 SelectDB 版 的各个方式以及方式选择规则。方式选择 根据不同的业务场景，选择合适您的迁移方式。具体的方式选择可以参考如下规则：方式 适用场景 推荐原因 操作步骤 Catalog 数据存储在阿里云...
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
等保报表：本报表参考《中国国家信息安全保护检验标准》完成设计，针对国家等级保护的检测要求进行审计数据统计梳理。旨在帮助数据库管理人员、审计人员对各种异常行为和违规操作及时发现，快速定位分析，为整体信息安全管理提供决策依据。...
在右侧详情面板，查看如下图所示的敏感数据统计信息。在敏感数据列表中，您可以单击 操作 列 列详情（结构化数据和大数据）或 命中详情（非结构化数据），查看每列数据命中敏感数据的规则详情。如果 操作 列存在 订正 入口，您可以订正敏感...
本文介绍通过DataWorks将MongoDB的离线数据迁移至Lindorm宽表。背景信息 有关大数据开发治理平台DataWorks，具体请参见 什么是DataWorks。注意事项 将MongoDB的离线数据迁移至Lindorm宽表时，需要将MongoDB嵌套的JSON数据展开成水平结构，...
当飞线请求失败时 飞线数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
100 splitInterval:6h mem:Xms6G-Xmx6G 1.5 MB 230000 12分钟30秒 CPU占比为30%2 总时间线数据为600万 总数据点数为2592000000 1 channel:10 oidCache:true oidBatch:100 splitInterval:6h mem:Xms8G-Xmx8G 292 MB 200000 2小时55分钟30秒 ...
表单加工 的离线数据集支持切换指标的 统计字段、统计函数，切换的 统计字段、统计函数 的选择结果必须符合 指标的值类型。对于离线映射数据集、离线表单数据集的来源表提示 未获取到表结构信息 时，请检查来源表是否被删除或表名称是否...