典型应用场景 基于线上数据的开发测试（Dev或Ops）测试和预发布需要基于线上存量数据验证，但又必须保护线上数据不被污染。沙箱功能可以快速提供历史全量数据副本，同时满足快速测试迭代和数据可靠性保障需求。在线应急容灾 基于沙箱的备份...
2020年4月2日 线上改造迁移综述 数据库画像增加数据库兼容性选型。新增 提供Oracle迁移到各目标库兼容性对比，并支持按照Schema纬度筛选。2020年1月19日 数据库画像 应用评估。新增 支持大规模Oracle与应用的迁移蓝图规划与评估，可帮助...
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。核心能力 ...
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在 离线数据同步 页面，上线离线数据同步任务。单个上线：单击目标同步任务 操作 列的 上线，在弹出对话框中单击 确定。批量上线：在任务列表中勾选需要上线的任务，...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在 离线数据同步 页面，单击目标同步任务 操作 列的 监控。跳转到 离线同步实例 页面，可查看同步任务运行详情，更多信息，请参见 查看离线计算实例详情。
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标，选择 添加子级目录，为根目录添加子目录。在 类目属性设置 对话框，输入类目名称和类目描述，单击 确定。（可选）在左侧导航栏，单击 离线数据同步，将鼠标悬停在新建...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在 离线数据同步 页面，单击 新增任务。在 离线数据同步 管理 页面，配置离线同步周期任务。填写基本信息，任务名称“信用卡客户数据上云_d”。在 源端配置 区域，选择...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在 离线数据同步 页面，单击 批量新增任务。配置基本信息、数据元和目标端。在配置向导页面，选择所属目录，输入任务的描述。在 数据源配置 区域，选择数据源类型。在 ...
数仓/数据湖构建 周期性地将线上业务数据库（OLTP）的全量或增量数据，批量同步至数据仓库或数据湖的贴源层（ODS），作为后续数据分析的源头。数据备份与灾备 定期将生产数据库的全量数据备份到低成本的存储介质（如HDFS、OSS）。跨地域/...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在 离线数据同步 页面，单击 新增任务。配置任务基本信息：在 离线数据同步管理 页面上方，填写任务名称、所属类目、描述。配置同步资源，包括源端和目标端。参数 说明...
stainherit=true 的项表示列在整个继承树上的统计数据，即通过 SELECT ``column`` FROM ``table```看到的数据的统计，而 stainherit=false 的项表示对 SELECT column FROM ONLY ``table`的结果的统计。pg_statistic 也存储关于索引表达式...
入仓解决方案包括：实时同步任务：基于离线数据集成的数据传输服务。新建实时同步任务，请参见 新建实时同步任务。实时迁移任务：基于数据传输服务DTS的数据传输服务。新建实时迁移任务，请参见 新建实时迁移任务。说明 基于DTS的数据同步...
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
统计值（重复行数/重复率）重复行数用于检查数据中重复了的行数的多少，仅计算多出来的行数，算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的全部行数/重复率计算，可以使用唯一值校验模板的异常行数/异常率指标。及时...
例如，统计线上渠道的销售金额、生鲜门店的销售金额，线上渠道和生鲜门店就是聚焦的业务范围和限定。一个或多个修饰词与原子指标、时间周期，共同构成一个派生指标，用于体现企业某一业务活动的业务状况。派生指标的相关内容，详情请参见 ...
说明 为保证线上库的稳定性，数仓开发的项目空间引入了测试库和线上库，测试环境和线上环境隔离，您可以在测试库上开发、调试任务流，然后将任务流发布到线上库进行调度。已有测试库和在线库的Owner权限。申请数据库Owner权限，请参见 管理...
也支持开启Compaction Service，使用Compaction Service独立资源池远程Build数据，从而降低对线上业务的资源占用，提升稳定性。XUANWU_V2引擎介绍 优化 FROM_UNIXTIME函数 FROM_UNIXTIME函数支持将INT类型的秒级时间戳按照DATE_FORMAT格式...
本案例以某公司的零售事业群为例，为您介绍在构建数据中台时，如何规划业务模型中的业务板块、项目、数据域和指标...该指标统计的线上订单为业务限定，其计算逻辑为 order_site=1。派生指标 最近30天每个消费者的线上下单金额，就是派生指标。
本案例以某公司的零售事业群为例，为您介绍在构建数据中台时，如何规划业务模型中的业务板块、项目、数据域和指标...该指标统计的线上订单为业务限定，其计算逻辑为 order_site=1。派生指标 最近30天每个消费者的线上下单金额，就是派生指标。
在场景编辑器内配置OD飞线的数据面板时，您还可以使用 空间构建数据源 获取空间地图上OD飞线数据，具体步骤如下：在图层配置面板中选择 数据 页签，单击面板下方的 数据源类型 下拉框，选择 空间构建数据源。在面板下方的 数据项目 下拉...
支持安全管理员用户的功能总览 类目 功能 说明 SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。逻辑数仓 逻辑数仓提供快速进行数据分析、访问服务和跨...
飞线层是3D平面中国地图的子组件，支持独立的样式和数据配置，包括飞线的速度、颜色、粗细以及起始点的经纬度等，能够以飞线动画的形式表现两个地理坐标点之间的过渡效果。本文介绍飞线层各配置项的含义。单击 子组件管理 下方的 飞线层，...
SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。逻辑数仓 逻辑数仓提供...
SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。逻辑数仓 逻辑数仓提供...
说明 案例库的数据均来自阿里巴巴集团内部业务，所涉及的线上抽取信息，如统计信息，均经过加密脱敏处理，此过程为无人参与的全自动化过程。最后通过“测试用例形式化特征库”和“测试案例库”的特征比对，可实现测试完备度和覆盖度的评估...
离线数据集是通过指标映射创建离线标签的前提条件。可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。离线数据集的加工...
离线数据集是通过指标映射创建离线标签的前提条件。可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。离线数据集的加工...
deleteMeta public void deleteMeta(Timeline timeline)从接口复制的说明：TSDB 删除时间线数据。参数：timeline-Timeline 时间线类的实例。获取Tag相关信息 dumpMeta public List TagResult dumpMeta(String tagkey,String tagValuePrefix...
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
DTS数据传输服务（线上）：选择 数据迁移，支持结构迁移（不推荐使用，不要勾选），全量数据迁移，增量数据迁移，数据校验与数据订正以及数据回流（即PolarDB增量同步回Oracle）等功能。DTS迁移工具（线下）：阿里云官方线下迁移工具，支持...
场景：以下SQL为Spark SQL，通过EMR Spark SQL节点创建的外部表ods_user_info_d_spark，用LOCATION来获取离线数据集成任务写入私有OSS对象存储Bucket的用户信息，并写入对应的dt分区。补充：DataWorks提供调度参数，可实现调度场景下，将...
场景：以下SQL为Spark SQL，通过EMR Spark SQL节点创建的外部表ods_user_info_d_spark，用LOCATION来获取离线数据集成任务写入私有OSS对象存储Bucket的用户信息，并写入对应的dt分区。补充：DataWorks提供调度参数，可实现调度场景下，将...
高级面板 打开开关，开启组件交互功能，可单击某条线或鼠标移入线上时，触发数据请求，抛出临时变量，实现在单击或鼠标移入到线时，动态加载不同线的数据。默认抛出所单击区域的 id 值，具体配置请参见 组件交互配置。蓝图交互 单击页面...
并且一旦出现数据安全问题，线上业务将无法进行。随着数据恢复时间的增加，造成的损失也会越大。数据灾备 提供的应急恢复功能，将自动获取备份集并合成快照点，可按需在短时间内恢复出（即创建）一个新的 数据灾备 沙箱实例。您可以在沙箱...
功能介绍 在 概览 页面中可以查询当前数据统计信息以及趋势图、离线语音和离线文本指标。在 概览 页面上方导航栏单击 质检用量统计，可查看近七日的计费统计信息。数据统计图 数据统计图包括：大模型调用量、文本质检字符数（包括实文本...
表单加工 的离线数据集支持切换指标的 统计字段、统计函数，切换的 统计字段、统计函数 的选择结果必须符合 指标的值类型。对于离线映射数据集、离线表单数据集的来源表提示 未获取到表结构信息 时，请检查来源表是否被删除或表名称是否...
在 移动推送 产品页面，从左侧导航栏选择 数据统计，查看推送记录。查看推送历史记录 参数 说明 消息ID 标识一次推送的消息ID。类型 推送类型，分为通知和消息。来源 推送来源，分为控制台推送和API推送。目标类型 对应创建推送时的发送...
在右侧详情面板，查看如下图所示的敏感数据统计信息。在敏感数据列表中，您可以单击 操作 列 列详情（结构化数据和大数据）或 命中详情（非结构化数据），查看每列数据命中敏感数据的规则详情。如果 操作 列存在 订正 入口，您可以订正敏感...