汇总表 您可以结合业务数据分析和数仓分层,将一些明细的事实数据和维度数据先进行汇总分析,创建汇总表,后续数据分析时直接取用汇总表中的数据即可,无需再取用明细表和维度表中的数据。应用表 应用表是面向具体业务场景,用于组织相同...
汇总表 您可以结合业务数据分析和数仓分层,将一些明细的事实数据和维度数据先进行汇总分析,创建汇总表,后续数据分析时直接取用汇总表中的数据即可,无需再取用明细表和维度表中的数据。应用表 应用表是面向具体业务场景,用于组织相同...
产品名称 Dataphin 产品模块 事实逻辑表、维度逻辑表、汇总逻辑表 概述 本文介绍了Dataphin物化拆分的基本规则和多版本模型刷新机制 问题描述 1.修改逻辑表的哪些地方会导致物化表的版本发生...汇总表时间周期拆分 更多信息 无 相关文档 无
使用Dataphin进行规范建模时,您可根据业务实际情况在Dataphin中设计并创建概念模型,并通过概念模型中的业务实体(业务对象 或 业务活动)创建对应的维度表、事实表、原子指标、业务限定、指标、汇总逻辑表。前提条件 仅绑定数据板块的...
使用Dataphin进行规范建模时,您可根据业务实际情况在Dataphin设计并创建概念模型,并通过概念模型中的业务实体(业务对象 或 业务活动)创建对应的维度表、事实表、原子指标、业务限定、指标、汇总逻辑表。前提条件 使用规范建模,当前...
DataWorks智能数据建模的关系图,帮助您快速构建数据仓库模型架构图,直观展示数据仓库中维度、维度表、明细表、汇总表、应用表等各模型之间的关系。一个关系图承载一个数据仓库模型,一个账号支持创建多个关系图。本文为您介绍关系图的...
问题描述 本文描述Dataphin补数据,下游汇总逻辑表丢失的原因和解决方法。在DAG图中汇总逻辑表dws_oil_sku_com_station_calyear存在上游VT_ods_start,从VT_ods_start补数据选择不到下游。问题原因 目前选择展开层数是6,当某一层之后总数...
例如:原子指标 mbr_cnt 被汇总表模型“dws_ec_mbr_cnt_std”所关联。派生指标由原子指标、修饰词、时间周期构成。例如,存量会员数+历史截止当日+异常会员=历史截至当日_异常会员_存量会员数,该派生指标可以作为模型的字段存在,也可以和...
问题描述 Dataphin即席查询中查询汇总逻辑表报错"select*from logical aggregate table({0})is not allowed。完整的报错信息如下:Error Code:DPN.OS.NotAllowSelectStarFromDws Error Message:select*from logical aggregate table({0})is...
以宽表化手段物理化模型,构建命名规范、口径一致的统计指标,为上层提供公共指标,建立汇总宽表、明细事实表。在Dataphin中,汇总数据层的表通常也被称为汇总逻辑表,用于存放派生指标数据。数据应用层(ADS,Application Data Store):...
概述 本文描述了Dataphin 管道任务如何同步逻辑表数据。详细信息 管道任务的输入...逻辑表类型包括事实逻辑表、维度逻辑表、汇总逻辑表和标签逻辑表。相关文档 https://help.aliyun.com/document_detail/161516.html 适用于 Dataphin 公有云
系统根据汇总逻辑表的来源表和统计周期,会生成多张物化表,当使用 select*语法查询汇总逻辑表时,底层物化SQL会将所有物化表全部关联,造成大量资源的浪费。该配置选择 是,可规避资源浪费的问题。重要 因为关闭使用 select*语法的权限,...
系统根据汇总逻辑表的来源表和统计周期,会生成多张物化表,当使用 select*语法查询汇总逻辑表时,底层物化SQL会将所有物化表全部关联,造成大量资源的浪费。该配置选择 是,可规避资源浪费的问题。重要 因为关闭使用 select*语法的权限,...
概述 Dataphin中汇总逻辑表补数据时,生成的SQL中事实逻辑表筛选日期是最大分区(20230516),而不是补数据输入的业务日期(20230505)。详细信息 汇总逻辑表补数据生成的SQL中,具体分区是由事实逻辑表的“分区与生命周期”中设置的。该...
使用 select*语法查询汇总逻辑表会占用大量运行资源,未避免造成资源浪费。建议您开启禁止即席查询中使用“select*”语法查询汇总逻辑表。具体操作,请参见 设置即席查询的引擎。查询数据的代码说明 查询逻辑表数据。SELECT*FROM 板块英文...
使用 select*语法查询汇总逻辑表会占用大量运行资源,未避免造成资源浪费。建议您开启禁止即席查询中使用“select*”语法查询汇总逻辑表。具体操作,请参见 设置即席查询的引擎。查询数据的代码说明 查询逻辑表数据。SELECT*FROM 板块英文...
LogicalTable输入组件用于读取Dataphin中逻辑表(事实逻辑表、维度逻辑表、汇总逻辑表)中的数据。同步Dataphin中逻辑表的数据至数据源的场景中,您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行...
本文为您介绍逻辑表DML操作语句。操作 语法 说明 INSERT OVERWRITE ...仅维度逻辑表、汇总逻辑表、事实逻辑表支持。不指定字段时,先清空目标表的全部数据,再插入新的数据。指定字段时,先清空目标字段的全部数据,非目标字段的数据保留。
本文为您介绍逻辑表DML操作语句。操作 语法 说明 INSERT OVERWRITE ...仅维度逻辑表、汇总逻辑表、事实逻辑表支持。不指定字段时,先清空目标表的全部数据,再插入新的数据。指定字段时,先清空目标字段的全部数据,非目标字段的数据保留。
② 凭证管理模块 展示各套餐凭证的汇总数据。单击 管理,可进入具体套餐凭证管理页面。说明 目前仅支持统付池套餐。③ 风险告警模块 展示各类告警信息,可直观了解账号下物联网卡的整体情况。单击具体告警数字,可跳转至 卡管理 页面。说明...
使用字段标准 您可使用字段标准定义逻辑模型具体字段,支持 贴源表、维度表、明细表、汇总表、应用表。例如,在会员信息维度表 dim_ec_con_member_df 中的会员ID字段关联 字段标准 member_id。此时,您的字段名称将取自该字段标准的 英文...
问题描述 Dataphin对汇总逻辑表补数据,运行日志提示“will skip and set final status to success”。问题原因 统计周期选择为自然月或季度,补数据补的不是月末或周末。解决方案 若设置统计周期为月或是周等,需要补月末或是周末的数据,...
公共汇总粒度事实层(DWS):以分析的主题对象作为建模驱动,基于上层的应用和产品的指标需求,构建公共粒度的汇总指标事实表,以宽表化手段物理化模型。构建命名规范、口径一致的统计指标,为上层提供公共指标,建立汇总宽表。公共汇总...
公共汇总粒度事实层(DWS):以分析的主题对象作为建模驱动,基于上层的应用和产品的指标需求,构建公共粒度的汇总指标事实表,以宽表化手段物理化模型。构建命名规范、口径一致的统计指标,为上层提供公共指标,建立汇总宽表、明细事实表...
公共层:用于加工、整合贴源层输入的公共数据,建立统一的指标维度,构建可复用面向分析和统计的明细事实数据和汇总数据,该层级可挂载明细表、维度表、汇总表。数据域/业务过程 属于该层的范畴。应用层:基于实际应用需求,获取公共层加工...
模型管理 创建完成维度表、明细表、汇总表、应用表后,您可以在左侧的目录树双击模型名称,查看对应模型的详情,在模型详情页顶部菜单栏,进行模型的编辑、发布、模型开发等操作。编辑模型:单击 编辑 即可对当前表的基本信息和字段进行...
逻辑表LogicalTable输入组件用于读取Dataphin中逻辑表(事实逻辑表、维度逻辑表、汇总逻辑表)中的数据。同步Dataphin中逻辑表的数据至数据源的场景中,您需要先配置逻辑表信息。本文为您介绍如何配置逻辑表LogicalTable输入组件。前提条件...
逻辑表LogicalTable输入组件用于读取Dataphin中逻辑表(事实逻辑表、维度逻辑表、汇总逻辑表)中的数据。同步Dataphin中逻辑表的数据至数据源的场景中,您需要先配置逻辑表信息。本文为您介绍如何配置逻辑表LogicalTable输入组件。前提条件...
Y Y N N N 提交事实逻辑表 Y Y N N N 汇总逻辑表 查看汇总逻辑表 Y Y Y Y N 新建汇总逻辑表 Y Y N N N 编辑汇总逻辑表 Y Y N N N 删除汇总逻辑表 Y Y N N N 提交汇总逻辑表 Y Y N N N 业务过程 查看业务过程 Y Y Y Y N 新建业务过程 Y Y Y ...
Y Y N N N 提交事实逻辑表 Y Y N N N 汇总逻辑表 查看汇总逻辑表 Y Y Y Y N 新建汇总逻辑表 Y Y N N N 编辑汇总逻辑表 Y Y N N N 删除汇总逻辑表 Y Y N N N 提交汇总逻辑表 Y Y N N N 业务过程 查看业务过程 Y Y Y Y N 新建业务过程 Y Y Y ...
② 列表区 为您展示筛选后的指标列表,包含指标名称、统计粒度、统计周期、所属汇总表、所属项目、所属板块、环境、业务负责人、描述、更新频率等指标详细信息。同时,您可以对该资产执行查看详情操作。查看详情:单击指标的名称或 操作 列...
② 列表区 为您展示筛选后的指标列表,包含指标名称、统计粒度、统计周期、所属汇总表、所属项目、所属板块、环境、业务负责人、描述、更新频率等指标详细信息。同时,您可以对该资产执行查看详情操作。查看详情:单击指标的名称或 操作 列...
我们将抽象好的各个业务过程录入到系统中,以便后续在创建公共层汇总表模型、公共层指标的时候做关联,公共层汇总表模型、公共层指标等都必须归属且仅归属于一个业务过程。零售电子商务行业模型模板已经导入业务过程,如下图所示,以“订单...
发布并物化模型 维度表、明细表、汇总表、应用表可直接发布物化至创建的数据源实例中,用于后续计算引擎进行数据开发、数据分析等。当前支持将表直接发布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。发布模型。模型创建完成后...
数据模型 包含 维度逻辑表、事实逻辑表、汇总逻辑表 三种指标数量,而维度逻辑表数+事实逻辑表数+汇总逻辑表数之和,即是生产环境所有逻辑表的总数,准实时更新。结构化模式 单击右上方的 结构,进入 结构 页面。单击数据 结构 页面右侧的...
数据模型 包含 维度逻辑表、事实逻辑表、汇总逻辑表 三种指标数量,而维度逻辑表数+事实逻辑表数+汇总逻辑表数之和,即是生产环境所有逻辑表的总数,准实时更新。结构化模式 单击右上方的 结构,进入 结构 页面。单击数据 结构 页面右侧的...
Dataphin业务模型的核心概念具有一定的逻辑结构,您可以通过了解其结构,为后期项目规划、建模等提供思路。...汇总逻辑表 派生指标归属的表就是汇总逻辑表。物理表 计算引擎中的表,即通过DDL创建的表。物化表 存储逻辑表真实数据的物理表。
Dataphin业务模型的核心概念具有一定的逻辑结构,您可以通过了解其结构,为后期项目规划、建模等提供思路。...汇总逻辑表 派生指标归属的表就是汇总逻辑表。物理表 计算引擎中的表,即通过DDL创建的表。物化表 存储逻辑表真实数据的物理表。
逻辑表的相关对象,指关联维度引用了当前表的其他逻辑表、当前表引用读取的表及引用了当前表的计算/集成任务(当前表是此任务的输入表)/逻辑表。本文为您介绍如何查看及管理逻辑表的相关对象。逻辑表相关对象入口 在Dataphin首页,单击...
逻辑表的相关对象,指关联维度引用了当前表的其他逻辑表、当前表引用读取的表及引用了当前表的计算/集成任务(当前表是此任务的输入表)/逻辑表。本文为您介绍如何查看及管理逻辑表的相关对象。逻辑表相关对象入口 在Dataphin首页,单击...