DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
具有开箱即用的能力和接近中心化数据建模的流程体验。支持模型开发快速上手，帮助用户高效完成模型研发。高性能 针对多个参与方可能出现的高延迟、低带宽问题，产品在通信机制上进行了优化，如采用模型/梯度稀疏化的方案，实现了对大规模、...
导入后，数据建模诊断中如有分布字段倾斜，则说明选择的分布键不均匀。如何查看分布键诊断信息，请参见 存储空间诊断。检查分区键 INSERT OVERWRITE SELECT 导入数据的基本特性为分区覆盖，即导入的二级分区会覆盖原表的同名二级分区。每个...
导入后，数据建模诊断中如有分布字段倾斜，则说明选择的分布键不均匀。如何查看分布键诊断信息，请参见 存储空间诊断。检查分区键 INSERT OVERWRITE SELECT 导入数据的基本特性为分区覆盖，即导入的二级分区会覆盖原表的同名二级分区。每个...
通过关联数据标准中的标准字段，实现字段值的统一和规范化，帮助您管控治理后数据的一致性和数据质量。...后续操作 完成关联后，数据建模中逻辑表详情的 质量规则 页签，会自动生成字段规则，更多信息，请参见 设置逻辑表质量规则。
在数据建模模块已创建并物理化逻辑表，具体操作，请参见 物理化逻辑表。在统一服务模块已创建API，并已上线API，具体操作，请参见 上线API。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击 图标。左侧导航栏，选择 资产明细 我可...
在页面左上角，单击 图标，选择 协同，单击 数据建模 数据模型设计 我的模型，在逻辑表 操作 列，单击 详情 后，单击 质量规则 页签，查看实例化对应质量规则。在页面左上角，单击 图标，选择 协同，在顶部菜单栏，单击 质量评估，在左侧...
根据数据元绑定的质量校验UDF，数据建模会据此自动添加对应云计算资源平台下的UDF规则，如自动添加MaxCompute的自定义SQL规则，默认期望值为0，则执行的规则SQL如下：select sum(id_card_check(idCard,"{\"type\":\"STRING\",\"size\":18}...
DataWorks数据建模的设计与实现解耦，在设计过程中，您无需考虑各个大数据引擎的实现方式，建模引擎会根据FML语言定义的Schema去驱动底层各个数据引擎的执行和操作，仅在实际物化（即把设计的逻辑表转换为底层引擎的物理表）阶段，建模引擎...
通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，...通用设置 数据建模基础信息：对逻辑表的属性进行配置、管理。字段标准通用信息：对字段标准的属性进行配置、管理。
零售电商GMV分析 DataWorks MaxCompute 数据集成 数据开发 基于DataWorks提供的 智能数据建模 产品，使用该产品内置零售电子商务数仓模型，为您介绍DataWorks在数仓搭建过程中的技术栈及流程实现。案例相关文档：零售电商数据建模。视频...
数据标准为用户提供模型和字段标准设计和管理的能力。通过模型层级、数据域等属性，对逻辑表的命名进行标准化设计；...通用设置 数据建模基础信息：对逻辑表的属性进行配置、管理。字段标准通用信息：对字段标准的属性进行配置、管理。
数据建模链路：先由数据团队主管定义好建模过程中可能使用到的数据标准，再由数据建模人员设计并提交模型，最后经由数据团队主管、运维或部署人员审核无误后发布至生产环境。数据开发与生产链路：开发人员在开发环境先开发代码、配置调度...
自定义属性需要在 数据标准 通用设置 数据建模基础信息 中设置，更多信息 新建数据建模基础信息，请参见，如图中”自定义“即自定义属性，如果不设置自定义属性，则此处不显示。在 字段信息 页签，可通过以下方式的任意一种，录入字段信息...
在进行联邦建模前，应先确认联邦建模中可用的建模数据。联邦建模中的建模数据分为两种：原始样本和联邦表。原始样本：指的是联邦建模各参与方的原始数据，即各节点中授权到该建模项目中的数据，该数据作为建模样本供联邦建模使用。联邦表：...
二、数据开发与运维 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
生成 ETL 代码框架（模型开发）在DataWorks智能数据建模中，可使用模型开发功能，为已发布的模型表（如维度表、明细表）生成ETL代码框架。说明 模型开发功能仅支持为发布至MaxCompute和EMR Hive计算引擎的模型表生成代码。在DataWorks智能...
模型类目：指创建资产时，对应工作组下的数据建模目录。单击 所属工作组 下拉列表选择对应工作组后，单击 所属类录 下拉列表选择模型对应目录，单击 查询，展示符合该条件的资产。说明 未选择 所属工作组，模型类目 不可选择。所属类目：指...
DataWorks增值模块 DataWorks智能数据建模 包年包月资源组 Serverless资源组包年包月、独享调度资源组、独享数据集成资源组、独享数据服务资源组 停止使用资源组 按量付费资源组 Serverless资源组按量付费、公共调度资源组、公共数据服务...
二、数据开发与运维 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
我可管理的资产指的是有管理权限资产，包括在数据建模模块创建逻辑表并物理化成功的表资产，在统一服务模块创建API并上线的API资产，以及申请的其他资产。本文介绍如何查看我可管理的资产。前提条件 已具备租户管理员或工作组管理员角色。...
手动打标包括页面手动指定、excel上传、数据标准打标、数据建模打标等。敏感数据保护 在识别出敏感数据之后，Dataphin支持对敏感数据进行脱敏保护。主要包括以下场景：敏感数据查询脱敏 当使用即席分析、代码任务、数据预览等功能，查看被...
手动打标包括页面手动指定、excel上传、数据标准打标、数据建模打标等。敏感数据保护 在识别出敏感数据之后，Dataphin支持对敏感数据进行脱敏保护。主要包括以下场景：敏感数据查询脱敏 当使用即席分析、代码任务、数据预览等功能，查看被...
二、数据开发与运维 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
单击左上方的 图标，选择 全部产品 数据建模 维度建模。在 维度建模 页面单击 图标，进入 模型列表。查看模型列表及批量修改模型。在模型列表，您可执行如下操作：查看模型列表 查看模型的基本信息或执行新建、克隆等单个模型的相关操作。...
本文介绍Lindorm时序引擎数据建模的过程。创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，...
本文介绍Cassandra数据建模的概念、建模建议。Cassandra是一款分布式、去中心化、高可用的列存储（Wide Column Store）的No SQL数据库。分布式层面主要依靠一致性Hash算法把数据分布在整个集群中，单机主要实现了基于LSM-Tree的引擎。集群...
进入派生指标页面 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部导航栏，单击 数据指标，进入 派生指标 页面。在该...
二、数据开发与运维 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
数据建模：通过数据建模模块提供的各种数据开发工具，实现数据的清洗、加工和转换。资产管理：通过资产运营功能实现资产的注册、编目、上架，在资产中心方便各个部门的使用人员搜索数据资源并申请数据权限。价值：数据标准一致：沉淀行业...
建议您思考下列问题，对后续的数据建模将有巨大的帮助：业务数据是根据什么（维度、粒度）汇总的，衡量标准是什么？例如，成交量是维度，订单数是成交量的度量。明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的...
建议您思考下列问题，对后续的数据建模将有巨大的帮助：业务数据是根据什么（维度、粒度）汇总的，衡量标准是什么？例如，成交量是维度，订单数是成交量的度量。明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的...
脱敏设置 不支持 不支持 支持 支持 智能数据建模 数仓规划 需要单独购买智能数据建模产品。计费详情，请参见 智能数据建模计费。华东1（杭州）华东2（上海）华北2（北京）华北3（张家口）华南1（深圳）西南1（成都）中国（香港）新加坡 ...
对数据建模DWS层表“dws_ren_kh_demo_di”封装API 用于在数据资产case中演示API资产类型，以及在解决方案case中演示导入导出。前提条件 工作组管理员账号登录。已在系统设置添加“RDS MySQL”云计算资源。已创建API归属应用。通过数据开发...
使用FML语句查询数据建模引擎的信息。接口说明 每次调用该接口均需使用 FML 语句请求获取查询信息。除了数仓分层、业务过程和数据域查询外，其他引擎信息查询均可使用分页查询方式。您可以在 FML 语句结尾增加 offset num limit num 语句，...
不同预设角色对DataWorks各空间级功能的操作权限详情请参见下文的：数据管理 发布管理 按钮控制 代码开发 函数开发 节点类型控制 资源管理 工作流开发 项目管理 工作流运维 节点运维 大屏 基线 报警监控 数据集成 智能数据建模 数据分析 ...
优势 与传统关系型数据库的 表结构 相比，AnalyticDB for PostgreSQL 提供的 图结构 在数据建模和操作上更为灵活。它通过节点和边来构建数据，并以点为核心进行数据访问和操作，支持图数据的增删查改。例如，在图数据操作中，一个节点可以...
本文介绍数据建模的相关问题。逻辑表质量规则都支持哪些云计算资源？逻辑表质量规则都包含哪些？逻辑表数据质量的强规则和弱规则有什么区别？逻辑表质量规则都支持哪些云计算资源？目前包含MaxCompute、Hive、ApsaraDB for RDS、DataHub ...
时序数据示例 时序数据建模至关重要，需要仔细分析数据来源的特性和查询的场景，建立合理的数据表，以便达到最佳的存储和查询性能。以下图的空气检测数据为例：每个时间点对应的数据记录可以详细分为几个部分：表（Table）：代表一系列同类...
详细信息请参见 数据建模诊断。重要 检测结果分为三个等级，包括NORMAL（正常）、WARNING（警告）、CRITICAL（重要）。检测等级为CRITICAL时，需要您重点关注，否则会影响业务的正常运行。资源组平均CPU使用率检测 检测指定时间段内资源组...