本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
数学规划求解-线性规划 我们有提供6个案例讲解线性规划(LP)的概念和应用场景,讲解遇到不同问题时,如何分析问题,建模,然后调用优化求解器求解,再利用求解器的结果去解决问题。并提供了10+源代码供参考。以下会给出两种代码参考入口:...
当您的物理引擎中已有大量物理表,且希望通过DataWorks智能数据建模产品统一管理所有模型,则可使用逆向建模功能,将已有物理表反向建模至DataWorks的维度建模中。该功能帮助您无需再次执行建模操作即可快速创建模型,节省了大量的时间成本...
在进行联邦建模前,应先确认联邦建模中可用的建模数据。联邦建模中的建模数据分为两种:原始样本和联邦表。原始样本:指的是联邦建模各参与方的原始数据,即各节点中授权到该建模项目中的数据,该数据作为建模样本供联邦建模使用。联邦表:...
BizWorks基于领域驱动设计方法论的模型设计平台,提供了对业务域、领域模型、数据模型的可视化建模能力,完成了业务建模过程的可视化、在线化。业务建模平台 的 概览 页包括以下内容:序号 名称 描述 ① 业务建模概述 统计业务建模对应的...
DataWorks智能数据建模首页,为您展示了当前租户内创建的模型及派生指标数量,以及近三十天内当前工作空间成功发布至生产环境的模型列表,帮助您了解模型动态概况。本文为您介绍DataWorks智能数据建模首页信息概览。进入智能数据建模 进入...
数据建模的发展背景 主要产品:DataWorks 课程时长:5分钟 当前主流的数据建模方法论 主要产品:DataWorks 课程时长:4分钟 数据建模的主要能力解读 主要产品:DataWorks 课程时长:22分钟 相关文档:数仓规划与业务分类 逆向建模:物理表...
在联邦建模控制台中,使用节点中的离线数据作为建模样本,创建联邦模型,并将创建的联邦模型分发到各节点中。前置条件 在进入联邦建模控制台前,您需要确认以下信息:确认联邦节点已部署完成,并且数据已加载到节点中。确认机构管理台中已...
联邦建模是基于联邦学习(Federated Learning,简称 FL)技术,在满足各参与方的合规政策和数据价值保护的需求下,实现模型迭代和更新的服务。联邦建模服务采用联合计算的模式,实现在原始数据不离开本地的前提下,完成模型的研发和效果...
以下为您系列讲解阿里云智能数据建模新能力解读。课程视频列表 课程简介 课程内容:数据建模的发展背景。主要产品:DataWorks 课程时长:5分钟 课程内容:当前主流的数据建模方法论。主要产品:DataWorks 课程时长:4分钟 课程内容:数据...
维度建模 DataWorks的数据建模理念遵循维度建模思想,使用DataWorks的维度建模功能进行数据仓库建模设计时:维度表 结合业务的数据域的规划,提取出各业务数据域中进行数据分析时可能存在的维度,并将维度及其属性通过维度表的方式存储下来...
维度建模 DataWorks的数据建模理念遵循维度建模思想,使用DataWorks的维度建模功能进行数据仓库建模设计时:维度表 结合业务的数据域的规划,提取出各业务数据域中进行数据分析时可能存在的维度,并将维度及其属性通过维度表的方式存储下来...
当默认的数据建模基础信息不满足要求时,可以为逻辑表添加自定义属性。本文介绍如何新建数据建模基础信息。背景信息 可根据需要同时新建多个数据建模基础信息供新建逻辑表时使用。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 ...
支持您通过导出数据建模基础信息功能,下载数据建模基础信息到本地进行查看并搭配导入功能,您可以快速实现工作组间的数据建模基础信息迁移。本文介绍如何导出数据建模基础信息。前提条件 已存在数据建模基础信息,具体操作,请参见 新建...
本文介绍多方安全建模的业务合作流程和产品使用流程。业务合作流程 在业务合作流程中,分为线下沟通流程和平台参与流程,具体业务合作流程参见以下流程图。产品使用流程 多方安全建模服务可以在保证多方原始数据不离开本地前提下,通过交换...
本文介绍了联邦模型开发总体流程和基于联邦建模控制台开发联邦模型的流程。联邦建模是蚂蚁隐私计算服务平台中的一个组件,因此在使用联邦建模控制台联合建模之前,需要先部署联邦节点,以及在 管理控制台 中注册、配置节点和项目,如下图所...
当您所需要管理多个DataWorks工作空间且需要复用一套数仓规划时,面对跨多个工作空间的复杂数据体系,可以通过设计空间来共享一套数据建模工具,针对整个数据体系进行统一的数仓规划、维度建模及指标定义等工作。本文为您介绍DataWorks建模...
建模任务是Dataphin针对规范建模创建的逻辑表(维度逻辑表、事实逻辑表、汇总逻辑表)任务提供的字段视角运维功能,本文为您介绍如何查看并管理建模任务。背景信息 建模任务包括维度逻辑表任务、事实逻辑表任务和汇总逻辑表任务。每个逻辑...
建模任务是Dataphin针对规范建模创建的逻辑表(维度逻辑表、事实逻辑表、汇总逻辑表)任务提供的字段视角运维功能,本文为您介绍如何查看并管理建模任务。背景信息 建模任务包括维度逻辑表任务、事实逻辑表任务和汇总逻辑表任务。每个逻辑...
多方安全建模是一种基于多方安全计算(Secure Multi-Party Computation,简称 MPC)的核心技术,在确保多方原始数据不离开本地的前提下,通过交换信息量实现协同完成模型训练和预测,保障多方原始数据的安全。多方安全建模控制台作为多方...
联邦建模控制台是进行联邦学习的模型开发平台。服务对象为联邦模型的开发人员,如联邦算法工程师。联邦建模控制台封装了联邦学习的基础能力,并且集成了常用机器学习库的功能,如 TensorFlow,具有开箱即用的能力。因此您只需专注于模型...
注意事项 建表策略管理:在DataWorks智能数据建模开启建表策略的工作空间(包含建模空间及其纳管的所有研发空间)下,使用数据开发(DataStudio)新建表或修改表时,如不符合所配置的建表策略,则创建的表执行提交、发布操作时会受阻。...
Dataphin遵循Ralph Kimball的维度建模理论,使用Dataphin进行规范建模时,您可根据业务实际情况在Dataphin设计并创建概念模型,并通过概念模型中的业务实体(业务对象 或 业务活动)创建对应的维度表、事实表、原子指标、业务限定、指标、...
DataWorks的数据建模产品遵循Kimball维度建模理论,使用DataWorks的维度建模功能进行数据仓库模型设计时,您可根据业务情况设计并创建维度表、明细表、汇总表、应用表,并可将模型快速发布到相应的研发引擎。同时,还可以使用逆向建模,将...
本文介绍使用多方安全建模服务前需要完成的准备工作。确保节点已部署完成,且样本已加载到节点中。确保管理控制台中已存在或受邀进入一个多方安全建模项目。确保管理控制台的多方安全建模项目中,存在已授权的节点和数据。
为解决大多数中小企业客户在数据仓库模型建设过程中面临的人才储备要求高、建设周期长以及建设成本高等问题,阿里云DataWorks智能数据建模团队联合具备丰富行业建模经验的数据架构师,总结阿里云十年、百万用户最全面的业务场景,结合阿里...
通过导入数据建模基础信息,可以为逻辑表批量快速添加新属性。本文介绍如何批量导入数据建模基础信息。操作步骤 登录 数据资源平台控制台。在页面左上角,单击 图标,选择 协同。在顶部菜单栏,单击 图标,选择目标工作组,单击 资产加工。...
您可将本地表通过Excel的方式导入至DataWorks数据建模中,或将数据建模中的表导出至本地数据仓库中。本文将为您介绍导入与导出表的操作方法。通过导入方式建模 将本地表以Excel的方式导入至数据建模中,导入方法如下。在 维度建模 页面,...
Dataphin遵循Ralph Kimball的维度建模理论,使用Dataphin进行规范建模时,您可根据业务实际情况在Dataphin中设计并创建概念模型,并通过概念模型中的业务实体(业务对象 或 业务活动)创建对应的维度表、事实表、原子指标、业务限定、指标...
导出业务模型资产到文档 登录BizWorks,在 选择平台 下拉列表中选中 建模平台。单击页面右上角 图标或其文本框区域,在下拉列表中单击目标项目名称后,单击 建模 页签。在 建模 导航栏中,选择 模型导入导出 文档导出。在 文档导出 的 业务...
本文以电商交易中台建设为例,为您介绍如何使用BizWorks从0到1完成设计建模的过程,包括创建限界上下文、服务建模、领域建模以及数据建模。步骤一:创建限界上下文 在目标项目中(例如:全渠道业务)创建商品上下文、交易上下文、库存上...
本文为您介绍如何使用智能制造平台AICS工业分析建模模块。工业分析建模流程 新建工业分析建模。搭建算法流程。运行算法。查看与发布模型结果。使用模型。新建工业分析建模 登录 工业大脑智能制造平台AICS。在左侧导航栏选择 模型开发与训练...
它提供了统一的数据建模框架,支持日志、指标、链路追踪、事件和性能剖析等多种可观测数据类型。TelemetryDataSet 继承了图论中节点(Node)的基本特性,同时针对可观测数据的特点增加了时间维度和观测特性。所有具体的数据集类型(LogSet...
通过StarRocks异步物化视图进行数据建模,能够通过声明式的建模语言,简化流水线的管理,提升数据建模的效率与灵活性。本文为您介绍如何使用StarRocks的异步物化视图来进行数据建模。背景介绍 数据建模是通过合理的方法进行数据清洗、分层...
当联合建模双方准备好建模样本后,即可进入模型开发阶段,在该阶段中,您可以在多方安全建模控制台,基于准备好的数据进行模型训练。模型开发流程如下:各流程的详细配置请参见以下文档:查看样本信息 创建隐私求交 开始模型训练
全程实景建模通常采用倾斜摄影这样更加自动化的智能建模手段。三维模型主流格式有哪些?三维模型主流格式有 主流三维模型的类型 和 渲染场景分类 两大类。主流三维模型的类型 包括以下几种:手工模型 模型种类 说明 通用三维模型(游戏、...
项目类型 引擎类型 联邦建模 联邦学习 多方安全建模 训练和预测 多方安全分析 分析 隐私求交 分析 隐私求交 隐私求交(Private Set Intersection,简称 PSI)是一种隐私计算方法,是将各参与方的样本数据做求交集处理。该方法可以保证在...
模型发布生产环境成功后,DataWorks智能数据建模支持自动生成数据质量监控规则,便于后续在生产环境中通过生成的数据质量规则来约束对应表的数据质量。本文为您介绍如何在表发布成功后自动生成数据质量规则。前提条件 已将表发布至生产环境...
本文重点介绍生命周期建模模块的关键要素,主要包括产品信息、生产环节、生产工序、生命周期清单。产品碳足迹建模模块的几个核心要素如下:产品:需要设置产品的基础信息及生命周期核算的基本要素。环节:取决于生命周期核算的边界(“从...