背景信息 某公司的订单系统使用MySQL作为存储数据库，其中的oms_order为存储订单的表。现在要开始设计一个营销活动，在活动期间需要实时地统计每个产品类型的销售数量，用于快速地支持活动方案调整。以下为数据流向的示意图：订单系统MySQL...
调用异常影响趋势展示该时间段内调用异常API数与影响APP数的趋势，例如调用异常API数少但影响APP数比较多的情况下，说明这些API影响范围较大，需要您尽快修复调用异常的API。查看API运行情况：对API的数据做统计，并且支持对异常API进行...
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发和服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 管理控制台/立即开通（半托管版），进入Dataphin管理控制台页面。...
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
在使用Dataphin产品前，您需要准备好阿里云账号。本文为您介绍如何创建阿里云账号并完成账号相关准备工作。步骤一：注册阿里云账号 打开 阿里云官网。在阿里云官网右上角，单击 立即注册。在 注册账号 页面，按照操作提示完成账号注册。...
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：MaxCompute开通与配置 主流程 描述 操作指导 开通MaxCompute 购买...
如果Hive使用Kerberos认证，除了开发者需要获取keytab容易造成泄密和修改的问题外，Kerberos认证流程的代码实现也比较复杂。Dataphin无法对用户做鉴权，可以绕开Dataphin的权限体系。无法查询使用逻辑表。PyOdps语法使用范围 支持查询物理...
X-数据标准：AI驱动自动提取数据标准与码表定义、智能识别标准与字段的映射关系，助力低成本快速开启数据标准建设以提升数据规范化程度，实现精准治理省时省力。X-数据安全：结合数据资产语义与样例数据，智能推荐分类分级；依据特征名称...
加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护敏感数据。Dataphin的敏感数据保护，主要有以下两种方案：脱敏方案 针对敏感数据进行遮盖脱敏和哈希脱敏保护，如将“张三”展示为“张*”，或者通过md5脱敏手机号，可以...
加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护敏感数据。Dataphin的敏感数据保护，主要有以下两种方案：脱敏方案 针对敏感数据进行遮盖脱敏和哈希脱敏保护，如将“张三”展示为“张*”，或者通过md5脱敏手机号，可以...
本教程中，以A电商公司的营销业务板块为例，在交易主题域中，我们重点分析确认收货（交易成功）的业务过程。在确认收货的业务过程中，维度所依赖的业务角度主要有两个，即商品和收货地点（地域）。本教程中，假设收货和购买是同一个地点。...
表名 且不区分大小写，以标识本节点产出的表，同时其他节点更好地选择调度依赖关系。例如，开发项目名称为 onedata_dev，建议将输出名称设置为 onedata.s_order。如果您将输出名称设置为 onedata_dev.s_order，则仅限代码 select*from ...
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时保障了数据开放安全。5分钟快速了解 前提条件 已购买 数据服务 增值服务并且...
表名 且不区分大小写，以标识本节点产出的表，同时其他节点更好地选择调度依赖关系。例如，开发项目名称为 onedata_dev，建议将输出名称设置为 onedata.s_order。如果您将输出名称设置为 onedata_dev.s_order，则仅限代码 select*from ...
操作符 选择监控指标与 触发阈值 的比较的操作符。操作符 包括=，=，=，!触发阈值 填写告警规则的触发阈值。通知方式 选择告警信息通知的方式。通知人 选择告警信息的接收人。静默期 在短时间内多次告警，可以设置一个静默期，在发送告警...
您可以通过Dataphin标签沉淀易开发、好找好用、高价值的核心标签资产。流程引导 使用标签工厂进行离线标签开发及应用的基本使用流程如下。标签规划。在进行标签开发前，您需要完成标签项目和标签架构的规划工作。创建标签项目：标签项目为...
自定义资源组可以设置应用场景，以便更好的管控资源使用范围。应用场景包括 任务日常调度 和 批量运维操作。任务日常调度：任务日常调度的自定义资源组可用于即席查询、临时运行、周期调度等场景，需要配置可使用该资源组的关联项目。批量...
中转的消息通常非常短小，通过中转方式传递比较繁重。为了解决以上问题，Dataphin引入了跨节点参数来在节点（任务）间传递消息。输出节点：输出参数（向外传递消息）的节点。仅支持SHELL、PYTHON和SQL（包括 MAX_COMPUTE_SQL等）类型的计算...