更多Log Service信息,请参见什么是日志服务。Dataphin支持通过VPC网络和公网连接Log Service。Dataphin连接Log Service时,可以选择Log Service在VPC网络或公网环境下对应的...
数据源校验记录用于记录质量规则校验数据源的结果。本文为您介绍如何查看数据源质量规则的校验记录。数据源校验记录在Dataphin首页,单击顶部菜单栏的资产。...
Dataphin PyODPS是基于MaxCompute PyODPS开发的Dataphin Python版本的SDK。在Dataphin中使用Python时,您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的...
对于逻辑表实例,统计的是逻辑表对应的实际物化实例的数量,可能与明细及汇总表列表中展示的实例数不同。实例统计入口在Dataphin首页,单击顶部菜单栏的研发。默认...
在您完成离线数据集的创建或行为关系的定义后,您可为所创建的离线数据集或行为关系创建对应的离线标签,以便后续的资产应用创建。如标签服务、画像服务的创建...
在您开始创建用于研发数据的项目空间前,需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后,系统支持为创建的项目空间添加相应的计算源,为项目空间...
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性,配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。...
添加数据源时需要根据数据源所在网络环境,通过对应的网络解决方案,实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。...
Alibaba Blink流批一体任务离线模式的资源配置支持配置任务的资源队列和引擎版本。本文为您介绍如何配置流批一体任务离线模式的资源配置。操作步骤请参见离线...
本文为您介绍如何授予和回收标签资源的权限。前提条件授予和回收标签资源,请先创建对应的标签资源。更多信息,请参见标签平台概述。标签资源权限页面介绍标签资源...
Dataphin支持自动解析SQL类型计算任务和逻辑表任务的血缘信息,针对非SQL类型的计算任务,支持自定义配置血缘信息,以补全血缘链路。本文为您介绍如何自定义配置非...
在开发Python计算任务时,通常需要根据业务场景安装如下资源包。以下资源包已经预置至系统内,您在开发代码过程中,只需要在代码开始部分添加import资源包名语句即可,...
逻辑表的下游对象,指引用当前逻辑表字段生成的原子指标和业务限定。本文为您介绍如何查看及管理逻辑表的下游对象。逻辑表下游对象入口请参见规范建模入口,进入...
Ververica Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的集群、引擎版本以及并行度、Task Manager和Job Manager的CPU与Momory。本文为您介绍如何...
标签工厂是通过从标签创建到服务全链路的构建,为企业数据研发团队以及开发工程师提供一站式标签开发以及服务平台,适合多种场景(如风控、营销),提供离线、实时、服务...
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息在开始构建数据模型前,您可以创建基于该数据模型...
实时元表校验记录用于记录质量规则校验实时元表的结果。本文为您介绍如何查看实时元表质量规则的校验记录。实时元表校验记录在Dataphin首页,单击顶部菜单栏的资产...
本文为您介绍资产质量的操作权限列表。符号说明Y表示该角色有此功能权限;N表示该角色无此功能权限。权限说明单个资源的质量负责人,拥有单个资源内的最高权限,如...
Dataphin数据源管理标签以标签的形式能够更好的帮助您管理业务中常用的数据源。您可以在管理标签列表中查看数据源被引用的信息。权限说明Dataphin仅支持超级管理员、...
全域数据表校验记录用于记录质量规则校验全域数据表的结果。本文为您介绍如何查看全域数据表质量规则的校验记录。全域数据表校验记录在Dataphin首页,单击顶部菜单栏...
计算任务的相关对象,指当前任务引用读取的表、引用读取当前任务的表、当前任务依赖对象、将当前任务作为上游依赖的任务。本文为您介绍如何查看及管理任务的相关对象...
Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录在Dataphin首页,...
本文为您介绍如何构建同步任务,将业务数据源的数据同步到Dataphin平台中的目标表。前提条件已完成同步目标表的创建,详情请参见新建同步目标表。操作步骤登录...
Dataphin遵循Ralph Kimball的维度建模理论,使用Dataphin进行规范建模时,您可根据业务实际情况在Dataphin设计并创建概念模型,并通过概念模型中的业务实体(业务对象或...
我负责的列表可以帮助您快捷查看自己所负责的资产,并可以对资产执行转交负责人、申请权限、订阅关联标准变更等操作,本文为您介绍如何查看并管理自己所负责的资产...
手动运行补数据任务是指手动运行补数据实例,进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口请参见...
运行参数配置是对计算任务代码中所用的变量进行赋值,从而支持节点调度,参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置参数及使用节点参数,并以...
Dataphin支持查询当前实例下资源用量使用情况,便于您可以根据资源使用情况及时调整资源规格配置。本文为您介绍如何查看Dataphin中资源用量使用情况。...
安全算法运用哈希脱敏、遮盖掩码、加解密等方式对敏感数据(如姓名、账号、手机号等)进行脱敏处理且保持数据原有格式,本文为您介绍如何查看和测试系统内置的安全算法。...
用户组权限是为其用户组下的成员进行统一授权、续期或回收权限,便于权限的统一管理。本文为您介绍用户组权限的申请、交还和续期。用户组、资源权限说明用户组和...
Ververica Flink实时任务资源自定义,即指实时计算Flink配置细粒度资源的专家模式(BETA),Flink全托管引入的全新的资源配置模式,支持对作业所使用的资源进行细粒度的...
本文为您介绍安全算法在不同计算引擎下支持的脱敏方式。计算引擎脱敏方式支持的安全算法MaxCompute安全策略算法包、数据库内置函数若脱敏方式为安全策略算法包,则...
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性,配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。...
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager...
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件已完成同步任务的配置,详情请参见配置同步任务。...
在您开始创建用于研发数据的项目空间前,需要先设置Dataphin实例的计算引擎。设置Dataphin实例的计算引擎后,系统支持为项目空间添加相应的计算源,为项目空间提供...
本文为您介绍如何批量授予和批量回收数据源的权限。前提条件需完成创建数据源。如需创建,请参见数据源管理。授权数据源权限在Dataphin首页,单击顶部菜单栏的管理中心。...
本文为您介绍如何基于Dataphin构建MapReduce类型的离线计算任务。前提条件完成JAR资源包的上传,详情请参见上传资源及引用。背景信息MapReduce任务中引用到的JAR...
本文为您介绍如何基于Dataphin构建Shell类型的离线计算任务。操作步骤在Dataphin首页,单击顶部菜单栏研发。默认进入数据开发页面。按照下图操作指引,进入新建SHELL任务...
Alibaba Blink流批一体任务实时模式的资源配置支持配置任务的资源队列、引擎版本以及资源配置类型和自动调优。本文为您介绍如何配置Alibaba Blink流批一体任务实时...