在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...
Dataphin 是阿里巴巴十余年内部实践及方法论的产品化输出,为企业提供数据建设、治理、运营、消费的Data x AI全链路服务,深度适配湖仓一体架构,灵活兼容多云复杂环境,助力企业高效构建标准化数据资产体系,加速释放数据价值。
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问,您可通过答疑支持联系我们,为您答疑解惑。使用说明 需保证网络连通、Dataphin已升级至3.14.1及以上版本且已经对接工单系统(如需对接可联系运维部署团队)方可使用工单功能。...
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问,您可通过答疑支持联系我们,为您答疑解惑。人工答疑 在Dataphin页面,单击 图标,选择 答疑支持 或单击 蓝色小机器人,再单击 答疑支持,进入答疑支持页面后,输入您需解答的问题...
目录规划权限列表 权限点 超级管理员 运营管理员 普通成员 查看专题及目录 Y Y-创建专题及目录 Y Y-编辑&删除专题及目录 Y Y-手动上架权限列表 权限点 超级管理员 运营管理员 数据源管理员 质量管理员 普通成员 查看手动上架列表 Y Y-编辑...
目录规划权限列表 权限点 超级管理员 运营管理员 普通成员 查看专题及目录 Y Y-创建专题及目录 Y Y-编辑&删除专题及目录 Y Y-手动上架权限列表 权限点 超级管理员 运营管理员 数据源管理员 质量管理员 普通成员 查看手动上架列表 Y Y-编辑...
Dataphin登录认证方式支持SAML、OAuth2.0协议的SSO(单点登录)及阿里云访问控制。您可以通过Dataphin支持的协议将企业已有的认证系统集成至Dataphin,以企业认证系统的方式登录并使用Dataphin。应用场景 降低用户管理成本:企业已有的认证...
数仓规划是基于Dataphin建设数据中台的第一步,同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前,需要完成数据仓库的规划,包括定义数据板块、项目、数据源、计算源和统计周期。5分钟快速了解 功能介绍 数仓规划包括逻辑...
数仓规划是基于Dataphin建设数据中台的第一步,同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前,需要完成数据仓库的规划,包括定义数据板块、项目、数据源、计算源和统计周期。5分钟快速了解 功能介绍 数仓规划包括逻辑...
权限点 超级管理员 系统管理员 项目管理员 普通成员 我负责的 资源管理&治理概览 查看资源分析页面 Y Y Y Y Y 查看治理分析页面 Y Y Y Y Y 查看治理效果页面 Y Y Y Y Y 治理工作台 查看我的治理列表 Y Y Y Y Y 删除我的治理 Y N Y N Y 暂停...
权限点 超级管理员 系统管理员 项目管理员 普通成员 我负责的 资源管理&治理概览 查看资源分析页面 Y Y Y Y Y 查看治理分析页面 Y Y Y Y Y 查看治理效果页面 Y Y Y Y Y 治理工作台 查看我的治理列表 Y Y Y Y Y 删除我的治理 Y N Y N Y 暂停...
确定指标 本教程中,用户是A公司电商营销部门的营销数据分析师。数据需求为最近一天厨具类目的商品在各省的销售总额、该类目销售额前10的商品名称、各省用户购买力分布(人均消费额)等,用于营销分析。基于规范定义,确认业务过程为确认收...
两次系统检查点之间的最短时间间隔 两次系统检查点之间的最短时间间隔。默认为180秒,可选择天、小时、分钟、秒为单位进行设置。重要 若Checkpoint最大并行度是1时,配置该参数时,请确保两个Checkpoint之间存在1个最短时间间隔。单击 确定...
两次系统检查点之间的最短时间间隔 两次系统检查点之间的最短时间间隔。默认为180秒,可选择天、小时、分钟、秒为单位进行设置。重要 若Checkpoint最大并行度是1时,配置该参数时,请确保两个Checkpoint之间存在1个最短时间间隔。单击 确定...
渗透性测试 经Dataphin授权,绿盟科技渗透测试小组对产品进行了渗透性测试,通过各种主流的攻击技术对网络、系统做模拟攻击测试,以发现网络、系统中存在的安全漏洞和风险点。渗透测试流程定义为信息收集、渗透测试、本地信息收集、权限...
身份管理 在阿里云公共云环境下,...不同项目角色的权限等级不一样,可以按照实际情况进行项目角色授予,能更好保护项目内数据的安全。同时项目角色支持客户自定义,可以按照企业的管理制度和实际情况自定义角色进行项目内的用户管理。
名词解释 待生成实例:将在未来时间段生成实例并提交执行补数据,周期性定时执行的补数据任务将在定时运行时间的 前一天23点 生成待生成实例。更多信息,请参见 管理待提交实例。已生成实例:立即执行的补数据任务和待生成实例所生成的可...
本文为您介绍任务发布的操作权限列表。...权限点 项目管理员 项目开发者 项目运维 项目访客 项目分析师 普通成员 查看待发布对象列表 Y Y Y Y Y N 发布待发布对象列表 Y N Y N N N 查看发布列表 Y Y Y Y Y N 重新发布发布列表 Y N Y N N N
名词解释 待生成实例:将在未来时间段生成实例并提交执行补数据,周期性定时执行的补数据任务将在定时运行时间的 前一天23点 生成待生成实例。更多信息,请参见 查看并管理待生成实例。已生成实例:立即执行的补数据任务和待生成实例所生成...
本文为您介绍任务发布的操作权限列表。...权限点 项目管理员 项目开发者 项目运维 项目访客 项目分析师 普通成员 查看待发布对象列表 Y Y Y Y Y N 发布待发布对象列表 Y N Y N N N 查看发布列表 Y Y Y Y Y N 重新发布发布列表 Y N Y N N N
数据服务看板中以不同统计维度展示所选时间内Dataphin数据服务API的调用情况。查看调用统计和过去7天调用对比 统计时间:可选择近十分钟、近24小时、近7天或自定义时间段,自定义时间段可选择的时间范围为[T-7 00:00,当前时间]。...
权限点 超级管理员 系统管理员 板块架构师 板块下项目管理员 开发者 普通成员 查看数据板块列表&详情 Y Y Y Y Y Y 新建数据板块 Y Y N N N N 编辑&删除数据板块 Y Y Y(负责的板块)N N N 新建主题域&下级主题域 Y Y Y(负责的板块)N N N ...
权限点 超级管理员 系统管理员 板块架构师 普通成员 查看计算源列表&连接测试 Y Y Y N 新建计算源 Y Y Y N 编辑&删除计算源 Y Y N N 转移计算源负责人 Y Y N N Hadoop集群权限列表 权限点 超级管理员 系统管理员 普通成员 查看Hadoop集群...
权限点 超级管理员 系统管理员 安全管理员 项目管理员 表负责人 普通成员 添加识别结果(手动添加&Excel上传)Y N Y Y Y N 编辑&删除识别结果 Y N Y Y Y N 锁定/解锁数据分类 Y N Y Y Y N 查看识别结果详情 Y Y Y Y Y Y 识别规则权限列表 ...
权限点 超级管理员 系统管理员 普通成员 查看目录 Y Y Y 查看Notebook Y Y Y 新建目录 Y Y Y 编辑&删除目录 Y Y Y 新建Notebook Y Y Y 编辑&删除Notebook Y Y Y 保存Notebook Y Y Y 分享Notebook Y Y Y 删除分享Notebook Y Y Y 运行...
权限点 超级管理员 系统管理员 普通成员 查看目录 Y Y Y 查看Notebook Y Y Y 新建目录 Y Y Y 编辑&删除目录 Y Y Y 新建Notebook Y Y Y 编辑&删除Notebook Y Y Y 保存Notebook Y Y Y 分享Notebook Y Y Y 删除分享Notebook Y Y Y 运行...
定义好实时数据集后,可以通过指标映射的方式创建实时标签。功能概述 实时数据集可以通过不同数据来源选择不同实时数据集的定义方式。数据来源于事件:可以将事件属性或其统计结果定义为数据集指标。如:定义“下单事件”,基于事件开发...
查看角色详情 单击目标项目角色 操作 列的 图标,在项目角色详情页面中查看项目角色的 基础信息 和 项目内权限点。自定义角色 可在项目角色详情页面中,通过单击 编辑配置,修改 基础信息 和 项目内权限点。查看项目引用 单击目标项目角色 ...
查看角色详情 单击目标项目角色 操作 列的 图标,在项目角色详情页面中查看项目角色的 基础信息 和 项目内权限点。自定义角色 可在项目角色详情页面中,通过单击 编辑配置,修改 基础信息 和 项目内权限点。查看项目引用 单击目标项目角色 ...
触发式节点任务基本特点 触发式节点任务与其他计算任务相同点与不同点如下:触发式节点任务的周期实例进入运行状态需要满足以下条件:当前系统时间 大于或等于 实例的定时运行时间,与其他计算任务一致。所有上游节点运行状态均已成功,与...
加密后的数据只有拥有密钥权限的用户才能够进行查看,从而更好地保护敏感数据。Dataphin的敏感数据保护,主要有以下两种方案:脱敏方案 针对敏感数据进行遮盖脱敏和哈希脱敏保护,如将“张三”展示为“张*”,或者通过md5脱敏手机号,可以...
加密后的数据只有拥有密钥权限的用户才能够进行查看,从而更好地保护敏感数据。Dataphin的敏感数据保护,主要有以下两种方案:脱敏方案 针对敏感数据进行遮盖脱敏和哈希脱敏保护,如将“张三”展示为“张*”,或者通过md5脱敏手机号,可以...
表名 且不区分大小写,以标识本节点产出的表,同时其他节点更好地选择调度依赖关系。例如,开发项目名称为 onedata_dev,建议将输出名称设置为 onedata.s_order。如果您将输出名称设置为 onedata_dev.s_order,则仅限代码 select*from ...
表名 且不区分大小写,以标识本节点产出的表,同时其他节点更好地选择调度依赖关系。例如,开发项目名称为 onedata_dev,建议将输出名称设置为 onedata.s_order。如果您将输出名称设置为 onedata_dev.s_order,则仅限代码 select*from ...
用户可以通过设置调度时区来更好地管理任务,在多时区的协作环境中,正确配置调度时区能够确保任务按照预期的时间执行,避免因时区差异导致的误解或延迟。操作步骤 在Dataphin首页的顶部菜单栏中,选择 管理中心 系统设置。在左侧导航栏中...
用户可以通过设置调度时区来更好地管理任务,在多时区的协作环境中,正确配置调度时区能够确保任务按照预期的时间执行,避免因时区差异导致的误解或延迟。操作步骤 在Dataphin首页的顶部菜单栏中,选择 管理中心 系统设置。在左侧导航栏中...
校验成功后,单击 确认并开始数据建设,即可开始数据建设。后续步骤 完成设置Dataphin实例的计算引擎后,您就可以准备后续数据研发过程中用于读取和写入数据的数据源、用于提供计算资源的计算源。具体操作,请参见 准备数据源和计算源。
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:阿里云账号资源准备 ...
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:MaxCompute开通与配置 主流程 描述 操作指导 开通MaxCompute 购买...
自动添加所有成员:所有未添加到Dataphin的组织内成员,在每天0点自动同步或手动同步用户时,会自动添加到Dataphin。关闭 自动添加成员:关闭后,将不会自动导入成员到Dataphin。单击 确定,则按配置添加成员。单击 取消,则不更改原有配置...