计算引擎类型 选择设置 计算引擎设置需要提前采购计算引擎MaxCompute资源,系统以此来支持相关数据的建设工作。需要选择计算引擎类型(目前仅开放MaxCompute计算类型),配置计算引擎所在的集群,例如Endpoint等信息。系统以此来支持该计算...
在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...
计算引擎层承载数据的实际计算与存储。业务模型层按照不同的业务形态,划分出业务板块,一种业务形态对应一个业务板块。同一种业务形态(业务板块)内,根据实际业务情况,将业务实体(维度和业务过程)划分到不同的数据域。基于维度和业务...
资产安全为Dataphin提供了数据生命周期中统一的敏感数据识别与保护能力。通过数据分类分级、敏感数据识别、敏感数据脱敏等措施,帮助客户建立完善的数据安全体系,确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前...
在使用Dataphin前,您可将需要引入Dataphin的数据源接入到Dataphin中,已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入,支持对接如MaxCompute、Hive等数据仓库,也支持对接企业传统数据库...
在使用Dataphin前,您可将需要引入Dataphin的数据源接入到Dataphin中,已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入,支持对接如MaxCompute、Hive等数据仓库,也支持对接企业传统数据库...
数据服务(OneService)是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。前提条件 已购买 数据服务 增值服务,开通Dataphin ...
常用于网站、应用程序和商业产品,是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页,单击顶部菜单栏的...
Dataphin支持对数据表、数据源的权限进行查看、搜索、审计与下载,及时发现不合理的授权用户并处理,确保权限体系健康,防止权限泄露。Dataphin支持对数据表、数据源的权限变更操作进行查看、搜索、审计与下载,以此来判断授权、回收、交还...
Dataphin支持对数据表、数据源的权限进行查看、搜索、审计与下载,及时发现不合理的授权用户并处理,确保权限体系健康,防止权限泄露。Dataphin支持对数据表、数据源的权限变更操作进行查看、搜索、审计与下载,以此来判断授权、回收、交还...
浏览器与服务器端访问统一使用SSL加密,即使用HTTPS协议访问。Dataphin内部服务接口权限控制:内部RPC接口调用采用密钥和白名单方式进行控制,数据内容是二进制传输。公共云SaaS下的数据服务支持HTTPS协议访问。支持配置使用公有云的阿里云...
浏览器与服务器端访问统一使用SSL加密,即使用HTTPS协议访问。Dataphin内部服务接口权限控制:内部RPC接口调用采用密钥和白名单方式进行控制,数据内容是二进制传输。私有云独立部署场景下(使用自建数据服务网关),目前不支持使用HTTPS...
展示 数据表异常数、指标-异常规则、数据源异常数 和 实时元表异常数,同时展示与昨日数据的对比结果。您也可以单击显示区域上方的 图标,查看规则校验详情。② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势,...
展示 数据表异常数、指标-异常规则、数据源异常数 和 实时元表异常数,同时展示与昨日数据的对比结果。您也可以单击显示区域上方的 图标,查看规则校验详情。② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势,...
单击 连通性测试,测试填写URL地址与Dataphin的连通性。测试成功后,单击 确定,完成镜像源添加。后续步骤 完成镜像源添加后,您可以在Python三方包的Python Module页面进行Python Module的在线安装。更多信息,请参见 安装Python Module。
表示该角色与此功能权限无关。更多角色说明 自定义项目角色是Dataphin基于产品的功能,对数仓规划、数据集成、数据开发、项目资产权限、发布运维等多个模块的权限管理。权限点 项目管理员 项目开发者 项目运维 项目访客 项目分析师 普通...
表示该角色与此功能权限无关。更多角色说明 自定义项目角色是Dataphin基于产品的功能,对数仓规划、数据集成、数据开发、项目资产权限、发布运维等多个模块的权限管理。权限点 项目管理员 项目开发者 项目运维 项目访客 项目分析师 普通...
针对各种业务需求,Dataphin提供相关实践教程,您可根据不同场景查看最佳实践教程进行参考。Dataphin 面向零售店铺的模型构建与管理 自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 Java UDF最佳实践 规范定义最佳实践
在 新建事件 对话框中,配置事件的基本信息与元表结构及属性映射信息。基本信息 参数 描述 事件名称 填写您所需创建的事件名称。仅允许中英文、数字、下划线(_),64个字符以内。事件code 事件的唯一标识。仅允许中英文、数字、下划线(_...
Dataphin分析平台提供专注高效的SQL查询能力与丰富的数据可视化能力。本文为您介绍如何基于Dataphin分析平台新建SQL查询。操作步骤 在Dataphin首页,单击顶部菜单栏 分析,进入 分析 平台。按照下图操作指引,进入 新建SQL查询 对话框。在 ...
Dataphin分析平台提供专注高效的SQL查询能力与丰富的数据可视化能力。本文为您介绍如何基于Dataphin分析平台新建SQL查询。操作步骤 在Dataphin首页,单击顶部菜单栏 分析,进入 分析 平台。按照以下操作指引,进入 新建SQL查询 对话框。...
说明 当选择系统默认时,短信与邮件为关闭状态,且消息渠道不支持修改。租户自定义:支持选择不同的消息渠道,包括电话、短信、邮件、钉钉群机器人、飞书群机器人、企业微信群机器人、自定义渠道。单击 确定,完成渠道设置。
使用阿里云Dataphin可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。使用阿里云Dataphin时,若已有的数据源部署在本地IDC机房,首先需要打通本地IDC机房与阿里云Dataphin网络。本文将介绍本地IDC机房数据源与阿里云Dataphin...
导入市场类目 在 设置类目 对话框中,支持 标签类目 与 导入,您可根据业务需求选择对应类目类型并单击 导入类目 进行导入。在导入类目对话框中,配置 上传 您的类目文件。您也可以单击下载模板,填写模板后在进行上传。支持文件拓展名csv...
全部展开 视角下,为您展示每个对象(如字段)与数据标准的一一映射关系,如果一个对象映射到了多个数据标准,将生成多条映射关系。映射关系入口 在Dataphin首页,单击顶部菜单栏的 资产。按照下图指引,进入有效 映射 的映射关系页面。...
全部展开 视角下,为您展示每个对象(如字段)与数据标准的一一映射关系,如果一个对象映射到了多个数据标准,将生成多条映射关系。映射关系入口 在Dataphin首页,单击顶部菜单栏的 资产。按照下图指引,进入有效 映射 的映射关系页面。...
本文将为您介绍Dataphin的到期提醒与停机策略。到期提醒 Dataphin实例到期前的168小时(7天)、72小时、24小时,系统将会给您发短信,提醒您所购买的实例即将到期。请您及时备份数据或续费,避免影响正常使用。停机策略 Dataphin实例到期后...
Notebook:基于分析平台,支持您创建Notebook,记录您的分析思路与过程,包括代码、运行结果与分析结论等。更多信息,请参见 Notebook概述。SQL查询:Dataphin分析平台提供SQL查询功能,可在平台上创建SQL查询并编写SQL代码查询所需的数据...
Dataphin治理功能助您完成数据使用消耗的分析,全局把控计算与存储成本,提升使用效率。前提条件 已购买资源治理增值服务,详情请参见 开通Dataphin。使用说明 资源治理的统计不包括计算引擎为Hologres的项目,也不支持对这些项目的治理。...
Dataphin治理功能助您完成数据使用消耗的分析,全局把控计算与存储成本,提升使用效率。前提条件 已购买资源治理增值服务并且当前租户已开通 资源治理 模块。使用说明 资源治理的统计不包括计算引擎为Hologres的项目,也不支持对这些项目的...
通过与外部第三方独立安全监管与审计机构合作,对Dataphin产品进行安全合规与审计评估。基于阿里云账号认证体系为客户提供云上账户安全管理能力。为客户提供安全审计的采集方法和手段、身份认证及访问控制、权限审计等功能。为客户提供...
业务限定 选择派生指标的业务限定,系统仅支持选择与所选原子指标具有相同数据时效的业务限定。统计粒度设置 统计粒度 统计粒度的时效,根据已选择的统计周期系统自动填入。您只需要选择对象粒度。支持添加3个对象粒度。单击 下一步。在 预...
Notebook:基于分析平台,支持您创建Notebook,记录您的分析思路与过程,包括代码、运行结果与分析结论等。更多信息,请参见 Notebook概述。SQL查询:Dataphin分析平台提供SQL查询功能,可在平台上创建SQL查询并编写SQL代码查询所需的数据...
表示该角色与此功能权限无关。权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 板块管理员 项目管理员 普通成员 权限申请 申请数据表权限 Y Y-Y 申请数据源权限 Y Y-Y 申请函数权限 Y Y-Y 申请变量权限 Y Y-Y...
表示该角色与此功能权限无关。权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 板块管理员 项目管理员 普通成员 权限申请 申请数据表权限 Y Y-Y 申请数据源权限 Y Y-Y 申请函数权限 Y Y-Y 申请变量权限 Y Y-Y...
自定义参数配置 配置自定义任务参数,参数需要与Dataphin系统绑定的计算引擎源的特性一致,示例如下。set odps.sql.mapper.cpu=100 set odps.sql.mapper.split.size=256 set odps.sql.reducer.cpu=100 set odps.sql.joiner.cpu=100 说明 ...
自定义参数配置 配置自定义任务参数,参数需要与Dataphin系统绑定的计算引擎源的特性一致,示例如下。set odps.sql.mapper.cpu=100 set odps.sql.mapper.split.size=256 set odps.sql.reducer.cpu=100 set odps.sql.joiner.cpu=100 说明 ...
设置调度资源组仅支持选择应用场景为 任务日常调度 且与当前任务所属项目 有关联关系的资源组。具体操作,请参见 新建自定义资源组。如果选择了默认资源组,将根据默认资源组的配置修改自动更新。单击 确定,完成计算任务资源配置。后续...
区域 描述 ①筛选与搜索区 您可根据推送记录对象名称的关键字进行搜索,也可根据推送接收人、推送时间、推送状态、告警原因、推送渠道进行筛选。②列表区 为您展示推送记录的对象名称、来源系统、推送渠道、推送接收人、推送时间、告警原因...
整体概述 Dataphin的数据资产功能,基于数据资产管理的规范及方法论,帮助您对数据资产进行盘点评估:支持自动化提取分析元数据,可视化构建数据资产大图,便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...