用户在Dataphin配置的敏感信息会采用AES256、DES、RSA等算法加密存储，敏感数据包括数据源、计算源的连接信息和用户授权的采样数据；敏感数据在Dataphin产品上脱敏显示，用户不会通过Dataphin获取到敏感数据。密钥根据不同的部署云环境进行...
设置IP白名单后，用户仅能从配置的IP地址登录，默认关闭，开启后立即生效。白名单在身份认证环节对用户生效，在不同租户登录都会进行拦截。当前仅公共云独立部署环境支持配置IP白名单，需联系Dataphin运维团队开启。
在公共云SaaS下，Dataphin支持了沙箱执行以隔离数据访问。任务调度引擎在启动任务时，会将任务运行在内置的安全沙箱内，保障任务和服务的安全性。安全沙箱提供以下能力：限制网络请求：禁止用户任务请求敏感服务，如Dataphin内部服务等。...
SAAS版本：Dataphin元数据库采用跨可用区高可用版本，每天自动快照备份。
本文为您介绍Dataphin支持的函数操作。功能 是否支持 函数操作 是 MAX_PT 是 支持使用Dataphin项目名称进行检索数据。例如，Dataphin的项目英文名称为biz_cdm，该项目下有分区表biz_order、分区键为ds。则您可以执行以下语句查询数据。...
Dataphin支持对数据表、数据源的权限进行查看、搜索、审计与下载，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。Dataphin支持对数据表、数据源的权限变更操作进行查看、搜索、审计与下载，以此来判断授权、回收、交还...
用户在Dataphin配置的敏感信息会采用AES256、DES、RSA等算法加密存储，敏感数据包括数据源、计算源的连接信息和用户授权的采样数据；敏感数据在Dataphin产品上脱敏显示，用户不会通过Dataphin获取到敏感数据。密钥根据不同的部署云环境进行...
Dataphin产品提供了操作的审计日志输出，根据不同的部署模式提供不同的审计日志导出方式。阿里云公共云独立部署模式下，容器服务集成对接了阿里云日志服务（LogService），可通过LogService自动采集和可视化过滤、检索。...
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
本文为您介绍Dataphin支持的函数操作。功能 是否支持 函数操作 是 MAX_PT 是 支持使用Dataphin项目名称进行检索数据。例如，Dataphin的项目英文名称为biz_cdm，该项目下有分区表biz_order、分区键为ds。则您可以执行以下语句查询数据。...
浏览器与服务器端访问统一使用SSL加密，即使用HTTPS协议访问。Dataphin内部服务接口权限控制：内部RPC接口调用采用密钥和白名单方式进行控制，数据内容是二进制传输。公共云SaaS下的数据服务支持HTTPS协议访问。支持配置使用公有云的阿里云...
Dataphin产品提供了操作的审计日志输出，根据不同的部署模式提供不同的审计日志导出方式。公共云Saas：可通过操作审计（ActionTrail）获取Dataphin的审计日志。操作审计（ActionTrail）帮助您监控并记录阿里云账号的活动，包括通过阿里云...
浏览器与服务器端访问统一使用SSL加密，即使用HTTPS协议访问。Dataphin内部服务接口权限控制：内部RPC接口调用采用密钥和白名单方式进行控制，数据内容是二进制传输。私有云独立部署场景下（使用自建数据服务网关），目前不支持使用HTTPS...
若您的群组更新方式为手动更新，您可手动选择所需运行的版本并运行群组。本文将指导您如何手动运行群组。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签。默认进入 资产市场 页面。按照以下操作指引，选择所需手动运行的群组并单击操作栏...
本文为您介绍如何查看并处理消息中心的消息。查看消息中心的消息 在Dataphin界面，按照下图操作指引，进入 消息中心。在 消息中心 页面，您可以查看所有未读消息及全部的消息。同时您可以单击某个消息 操作 列下的 图标查看消息的详细内容...
本文为您介绍如何查看并处理消息中心的消息。查看消息中心的消息 在Dataphin界面，按照下图操作指引，进入 消息中心。在 消息中心 页面，您可以查看所有未读消息及全部的消息。同时您可以单击某个消息 操作 列下的 图标查看消息的详细内容...
本文将为您介绍数据服务的Dataphin数据源服务、API服务、分组、服务单元和应用等基本概念。基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin...
若您的标签更新方式为手动更新，您可手动选择所需运行的版本并运行标签。本文将指导您如何手动运行标签。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签。进入Dataphin 标签 页面后，默认进入 资产市场 板块页面。在 资产市场 页面，单击...
本文将为您介绍数据服务的Dataphin数据源服务、API服务、分组、服务单元和应用等基本概念。基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin...
本文为您介绍标准清单的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。标准清单权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 普通成员 查看标准详情 Y Y Y Y Y Y
本文为您介绍资产目录的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。资产目录权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 普通成员 搜索资产 Y Y Y Y Y Y 查看资产详情 Y...
独立部署版本：私有云独立部署，Dataphin输出PostgreSQL数据库作为元数据库。元数据库采用一主一备或一主两备模式，保障元数据库稳定性；每天进行元数据库全量冷备，保留七天，过期自动删除。公有云独立部署，Dataphin元数据库采用阿里云上...
本文为您介绍Dataphin计算引擎为Hadoop时，系统支持的多维分析语句。语句 描述 是否支持 Grouping_ID 标示结果属于哪一个分组集合。是
相关参考 关于Dataphin的基本概念，请参见 核心概念。
本文为您介绍标准清单的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。标准清单权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 普通成员 查看标准详情 Y Y Y Y Y Y
本文为您介绍逻辑表DML操作语句。操作 语法 说明 INSERT OVERWRITE insert overwrite table table_name[partition(pt_spec)](col_name,col_name.)select_statement from from_statement;插入或覆写数据。仅维度逻辑表、汇总逻辑表、事实...
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
本文为您介绍逻辑表DML操作语句。操作 语法 说明 INSERT OVERWRITE insert overwrite table table_name[partition(pt_spec)](col_name,col_name.)select_statement from from_statement;插入或覆写数据。仅维度逻辑表、汇总逻辑表、事实...
本文为您介绍资产全景的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。使用说明 非 超级管理员角色需要获得超级管理员授权后才能查看。资产全景权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全...
机器学习PAI命令提供了更加灵活、自由、高效的算法研发模式，Dataphin除了支持导入PAI的工作流创建PAI Designer任务，同时也支持PAI命令。PAI组件包括数据预处理、特征工程、统计分析、异常检测、推荐算法、时间序列、视觉类算法、语音类...
本文为您介绍资产全景的操作权限列表。符号说明 Y 表示该角色有此功能权限；N 表示该角色无此功能权限。使用说明 非 超级管理员角色需要获得超级管理员授权后才能查看。资产全景权限列表 权限点 超级管理员 系统管理员 数据源管理员 安全...
上架到资产市场的标签，可以被市场成员申请至项目中进行使用。申请至项目中的标签可以选择规则组合方式加工新标签；申请至应用的标签可以创建标签离线服务、实时查询服务，进行标签应用。本文将指导您如何申请标签权限。...
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的校验结果。质量大盘介绍 质量大盘页面默认为您展示今日的全局质量监控数据。...
实时类目作为事件的分类，为事件进行归类管理。本文将指导您如何创建事件类目。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签。默认进入 资产市场 页面。按照以下操作指引，进入 新建类目 对话框。依次单击 事件中心-类目管理-新建类目...
质量大盘为您展示质量规则校验的表数、校验结果为异常的表数、规则应用趋势、规则异常趋势，帮助您从整体质量规则校验结果的视角出发，快速识别并处理异常的校验结果。质量大盘介绍 质量大盘页面默认为您展示今日的全局质量监控数据。...
本文将为您介绍如何添加Python三方包的镜像源。权限说明 仅支持 超级管理员、系统管理员 安装、升级、删除镜像源。操作步骤 在Dataphin首页，单击顶部菜单栏 管理中心。按照以下操作指引，进入 镜像源 对话框。依次单击 系统设置-Python...
根据阿里巴巴OneData方法论最佳实践，在设计数据模型前，您需要完成技术架构的选型。本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责...
本文将为您介绍告警中心中的告警事件、推送记录、值班表和推送渠道等基本概念。概念 描述 告警事件 基于告警对象和告警规则构成的事件。推送记录 告警中心将告警消息推送给订阅用户的记录。值班表 为接收并处理告警事件的人员提供了排班...
本文汇总了不同功能模块的视频介绍。Dataphin快速入门 数据集成-自定义组件介绍 运维中心介绍 数据标准介绍 资产质量介绍 数据安全介绍 资源治理流程介绍 资源治理功能介绍