功能介绍 Dataphin中您可通过钉钉群或邮件发送告警消息。在成员管理中配置好成员的钉钉群机器人的webhook（如何配置钉钉群机器人的webhook，请参见 配置成员和超级管理员的联系方式）。当任务运行、质量规则、服务监控等系统触发了配置好的...
本文为您介绍Dataphin支持的MaxCompute的DQL操作语句。功能 是否支持 命令格式 是 列表达式（select_expr）支持*支持 distinct 不支持正则表达式 WHERE子句（where_condition）Dataphin 2.9.2及之后版本支持UDF分区裁剪 当SQL语句设置了...
本文为您介绍Dataphin支持的MaxCompute的DQL操作语句。功能 是否支持 命令格式 是 列表达式（select_expr）支持*支持 distinct 不支持正则表达式 WHERE子句（where_condition）Dataphin 2.9.2及之后版本支持UDF分区裁剪 当SQL语句设置了...
本文为您介绍Dataphin中代码编辑器在Chrome浏览器下的常用快捷键，帮助您提升开发效率。操作 macOS Windows 常用操作 开始运行（停止运行）Command+Enter Ctrl+Enter 执行当前语句 Command+Option+Enter Ctrl+Shift+Enter 全选 Command+A ...
本文为您介绍Dataphin中代码编辑器在Chrome浏览器下的常用快捷键，帮助您提升开发效率。操作 macOS Windows 常用操作 开始运行（停止运行）Command+Enter Ctrl+Enter 执行当前语句 Command+Option+Enter Ctrl+Shift+Enter 全选 Command+A ...
版本生效日期：2024年03月26日 本服务等级协议（Service Level Agreement，以下简称“SLA”）约定了阿里云向客户提供的智能数据建设与治理（简称“Dataphin”）的服务可用性等级指标及赔偿方案。特别提示您，除非另有约定，本协议不适用于...
调用Dataphin数据源即应用调用生产环境中的Dataphin数据源。Dataphin数据源后续可以作为Quick BI的数据源，对业务数据进行展示、分析、探查和制作报表等。本文为您介绍如何调用Dataphin数据源。前提条件 在开始执行操作前，请确认您已满足...
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发与服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 特惠购买，进入Dataphin购买页面。在购买页面，选择 地域、版本、...
Dataphin面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
请您以Dataphin为唯一入口进行数据构建与管理，以免出现元数据错误、权限异常等问题。说明 创建MaxCompute项目的具体方法请参见 创建MaxCompute项目。数据源管理 新增数据源 建议配置的数据源AccessKey为管理级权限。可以通过配置主账号...
请您仔细核对购买信息并阅读 智能数据建设与治理服务协议，确认无误后选中 智能数据建设与治理服务协议。单击 去支付，支付成功后即可开始升级开通增值功能包。正在通过升级开通增值功能包的Dataphin实例，在Dataphin管理控制台页面，显示 ...
开发Dataphin数据源即将Dataphin中的逻辑表和物理表配置为供应用调用的Dataphin数据源，同时您可以为已开发的Dataphin数据源所在的计算空间添加Hologres加速计算源，以满足对查询速度有要求的业务场景。本文为您介绍如何开发Dataphin数据源...
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条...
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条...
同时，Dataphin可以为您提升构建数据体系的效率，降低成本：提升效率：提供全链路、一站式、智能化的数据建设与治理工具，降低数据建设门槛。不同背景的开发人员可以自助ETL，快速满足业务需求。通过OneData（OneModel、OneID、OneService...
本文为您介绍在Dataphin中如何自定义任务运行资源，助力您根据自身需求分配更合适的资源大小。任务资源分类 Dataphin任务按运行模式可为两大类：共享Docker资源任务：对于共享Docker资源任务，所有共享Docker资源的任务会运行在同一个容器...
本文为您介绍基于Dataphin如何通过构建Shell任务调用Python读取第三方文件。前提条件 添加访问地址mirrors.aliyun.com和端口*至项目空间的沙箱白名单，详情请参见 通过客户端、命令行连接RDS MySQL实例。已准备Python支持读取的文件，例如...
本文为您介绍基于Dataphin如何通过构建Shell任务调用Python读取第三方文件。前提条件 添加访问地址mirrors.aliyun.com和端口*至项目空间的沙箱白名单，详情请参见 设置白名单。已准备Python支持读取的文件，例如TXT、CSV、XLS、XLSX或PDF等...
页面介绍 在Dataphin首页，单击 资产。按照下图操作指引，进入 项目安全策略 页面。在项目安全策略页面，为您展示Dataphin中所有项目的安全策略相关信息，包括是否开启数据结果下载权限、是否开启读权限申请、是否开启写权限申请及是否已...
页面介绍 在Dataphin首页，单击 资产。按照下图操作指引，进入 项目安全策略 页面。在项目安全策略页面，为您展示Dataphin中所有项目的安全策略相关信息，包括是否开启数据结果下载权限、是否开启读权限申请、是否开启写权限申请及是否已...
本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提条件 已开通RDS MySQL实例，且RDS MySQL实例的网络类型为专有网络。如何开通RDS MySQL实例，请参见 创建RDS MySQL实例。已创建RDS MySQL实例的数据库和账号...
本文为您介绍在Dataphin中如何自定义任务运行资源，助力您根据自身需求分配更合适的资源大小。任务资源分类 Dataphin任务按运行模式可为两大类：共享Docker资源任务：对于共享Docker资源任务，所有共享Docker资源的任务会运行在同一个容器...
校验成功后，单击 确认并开始数据建设，即可开始数据建设。后续步骤 完成设置Dataphin实例的计算引擎后，您就可以准备后续数据研发过程中用于读取和写入数据的数据源、用于提供计算资源的计算源。具体操作，请参见 准备数据源和计算源。
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
本文将为您介绍数据服务的Dataphin数据源服务、API服务、分组、服务单元和应用等基本概念。基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin...
请您仔细核对购买信息并阅读 智能数据构建与管理服务协议，确认无误后选中《智能数据构建与管理服务协议》。单击 去支付，支付成功后即可完成续费。说明 系统仅支持按照已购买的配置进行续费。自动续费 进入 阿里云用户中心。在 用户中心 ...
本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 Dataphin数据表 校验记录页面。参数 说明 筛选与搜索 您可以选择 规则异常、执行状态、...
本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 Dataphin数据表 校验记录页面。参数 说明 筛选与搜索 您可以选择 规则异常、执行状态、...
在您开始创建用于研发数据的...单击 确认并开始数据建设。后续步骤 完成Dataphin实例计算引擎的设置后，系统支持为创建的项目空间添加相应的计算源，为项目空间提供计算和存储的资源。如何创建项目空间及添加计算源，请参见 创建通用项目。
为了满足复杂的数据开发场景，Dataphin智能研发版支持自定义Java UDF函数。本教程以Java自带函数（toLowerCase）为例，为您介绍如何基于Dataphin自定义Java UDF函数。前提条件 下载 JAR包。背景信息 本教程基于下载的JAR包自定义的Java UDF...
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
为防止对数据表的误操作，Dataphin支持将您删除后的数据表短期存留在回收站。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和恢复表。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，...
Dataphin分析平台提供专注高效的SQL查询能力与丰富的数据可视化能力。本文为您介绍如何基于Dataphin分析平台新建SQL查询。操作步骤 在Dataphin首页，单击顶部菜单栏 分析，进入 分析 平台。按照下图操作指引，进入 新建SQL查询 对话框。在 ...
Dataphin分析平台提供专注高效的SQL查询能力与丰富的数据可视化能力。本文为您介绍如何基于Dataphin分析平台新建SQL查询。操作步骤 在Dataphin首页，单击顶部菜单栏 分析，进入 分析 平台。按照下图操作指引，进入 新建SQL查询 对话框。在 ...
为了及时告知您任务运行过程中的异常情况，Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程中，如果触发了监控告警规则，告警中心会给您发送告警消息，便于您及时发现并处理异常。告警中心...
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的元数据。您可以在搜索框中输入元数据名称的关键字快速搜索元数据。您也可以单击 ...
在Dataphin中使用Python时，您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的数据。背景信息 Dataphin PyODPS依赖于MaxCompute的 PyODPS。前提条件 在使用Dataphin PyODPS前，请确认您已将Dataphin计算引擎设置为...
为了及时告知您任务运行过程中的异常情况，Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程中，如果触发了监控告警规则，告警中心会给您发送告警消息，便于您及时发现并处理异常。告警中心...