浏览器与服务器端访问统一使用SSL...Dataphin内部服务接口权限控制：内部RPC接口调用采用密钥和白名单方式进行控制，数据内容是二进制传输。公共云SaaS下的数据服务支持HTTPS协议访问。支持配置使用公有云的阿里云网关，支持HTTPS协议访问。
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
Dataphin数据源管理标签以标签的形式能够更好的帮助您管理业务中常用的数据源。您可以在管理标签列表中查看数据源被引用的信息。权限说明 Dataphin仅支持 超级管理员、数据源管理员 新建及管理数据源标签。新建数据源管理标签 在Dataphin...
Dataphin数据源管理标签以标签的形式能够更好的帮助您管理业务中常用的数据源。您可以在管理标签列表中查看数据源被引用的信息。权限说明 Dataphin仅支持 超级管理员、数据源管理员 新建及管理数据源标签。新建数据源管理标签 在Dataphin...
功能 文档 Dataphin全托管 数仓规划概述 数据引入概述 数据开发概述 发布中心概述 运维中心概述 分析平台概述 标签工厂概述 资产全景及目录概述 数据标准概述 资产质量概述 资源治理概述 资产安全概述 数据服务概述 Dataphin半托管 数仓...
Dataphin分析平台提供专注高效的SQL查询能力与丰富的数据可视化能力。本文为您介绍如何基于Dataphin分析平台新建SQL查询。操作步骤 在Dataphin首页，单击顶部菜单栏 分析，进入 分析 平台。按照下图操作指引，进入 新建SQL查询 对话框。在 ...
Dataphin分析平台提供专注高效的SQL查询能力与丰富的数据可视化能力。本文为您介绍如何基于Dataphin分析平台新建SQL查询。操作步骤 在Dataphin首页，单击顶部菜单栏 分析，进入 分析 平台。按照下图操作指引，进入 新建SQL查询 对话框。在 ...
通过控制数据源执行质量规则的并发度，对数据源进行保护，防止影响正常的业务。本文为您介绍如何设置数据源执行质量规则的并发度。前提条件 已创建数据源，详情请参见 Dataphin支持的数据源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 ...
通过控制数据源执行质量规则的并发度，对数据源进行保护，防止影响正常的业务。本文为您介绍如何设置数据源执行质量规则的并发度。前提条件 已创建数据源，详情请参见 Dataphin支持的数据源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 ...
目录 插入单条
数据 插入多条
数据 单值分区表插入
数据 修改
数据-单条
数据 修改
数据-用查询结果批量修改 说明 若您需对Dataphin中逻辑表进行DML操作，请参见 逻辑表DML操作。插入单条
数据 INSERT INTO<table_name>VALUES(value1,value2,value...
展示 数据表异常数、指标-异常规则、数据源异常数 和 实时元表异常数，同时展示与昨日数据的对比结果。您也可以单击显示区域上方的 图标，查看规则校验详情。② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势，...
独立部署版本：私有云独立部署，Dataphin输出PostgreSQL数据库作为元数据库。元数据库采用一主一备或一主两备模式，保障元数据库稳定性；每天进行元数据库全量冷备，保留七天，过期自动删除。公有云独立部署，Dataphin元数据库采用阿里云上...
展示 数据表异常数、指标-异常规则、数据源异常数 和 实时元表异常数，同时展示与昨日数据的对比结果。您也可以单击显示区域上方的 图标，查看规则校验详情。② 展示 数据表、指标、数据源 和 实时元表 的 规则应用趋势 和 规则异常趋势，...
本文为您介绍如何查看数据源的资产详情。数据源详情 请参见 搜索数据，进入目标数据源的详情页面。编号 描述 ① 概要信息 为您展示数据源的名称、描述。同时，您还可以执行如下操作：收藏：单击即可收藏。收藏后您可以在 目录 首页查看收藏...
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
本文为您介绍如何查看数据源的资产详情。数据源详情 请参见 搜索数据，进入目标数据源的详情页面。编号 描述 ① 概要信息 为您展示数据源的名称、描述。同时，您还可以执行如下操作：收藏：单击即可收藏。收藏后您可以在 目录 首页查看收藏...
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
根据阿里巴巴OneData方法论最佳实践，在设计数据模型前，您需要完成技术架构的选型。本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责...
为了实现应用与数据服务之间的网络互通，在您开始调用API或Dataphin数据源前需要配置网络。本文为您介绍如何查看域名。查看域名 您可以关闭已开通的域名。您可以打开或关闭域名显示开关（图标），可以管控非超级管理员查看域名的权限。请...
功能 是否支持 函数操作 是 MAX_PT 是 支持使用Dataphin项目名称进行检索数据。例如，Dataphin的项目英文名称为biz_cdm，该项目下有分区表biz_order、分区键为ds。则您可以执行以下语句查询数据。select*from biz_cdm.biz_order where ds=...
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
对周期任务发起补数据操作后，将根据实例的调度类型产生不同的补数据实例，包括待生成实例、已生成实例。您可以根据业务需求对补数据实例进行运维管理，包括查看运行日志、重跑等操作。名词解释 待生成实例：将在未来时间段生成实例并提交...
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
对周期任务发起补数据操作后，将根据实例的调度类型产生不同的补数据实例，包括待生成实例、已生成实例。您可以根据业务需求对补数据实例进行运维管理，包括查看运行日志、重跑等操作。名词解释 待生成实例：将在未来时间段生成实例并提交...
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
RDS MySQL数据库 设置白名单 RDS PostgreSQL数据库 设置白名单 RDS SQL Server数据库 设置白名单 RDS MariaDB数据库 设置白名单 云原生数据仓库AnalyticDB MySQL版 设置白名单 云原生关系型数据库PolarDB MySQL引擎 设置集群白名单 云原生...
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。按照下图操作指引，进入 创建数据源 对话框。在 MySQL-阿里云 区域，配置连接参数。参数 ...
API详情 请参见 搜索数据，进入目标数据服务的详情页面。编号 描述 ① 概要信息 为您展示数据服务的名称。同时，您还可以执行如下操作：收藏：单击即可收藏。收藏后您可以在 目录 首页查看收藏的列表，方便后续查询。申请权限：提供API权限...
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...