但它不读取业务数据，且数据传输会进行加密压缩。更多关于DBGateway的信息，请参见 数据库网关。索引：索引是数据库管理系统对数据库表中一个或多个列的值进行排序的数据结构，使用索引可快速访问数据库表中的特定信息。止血建议：在系统...
实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。实时数据清洗和分析 接入多种异构数据，实时清洗并归一化 通过数据总线和实时计算，您可以把多种数据源的异构数据实时清洗成统一的结构化数据，为进一步分析做...
通过创建Aliyun HBase数据源能够实现Dataphin读取Aliyun HBase的业务数据或向Aliyun HBase写入数据。本文为您介绍如何创建Aliyun HBase数据源。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP...
通过创建Vertica数据源能够实现Dataphin读取Vertica的业务数据或向Vertica写入数据。本文为您介绍如何创建Vertica数据源。背景信息 Vertica是一款基于列存储架构的数据库。如果您使用的是Vertica，在对接Dataphin进行数据开发时，您需要先...
通过创建Hudi数据源能够实现Dataphin读取Hudi的业务数据或向Hudi写入数据。本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的...
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业...
您不再需要搭建复杂的数据同步链路，即可让AI应用“读懂”您的业务数据。为什么选择 Dify on DMS？（核心优势）DMS Dify除了具备社区版Dify的功能外，还有如下表所示的优势：优势 说明 数据安全 AI应用直接在DMS环境内访问您的数据，数据不...
通过创建OSS数据源能够实现Dataphin读取OSS的业务数据或向OSS写入数据。本文为您介绍如何创建OSS数据源。背景信息 OSS即阿里云对象存储OSS。阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务。...
通过创建Vertica数据源能够实现Dataphin读取Vertica的业务数据或向Vertica写入数据。本文为您介绍如何创建Vertica数据源。背景信息 Vertica是一款基于列存储架构的数据库。如果您使用的是Vertica，在对接Dataphin进行数据开发时，您需要先...
通过创建GBase 8a数据源能够实现Dataphin读取GBase 8a的业务数据或向GBase 8a写入数据。本文为您介绍如何创建GBase 8a数据源。使用限制 仅支持拥有 新建数据源 权限点的自定义全局角色和 超级管理员、数据源管理员、板块架构师、项目管理员...
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业...
通过创建GBase 8a数据源能够实现Dataphin读取GBase 8a的业务数据或向GBase 8a写入数据。本文为您介绍如何创建GBase 8a数据源。使用限制 仅支持拥有 新建数据源 权限点的自定义全局角色和 超级管理员、数据源管理员、板块架构师、项目管理员...
通过创建OSS数据源能够实现Dataphin读取OSS的业务数据或向OSS写入数据。本文为您介绍如何创建OSS数据源。背景信息 OSS即阿里云对象存储OSS。阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务。...
通过创建Hudi数据源能够实现Dataphin读取Hudi的业务数据或向Hudi写入数据。本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的...
通过创建GaussDB（DWS）数据源，可以实现Dataphin读取GaussDB（DWS）的业务数据或向GaussDB（DWS）写入数据。本文为您介绍如何创建GaussDB（DWS）数据源。权限说明 仅支持拥有 新建数据源 权限点的自定义全局角色和 超级管理员、数据源管理...
数据管理 数据管理页面支持上传和管理数据，您可以实现如下多个功能：功能 说明 上传数据 数据管理页面中支持 上传数据 的类型有 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六大类，不同类型的数据可上传的数据格式互不相同。...
恢复业务数据写入。测试业务功能。回退方案 说明 在业务切换失败等异常情况下，您可以参考该方案恢复业务。将业务暂时中断，禁止在数据库中写入新数据。将业务切换回源库。恢复业务数据写入。后续操作 业务切换至目标库并稳定运行一段时间...
在阿里云EMR中，地域与存储直接影响集群的性能和成本。合理选择地域可降低网络延迟、满足数据...存算分离（OSS-HDFS/OSS）通过对象存储实现业务数据持久化存储，数据盘仅用于临时计算缓存、本地化日志及任务的Shuffle数据，不保留业务数据。
通过创建ClickHouse数据源能够实现Dataphin读取ClickHouse的业务数据或向ClickHouse写入数据。本文为您介绍如何创建ClickHouse数据源。背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据...
业务数据：在业务数据页签内，可通过新建数据集上传业务数据。上传CSV数据 注意 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，...
业务数据：在业务数据页签内，可通过新建数据集上传业务数据。上传CSV数据 重要 CSV文件数据格式为不带BOM的UTF-8编码格式，CSV文件数据内容需要使用英文逗号作为分隔符，如当字段内出现分隔符（,）时，需要使用转义符（"）包裹该字段，...
新建Hologres数据源用于实现Dataphin能够读取Hologres的业务数据，及能够向Hologres写入数据。在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres...
通过创建Kudu数据源能够实现Dataphin读取Kudu的业务数据或向Kudu写入数据。本文为您介绍如何创建Kudu数据源。背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户...
通过创建PolarDB数据源能够实现Dataphin读取PolarDB的业务数据或向PolarDB写入数据。本文为您介绍如何创建PolarDB数据源。背景信息 PolarDB是阿里云自主研发新一代关系型数据库，兼容MySQL、PostgreSQL语法的云托管数据库产品。在计算存储...
通过创建SelectDB数据源能够实现Dataphin读取SelectDB的业务数据或向SelectDB写入数据。本文为您介绍如何创建SelectDB数据源。背景信息 SelectDB是广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景的数据...
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标。创建标签，请参见 管理...
Core节点组（Kafka Broker）资源评估 评估业务需求 您需要根据业务情况，评估以下参数：扇出因子：业务数据会被下游消费的次数，不包含Kafka本身副本复制产生的消费次数。数据峰值流入：业务数据的峰值流量，单位MB/s。数据平均流入：业务...
典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/Hadoop上的归档数据，以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工，形成CDM（Common Data Model）和ADS...
通过创建达梦（DM）数据源能够实现Dataphin读取达梦（DM）的业务数据或向达梦（DM）写入数据。本文为您介绍如何创建达梦（DM）数据源。背景信息 达梦（DM）属于OLTP类型数据库，被集成在业务系统中。达梦（DM）数据库吸收借鉴当前先进新...
通过创建Greenplum数据源能够实现Dataphin读取Greenplum的业务数据或向Greenplum写入数据。本文为您介绍如何创建Greenplum数据源。背景信息 Greenplum是一款大数据分析引擎，适用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
业务背景 假设您是一家综合性互联网公司的数据开发工程师，负责处理三个核心业务线的数据：电商（ecom）、金融（finance）和物流（logistics），且后续存在增加业务线的可能。您需要每天对这三个业务线的用户行为日志执行相同的聚合逻辑，...
数据查询体验 本教程中使用 阿里电商数据集（bigdata_public_dataset.commerce.commerce_ali_e_commerce），该数据集来源于 天池阿里移动推荐算法挑战赛，拥有100万条脱敏后的行为数据（包括点击、购买、加购、喜欢）。说明 DataWorks为您...
ODS：全称Operational Data Store，贴源层，主要负责采集业务系统并保存一定期限内的相关业务数据。DWD：全称Data Warehouse Detail，明细数据层，该层数据和源数据基本保持一致，保存着最细粒度的数据，一般存放所有的明细数据，是所有...
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP数据源。背景信息 文件传输协议FTP（File Transfer Protocol）是TCP/IP协议组中的一个协议。在开发网站的时候，您可以使用FTP客户端将网站...
通过创建达梦（DM）数据源能够实现Dataphin读取达梦（DM）的业务数据或向达梦（DM）写入数据。本文为您介绍如何创建达梦（DM）数据源。背景信息 达梦（DM）属于OLTP类型数据库，被集成在业务系统中。达梦（DM）数据库吸收借鉴当前先进新...
通过创建PolarDB数据源能够实现Dataphin读取PolarDB的业务数据或向PolarDB写入数据。本文为您介绍如何创建PolarDB数据源。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单...
数据源配置 选择数据源的配置环境：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
业务背景 假设您是一家综合性互联网公司的数据开发工程师，负责处理三个核心业务线的数据：电商（ecom）、金融（finance）和物流（logistics），且后续存在增加业务线的可能。您需要每天对这三个业务线的用户行为日志执行相同的聚合逻辑，...
创建数据源 在您开始同步业务数据至Dataphin平台前，需要通过添加数据源的方式连通业务数据库与Dataphin。如何创建，请参见 创建MaxCompute数据源。规范定义 创建主题域 主题域用于存放同一数据板块内不同意义的指标，如商品域、交易域、...