通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
通过创建StarRocks数据源能够实现Dataphin读取StarRocks的业务数据或向StarRocks写入数据。本文为您介绍如何创建StarRocks数据源。背景信息 StarRocks是一款高性能分析数据库，支持实时、多维和高度并发的数据分析。StarRocks具有高度可...
通过创建StarRocks数据源能够实现Dataphin读取StarRocks的业务数据或向StarRocks写入数据。本文为您介绍如何创建StarRocks数据源。背景信息 StarRocks是一款高性能分析数据库，支持实时、多维和高度并发的数据分析。StarRocks具有高度可...
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
本文为您介绍如何新建HttpFile和MySQL数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要...
本文为您介绍如何新建HttpFile和MySQL数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全...
密文：null（不同数据库的空值展示不同）对应算法为 ddNullValue(column)。淘宝账号 明文：淘宝达人001。密文：淘*1对应算法为 ddTaobaoNick(column)。自定义掩码（自定义替换值）明文：'123456789',1,2,*,3,4,#,5,6,%。密文：'*2#4%6789'...
密文：null（不同数据库的空值展示不同）对应算法为 ddNullValue(column)。淘宝账号 明文：淘宝达人001。密文：淘*1对应算法为 ddTaobaoNick(column)。自定义掩码（自定义替换值）明文：'123456789',1,2,*,3,4,#,5,6,%。密文：'*2#4%6789'...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据同步...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据同步...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 HBase 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全风险...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 PolarDB-O 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 TiDB 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全风险...
配置好数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 Oracle 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 Lindorm 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全...
配置好数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版（简称 ADB）数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在...
配置好数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输新建 MySQL 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全风险...
配置好数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 DataHub 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL Presto的连接地址...
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP数据源。背景信息 文件传输协议FTP（File Transfer Protocol）是TCP/IP协议组中的一个协议。在开发网站的时候，您可以使用FTP客户端将网站...
通过创建Greenplum数据源能够实现Dataphin读取Greenplum的业务数据或向Greenplum写入数据。本文为您介绍如何创建Greenplum数据源。背景信息 Greenplum是一款大数据分析引擎，适用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
研发 功能 演示 描述 数据传输的加解密 安全亮点功能-数据传输的加解密 加解密是通过数据学算法将数据在明文和密文之间进行转换，可保障数据在传输和存储过程中避免泄露和篡改的风险，Dataphin数据集成加解密功能，通过自动化加密解密流程...
研发 功能 演示 描述 数据传输的加解密 安全亮点功能-数据传输的加解密 加解密是通过数据学算法将数据在明文和密文之间进行转换，可保障数据在传输和存储过程中避免泄露和篡改的风险，Dataphin数据集成加解密功能，通过自动化加密解密流程...
研发 功能 演示 描述 数据传输的加解密 安全亮点功能-数据传输的加解密 加解密是通过数据学算法将数据在明文和密文之间进行转换，可保障数据在传输和存储过程中避免泄露和篡改的风险，Dataphin数据集成加解密功能，通过自动化加密解密流程...
通过创建SAP HANA数据源能够实现Dataphin读取SAP HANA的业务数据或向SAP HANA写入数据。本文为您介绍如何创建SAP HANA数据源。背景信息 SAP HANA是一种多模型数据库，它将数据存储在内存中，而不是保存在磁盘上。面向列的内存数据库设计...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可以根据标签给数据源进行分类...
数据灾备（原DBS）关系型数据库 阿里云数据库 ECS上的自建数据库、线下数据库、其他云数据库 NoSQL数据库 MongoDB Redis 逻辑备份支持的数据库 MySQL MariaDB PolarDB：PolarDB PostgreSQL版、PolarDB MySQL版、PolarDB PostgreSQL版（兼容...
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植性强、可靠性高、适应性强且功能强大的关系型数据库。如果您使用的是Oracle，在对接...
数据分级用于定义数据在安全领域的安全等级。本文为您介绍如何创建及管理数据分级。新建数据分级 在Dataphin首页，在顶部菜单栏选择 治理 数据安全。在左侧导航栏选择 通用配置 数据分级，在 数据分级 页面，单击 新建数据分级 按钮。在 ...
数据分级用于定义数据在安全领域的安全等级。本文为您介绍如何创建及管理数据分级。新建数据分级 在Dataphin首页，在顶部菜单栏选择 治理 数据安全。在左侧导航栏选择 通用配置 数据分级，在 数据分级 页面，单击 新建数据分级 按钮。在 ...
DataWorks数据集成 单表实时 任务支持在来源与去向组件间新增数据脱敏组件，对来源的数据指定字段进行脱敏，并将脱敏后的数据写入目标表。步骤一：配置单表实时任务 新建数据源，详情请参见：数据源管理。新建数据集成任务，详情请参见：...
本文介绍如何通过DMS将RDS数据导出到SQL、CSV或Excel文件。检查源数据 在DMS中，查询中文显示正常，如下图。查看表的字符集 显示表的创建语句命令如下：show create table 表名;创建导出任务 在DMS中，选择 数据库开发 数据导出 数据库导出...
本文为您介绍在实际的电商业务中，通过将商品图片集合的向量化结果存储在云原生数据仓库 AnalyticDB PostgreSQL版 向量检索引擎中，实现以文搜图的高效准确检索。背景信息 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在，如...
本文为您介绍在实际的电商业务中，通过将商品图片集合的向量化结果存储在云原生数据仓库 AnalyticDB PostgreSQL版 向量检索引擎中，实现以文搜图的高效准确检索。背景信息 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在，如...
您可以通过FineBI连接 云原生数据仓库 AnalyticDB MySQL 版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB for MySQL ...