可选数据源类型详情请参见 Dataphin支持的数据源 中的 离线研发-数据库SQL 列。数据源 选择SQL任务的数据源。若无可选数据源，可以单击+新建数据源 进行创建。Catalog 数据源类型为 Presto 时，配置数据源后，还需要配置Catalog。Schema ...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据同步...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据同步...
云数据库 Tair（兼容 Redis）支持自定义部分参数的值，不同的引擎版本和架构支持的参数有所区别，本文为您介绍各参数的设置方法。注意事项 若在设置实例参数时报错 Parameter is not supported for current version，表示当前实例的小版本...
线热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，能够以热力线的形式表现地理位置上的线路信息，适用于地图上线路图的大屏展示，例如展示地铁线路图。本文介绍线热力层各配置项的含义。重要 当前为v2.x版本的线热力层子...
背景信息 您可以通过DataWorks，将支持的各种数据源数据离线同步至 云数据库ClickHouse。离线同步支持的数据源类型，具体请参见 支持的数据源与读写插件。前提条件 已创建工作空间，引擎服务选择为MaxCompute。如何创建，请参见 创建工作...
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
数据库SQL支持使用跨节点输出参数，详情请参见 跨节点输出参数赋值、跨节点参数最佳实践。代码编辑完成后，单击代码编辑区域上方的 运行。单击页面右侧边栏的 属性，在 属性 面板中配置任务的 基本信息、运行参数、调度属性（周期任务）、...
高级面板 打开开关，开启组件交互功能，可单击某条线或鼠标移入线上时，触发数据请求，抛出临时变量，实现在单击或鼠标移入到线时，动态加载不同线的数据。默认抛出所单击区域的 id 值，具体配置请参见 组件交互配置。蓝图交互 单击页面...
数据集成目前支持将MySQL源头的数据整库离线同步至StarRocks。本文以MySQL离线同步写入StarRocks场景为例，为您介绍如何一次性把MySQL整个数据库的数据离线同步至StarRocks。前提条件 已购买 Serverless资源组 或 独享数据集成资源组。已...
通过创建Amazon RDS for Oracle数据源能够实现Dataphin读取Amazon RDS for Oracle的业务数据或向Amazon RDS for Oracle写入数据。本文为您介绍如何创建Amazon RDS for Oracle数据源。权限说明 仅支持具备 新建数据源权限点 的自定义全局...
OD飞线是三维城市构建器的图层，支持独立的样式和数据配置，能够以飞线的形式表现地理位置上两个点之间的OD数据，可以用来展示两地之间的关联信息，如物流、交易等。本文介绍OD飞线各配置项的含义。在场景编辑器左侧图层列表中，单击 OD飞...
数据集成目前支持将AnalyticDB for MySQL 3.0、MySQL、Oracle、PolarDB、PostgreSQL等源头的数据整库离线同步至OSS。本文以MySQL为源端，OSS为目标端场景为例，为您介绍如何将MySQL整个数据库的数据离线同步到OSS数据湖。前提条件 已购买 ...
基于此，PTRC的适用范围会更广，因为只针对查询内部算子的优化，不存在跨节点查询时的数据一致性问题，只要一个算子符合要求（即算子执行时依赖的参数不变，执行结果也不会变）就可以使用PTRC，在选择PTRC时不仅需要遵循规则，还会基于代价...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d、ods_raw_log_d 表。旨在介绍如何通过DataWorks数据集成实现异构...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d、ods_raw_log_d 表。旨在介绍如何通过DataWorks数据集成实现异构...
数据集成目前支持将AnalyticDB for MySQL 3.0、ClickHouse、Hologres、MySQL、PolarDB等源头的数据整库离线同步至MaxCompute。本文以Hologres离线同步写入MaxCompute场景为例，为您介绍如何一次性把Hologres整个数据库的数据离线同步至...
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如动态轨迹层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
数据集成目前支持将AnalyticDB for MySQL 3.0、ClickHouse、Hologres、MySQL、PolarDB等源头的数据整库离线同步至MaxCompute。本文以MySQL离线同步写入MaxCompute场景为例，为您介绍如何一次性把MySQL整个数据库的数据离线同步至MaxCompute...
离线物理表可帮助您统一配置与管理计算任务开发过程中用到的离线物理表，提升开发效率。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类 字段。仅...
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
数据集成目前支持将AnalyticDB for MySQL 3.0、ClickHouse、Hologres、PolarDB等源头的数据整库离线同步至Hologres。本文以Hologres离线同步写入Hologres场景为例，为您介绍如何一次性把Hologres整个数据库的数据离线同步至另一个Hologres...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 组件数据源配置。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建EMR Hive外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据...
通过创建Amazon RDS for Oracle数据源能够实现Dataphin读取Amazon RDS for Oracle的业务数据或向Amazon RDS for Oracle写入数据。本文为您介绍如何创建Amazon RDS for Oracle数据源。权限说明 仅支持具备 新建数据源权限点 的自定义全局...
语法介绍 ALTER TABLE table_name TRUNCATE PARTITION partition_name[{DROP|REUSE} STORAGE]参数说明 参数名称 参数要求 参数说明 参数示例 table_name 必填 要清空分区的目标分区表的名称。sales_records partition_name 必填 要清空的...
数据集成目前支持将MySQL、PolarDB、SQL Server等源头的数据整库离线同步至Elasticsearch。本文以MySQL为源端、Elasticsearch为目标端场景为例，为您介绍如何将MySQL整个数据库的数据离线同步至Elasticsearch。前提条件 已购买 Serverless...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 组件数据源配置。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤...
通过创建Presto数据源能够实现在Dataphin中使用Presto数据源进行离线研发。本文为您介绍如何创建Presto数据源。背景信息 Presto是一个高性能、分布式SQL查询引擎。它可以对数据进行快速查询和分析，支持各种数据源，如HDFS、MySQL、...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
本文以MySQL为源端，Hive为目标端场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到Hive。前提条件 已购买 Serverless资源组 或 独享数据集成资源组。已创建MySQL数据源和Hive数据源，详情请参见 数据源配置。已完成资源组与数据源...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
通过创建Presto数据源能够实现在Dataphin中使用Presto数据源进行离线研发。本文为您介绍如何创建Presto数据源。背景信息 Presto是一个高性能、分布式SQL查询引擎。它可以对数据进行快速查询和分析，支持各种数据源，如HDFS、MySQL、...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
动作 动作 说明 请求飞线 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如飞线层配置了API数据源为 https://api.test ，传到 请求飞线 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 。导入...
二、配置数据来源与去向 配置数据来源（Hive）本文档将Hive数据单表离线同步至MaxCompute，数据来源为Hive表，关键配置参数如下。配置项 配置要点 读取Hive方法 基于HDFS文件读取数据：Hive Reader插件通过访问HiveMetastore服务，解析出您...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...