支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
Data Collector是MaxCompute主要开源数据采集工具的集合，包括：Flume插件 OGG插件 Sqoop Kettle插件 Hive Data Transfer UDTF Flume和OGG插件是基于DataHub的SDK实现，而Sqoop、Kettle以及Hive Data Transfer UDTF是基于Tunnel的SDK实现。...
数据ETL 常见问题：执行ETL（数据抽取、转换、加载）任务时，为避免影响在线业务，通常需要搭建独立的、昂贵的只读实例用于数据抽取，这增加了架构复杂度和成本。解决方案：为需要ETL的表创建列存索引，并购买一个低成本的列存只读实例。...
以下列出了 云原生数据仓库 AnalyticDB MySQL 版 支持的客户端或ETL工具，以及这些客户端或工具与 云原生数据仓库 AnalyticDB MySQL 版 在数据库连通性、列举数据库、建表、查询表数据等方面的兼容性。客户端与 AnalyticDB for MySQL 兼容...
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
云数据库ClickHouse 提供无感数据集成（Zero-ETL）功能，用于将RDS MySQL数据同步至 云数据库ClickHouse，您无需搭建或维护数据同步链路，且数据同步链路不收费，减少数据传输成本和运维成本。方案概述 在大数据时代，企业面临着大量分散在...
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的...
数据同步 MyBase 提供主流开源数据库同步工具，支持MySQL全量、增量数据同步。同时方便用户一键接入商业的数据库复制服务，提供性能更好、功能更强大的体验。节点管理 MyBase 的节点管理功能，可以查看、编辑管控和引擎内核部署的节点规格...
任务监控与定位处理 数据建模：智能数据建模 智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台...
简介 数据抽取是指通过代码或者数据导出工具，从 PolarDB-X 中批量读取数据的操作。主要包括以下场景：通过数据导出工具将数据全量抽取到下游系统。PolarDB-X 支持多种数据导出工具，更多内容请参考 数据导入导出。在应用内处理数据或者...
架构图 MyBase on ECS MyBase on ACK 架构说明 云数据库专属集群MyBase开放版 由四类产品组成：社区开源产品 集成社区开源数据库引擎和管控工具，例如MySQL，Orchestrator、Prometheus等。MyBase开源增强 MyBase给予开源社区版本的组件，...
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
例如，您可以分配一个计算组用来执行查询分析，另外一个计算组用来做ETL数据处理，从而保障查询和ETL互不干扰，各自按需使用隔离的计算资源。跨部门协同分析：支持多个业务部门能够共享数据资产，为各业务部门分配不同的计算组进行查询分析...
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
您无需额外部署和维护ETL工具，即可实现数据同步，并将搜索分析负载与在线事务处理负载隔离。说明 当前功能目前正处于灰度阶段。如您有相关需求，请 提交工单 与我们联系，以便为您开启该功能。功能简介 AutoETL是 PolarDB MySQL版 内置的...
数据同步服务：您可以通过 数据集成（DataWorks）任务，提取、转换、加载（ETL）数据到MaxCompute。数据投递：您可以通过DataHub、SLS、Kafka版服务的MaxCompute Sink Connector、Blink 将数据投递至MaxCompute。开源工具及插件：您可以...
抽取策略 快速抽取：抽取元数据时只扫描每个文件的部分数据，抽取作业消耗时间较短，抽取结果准确性低于全量抽取，您可以在元数据编辑中调整元数据信息。全量抽取：抽取元数据时扫描全量数据文件，在数据规模比较大时，作业消耗时间长，...
Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。背景信息 EMR Flink完全兼容开源Flink，相关内容请参见...
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
该方案优势如下：全托管免运维 弹性扩展能力 开放数据湖架构 一站式的数据开发平台 数据查询与分析场景 在传统数据平台下，数据仓库工程师和数据分析师通常面临两个不同的环境，甚至使用不同的引擎和语法，导致数据指标和算子行为存在差异...
数据开发 任务编排 任务编排主要用于编排各类任务并进行调度执行。您可以通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。更多信息，请参见 概述。数仓开发 数仓开发主要用于沉浸式数据仓库开发，您可以...
功能优势 简单易用：用户无需创建和维护复杂的ETL数据管道，只需选择源端数据和目标端实例，即可自动构建实时数据同步链路。大幅降低数据管道的构建和管理难度，让用户专注于上层应用开发。零成本：Zero-ETL链路不额外收费，可免费实现对...
HBase Shell 黑屏工具 数据查询 集群管理系统内支持图形化SQL交互查询，请参见 数据查询，也支持使用开源工具HBase Shell/CQLsh。HBase Shell CQLsh 生态体系 数据搬迁 支持与HBase/Cassandra各个版本之间的在线、跨版本、自动化、高效搬迁...
使用场景 离线ETL 离线ETL主要应用于数据仓库，对大规模的数据进行抽取（Extract）、转换（Transform）和加载（Load），其特点是数据量大，耗时较长，通常设置为定时任务执行。在线数据分析（OLAP）在线数据分析主要应用于BI（Business ...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
集群类型 Data Science：主要面向大数据+AI场景，提供Hive和Spark离线大数据ETL和TensorFlow模型训练，您可以选择CPU+GPU的异构计算框架，通过英伟达GPU对部分深度学习算法进行高性能计算。产品版本 默认最新的软件版本。组件版本 展示集群...
数据分析 SQL查询 第三方工具 数据库管理工具 通过数据库管理工具连接MaxCompute，目前主要支持DBeaver、DataGrip、SQL Workbench/J。数据库管理工具 ETL工具连接 通过ETL工具连接MaxCompute并进行开发作业调度，目前主要支持Kettle、...
随着EMR支持Hologres和MaxCompute数据源，您可以：高效访问在线数据：直接使用在线数据进行大数据分析，无需导出Hologres和MaxCompute中的数据至OSS等中心化存储，从而避免了导出数据可能引起的数据丢失和安全问题，同时还提高了数据处理和...
本文介绍了通过ETL资源组访问Lindorm宽表引擎和列存数据的方法，包括环境配置、数据源切换、数据操作等步骤。前提条件 已安装Java环境，要求安装JDK 1.8及以上版本。已开通Lindorm 宽表引擎。已开通Lindorm 计算引擎。已将客户端IP地址添加...
云数据库RDS提供无感数据集成（Zero-ETL）功能，用于将RDS数据同步至数据仓库（AnalyticDB PostgreSQL），您无需搭建或维护数据同步链路，且数据同步链路不收费，减少数据传输成本和运维成本。支持地域 华北2（北京）、华东1（杭州）、华东...
为满足企业处理实时数据的需求，ETL提供了流式数据抽取、加工和加载功能，能够高效整合海量实时数据，支持拖拽式操作和低代码开发方式，帮助企业轻松完成商业决策分析、报表提速、实时数据计算等。企业在数字化转型过程中，涉及实时数据...
EMR-3.42及后续版本或EMR-5.8.0及后续版本的集群，支持OSS-HDFS（JindoFS服务）作为数据存储，提供缓存加速服务和Ranger鉴权功能，使得在Hive或Spark等大数据ETL场景将获得更好的性能和HDFS平迁能力。本文为您介绍E-MapReduce（简称EMR）...
阿里云开放的大数据平台 E‑MapReduce(EMR)提供了多种产品形态，以满足不同用户的业务需求。根据部署方式可分为 EMR Serverless Spark、EMR Serverless StarRocks、EMR on ECS 和 EMR on ACK。为帮助用户选择合适的产品，以下整理了各产品...