Pentaho Kettle 数据集成软件：开源的ETL工具。支持将数据先通过Kettle导入到本地磁盘，再通过COPY或OSS导入到 AnalyticDB PostgreSQL版。也支持将OSS存储挂载为本地虚拟磁盘，通过Kettle导入到此磁盘，最后通过 AnalyticDB PostgreSQL版 ...
Kettle（Tunnel通道系列）Kettle是一款开源的ETL工具，纯Java实现，可以在Windows、Unix和Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。详情请参见 基于Kettle的MaxCompute插件实现数据上云。...
背景信息 Kettle是一款开源的ETL工具，纯Java实现，可以运行于Windows、Unix、Linux操作系统，为您提供图形化的操作界面。Kettle支持丰富的输入输出数据源，数据库支持Oracle、MySQL、DB2等，也支持各种开源的大数据系统，例如HDFS、HBase...
以下列出了 AnalyticDB MySQL版 支持的客户端或ETL工具，以及这些客户端或工具与 AnalyticDB MySQL版 在数据库连通性、列举数据库、建表、查询表数据等方面的兼容性。客户端与 AnalyticDB MySQL版 兼容性 客户端 连接数据库 列举数据库 建...
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
阿里云CLI 支持 阿里云命令行工具（Alibaba Cloud Command Line Interface）是在Alibaba Cloud SDK for Go之上构建的开源工具。阿里云CLI提供了对阿里云云产品OpenAPI的直接访问。您可以在命令行Shell中，使用 aliyun 命令与阿里云服务进行...
HBase Shell 黑屏工具 数据查询 集群管理系统内支持图形化SQL交互查询，请参见 数据查询，也支持使用开源工具HBase Shell/CQLsh。HBase Shell CQLsh 生态体系 数据搬迁 支持与HBase/Cassandra各个版本之间的在线、跨版本、自动化、高效搬迁...
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
Lindorm流引擎完全兼容开源Kafka API，您可以通过Kafka脚本工具连接Lindorm流引擎，本文介绍如何通过开源Kafka脚本工具连接Lindorm流引擎。前提条件 已安装Java环境，要求安装JDK 1.7及以上版本。已将脚本部署实例IP地址添加至Lindorm实例...
兼容开源Milvus生态 全面兼容开源Milvus系统，提供了Attu等丰富的开源管理工具，更拥有丰富且活跃的生态社区资源。产品功能 构建企业级全托管的可扩展 AI 向量数据库相似性检索服务 高可用性 致力于为客户提供优质的产品体验，基于阿里云...
本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的...
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
广泛生态兼容 支持主流BI、ETL工具。通过PostGIS插件支持地理信息数据分析，MADlib库内置超过300个机器学习算法库。数据互联互通 支持通过DTS、DataWorks等工具，同多种数据源同步；支持高并行访问OSS，构筑数据湖分析。产品架构 云原生...
Data Collector是MaxCompute主要开源数据采集工具的集合，包括：Flume插件 OGG插件 Sqoop Kettle插件 Hive Data Transfer UDTF Flume和OGG插件是基于DataHub的SDK实现，而Sqoop、Kettle以及Hive Data Transfer UDTF是基于Tunnel的SDK实现。...
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
提交作业的详细信息请参见：提交Spark作业 使用CLI提交Presto作业 提交Flink作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过kubectl工具连接集群。新建 spark-pi.yaml 文件，文件内容如下。apiVersion:...
EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多增强功能与服务优势。StarRocks...
SGX-Device-Plugin SGX-Device-Plugin 迁移 Derrick 开源S2I工具，通过探测的机制，一键生成Dockerfile与模板。Derrick Derrick Velero Velero是一个云原生的集群应用备份、恢复和迁移工具。Velero-Plugin Velero-Plugin Image Build ...
Attu是一款专为Milvus向量数据库打造的开源数据库管理工具，提供了便捷的图形化界面，极大地简化了对Milvus数据库的操作与管理流程。阿里云Milvus集成了Attu，以便更加高效地管理数据库、集合（Collection）、索引（Index）和实体（Entity...
Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 Hadoop DistCp 开源Hadoop内置的DistCp工具，用于大型集群间或集群内数据的复制。HDFS到HDFS间的数据复制。Jindo DistCp JindoFS的数据迁移工具，支持OSS、OSS-HDFS服务、兼容...
PolarDB-X 坚定以兼容MySQL开源生态，从SQL语法、事务行为、生态工具等多个维度都做了深度兼容，应用无需或者修改少量代码即可从MySQL迁移到 PolarDB-X。金融级高可用 PolarDB-X 采用数据多副本架构，为了保证副本间的强一致性（RPO=0），...
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
监控诊断 根据开源体系自行探索和开发，自行集成诊断工具和维护服务端，并搭建报警渠道。根据开源体系自行探索和开发，自行集成诊断工具和维护服务端，并搭建报警渠道。提供系统级别监控、应用级别和调用链监控。提供应用诊断功能。支持...
OpenLDAP是一种开源软件，您可以使用OpenLDAP提供的命令行工具ldapadd、ldapdelete、ldapmodify等来管理用户，使用ldif文件进行用户管理。这种方式需要参考OpenLDAP开源社区的文档来进行操作。开源文档请参见 OpenLDAP。
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
构建资源和环境配置对等的云原生多模数据库 Lindorm和开源社区版HBase，基于相同的性能测试工具和测试方法，一键开启测试任务，直观展示对比结果，带您所见即所得地感受Lindorm和开源社区版HBase在 吞吐性能 和 P99时延 两方面的对比。...
说明 本文图片和部分内容来源于开源StarRocks的 使用Apache Spark批量导入。基本概念 Spark ETL：在导入流程中主要负责数据的ETL工作，包括全局字典构建（BITMAP类型）、分区、排序和聚合等。Broker：是一个独立的无状态进程。封装了文件...
说明 本文图片和部分内容来源于开源StarRocks的 导入总览。注意事项 向StarRocks导入数据时，通常会采用程序对接的方式。以下是导入数据时的一些注意事项：选择合适的导入方式：根据数据量大小、导入频次或数据源所在位置选择导入方式。...
说明 本文图片和部分内容来源于开源StarRocks的 导入总览。注意事项 向StarRocks导入数据时，通常会采用程序对接的方式。以下是导入数据时的一些注意事项：选择合适的导入方式：根据数据量大小、导入频次或数据源所在位置选择导入方式。...
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
栅格数据入库 Pipeline技术 Pipeline模型是DLA Ganos基于GeoTrellis开源项目开发的用于栅格数据快速加载、处理和入库的ETL技术。Pipeline模型包含了一系列功能模块：如读取数据（Load），转换（Transform），保存数据（Save）等。DLA Ganos...
高扩展性 基于阿里云Serverless底座，提供资源弹性能力，满足ETL作业突发高峰的同时，进一步降低实际计算资源成本。高扩展性 提供资源和任务实例级别的可观测指标以及告警能力。高安全性 基于阿里云专有网络（VPC）部署，提供专有网络访问...
本文通过案例为您介绍如何使用ETL实现实时订单分析。应用场景 为满足企业处理实时数据的需求，ETL提供了流式数据抽取、加工和加载功能，能够高效整合海量实时数据，支持拖拽式操作和低代码开发方式，帮助企业轻松完成商业决策分析、报表...
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。重要 已经创建好的EMR集群不支持组件升级。...