Data Collector是MaxCompute主要开源数据采集工具的集合，包括：Flume插件 OGG插件 Sqoop Kettle插件 Hive Data Transfer UDTF Flume和OGG插件是基于DataHub的SDK实现，而Sqoop、Kettle以及Hive Data Transfer UDTF是基于Tunnel的SDK实现。...
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
数据同步 MyBase 提供主流开源数据库同步工具，支持MySQL全量、增量数据同步。同时方便用户一键接入商业的数据库复制服务，提供性能更好、功能更强大的体验。节点管理 MyBase 的节点管理功能，可以查看、编辑管控和引擎内核部署的节点规格...
专项报表：提供风险综合分析报告、风险分布统计报告、数据库概要分析报告等多个专项报表，满足您多种数据报表需求。查看报表 登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 报表中心 目录下您需要查看的...
架构图 MyBase on ECS MyBase on ACK 架构说明 云数据库专属集群MyBase开放版 由四类产品组成：社区开源产品 集成社区开源数据库引擎和管控工具，例如MySQL，Orchestrator、Prometheus等。MyBase开源增强 MyBase给予开源社区版本的组件，...
HBase Shell 黑屏工具 数据查询 集群管理系统内支持图形化SQL交互查询，请参见 数据查询，也支持使用开源工具HBase Shell/CQLsh。HBase Shell CQLsh 生态体系 数据搬迁 支持与HBase/Cassandra各个版本之间的在线、跨版本、自动化、高效搬迁...
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
云数据库 SelectDB 版 支持接入多种可视化工具，以满足不同业务场景的需求。本文为您提供 SelectDB 数据可视化工具的对比与选型指南，助您快速找到最适合的工具。可视化工具 典型适用场景 工具优点 工具缺点 文档链接 Quick BI 数据整合与...
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
MyBase开放版 支持开源数据库引擎MySQL，支持主流开源管控工具，例如Orchestrator、Prometheus等工具。MyBase开放版 提供了 on ECS 和 on ACK 多种形态，以满足您不同场景下的需求。形态 说明 MyBase on ECS MyBase 可以将开源数据库引擎及...
告警对象分析 规则命中分析 客户端工具分析 数据库账号分析 数据库/SID分析 数据库访问来源IP分析 审计趋势分析 执行次数最多SQL模板分析 报表格式 选择要订阅的报表的格式，取值：HTML PDF PNG WORD 资产 选择要订阅报表的数据库资产和...
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
报表中心功能通过综合分析表、合规分析报表、性能分析报表、安全运营分析报表、数据库业务和会话分析表，展示您数据库资产的审计情况和安全风险的分析结果。您可以根据业务需要使用对应的报表。本文介绍支持的报表类型，以及如何通过报表...
针对数据仓库和BI分析场景，通过SQL编辑器提供低门槛的数据查询与报表开发功能，同时兼容传统数据仓库的使用习惯场景。在人工智能与数据科学领域，集成了支持Python环境管理和交互式机器学习开发的Notebook功能。其设计理念是打造一个统一...
云原生多模数据库 Lindorm 基于存储计算分离、多模共享融合的云原生架构，具备弹性伸缩、低成本、简单易用、开放、稳定等优势，适合元数据、日志、账单、标签、消息、报表、维表、结果表、Feed流、用户画像、设备数据、监控数据、传感器...
适用场景 OLAP 多维分析：支持灵活的多维分析与即席查询（Ad Hoc），广泛应用于运营报表、用户画像、指标中台、BI 分析等场景，助力数据驱动决策。实时数据仓库：秒级数据摄入与更新，适用于实时库存监控、订单追踪、用户行为分析、实时风...
EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多增强功能与服务优势。前置概念 ...
StarRocks兼容MySQL协议，可使用MySQL客户端和常用BI工具对接StarRocks来分析数据。StarRocks采用分布式架构：对数据表进行水平划分并以多副本存储。集群规模可以灵活伸缩，支持10 PB级别的数据分析。支持MPP框架，并行加速计算。支持多...
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
用户可以创建Relational Cache对数据进行预计算，在执行用户查询时，Spark Optimizer自动发现合适的Cache，并改写SQL执行计划，基于Cache的数据继续计算，从而提升查询速度，适用于报表、Dashboard、数据同步和多维分析等场景。通过DDL，...
会话线索 支持根据时间、客户端IP、客户端端口、服务端IP、服务端端口、数据库账号、资产信息、数据库实例、客户端工具、数据库类型、主机名等多角度分析会话。详细语句线索 支持根据时间、报文检索、资产信息、数据库账号、SQL模板、客户...
核心能力 Lindorm具备弹性、低成本、简单易用、开放、稳定等优势，适合元数据、日志、账单、标签、消息、报表、维表、结果表、Feed流、用户画像、设备数据、监控数据、传感器数据、小文件、小图片等数据的存储和分析，其核心能力包括：核心...
Spark Thrift Server会话：Spark Thrift Server是Apache Spark提供的一种服务，支持通过JDBC或ODBC连接并执行SQL查询，从而便捷地将Spark环境与现有的商业智能（BI）工具、数据可视化工具及其他数据分析工具集成。相关文档 管理SQL会话 ...
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 E-MapReduce 版本号 说明 2021-03-20 推荐使用。EMR Workbench 版本号 说明 2024-04-30 推荐使用...
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
构建资源和环境配置对等的云原生多模数据库 Lindorm和开源社区版HBase，基于相同的性能测试工具和测试方法，一键开启测试任务，直观展示对比结果，带您所见即所得地感受Lindorm和开源社区版HBase在 吞吐性能 和 P99时延 两方面的对比。...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
开源全托管服务EMR Serverless StarRocks 开源大数据平台 E-MapReduce 开源全托管服务EMR Serverless Spark 数据中台 一站式大数据开发治理DataWorks 在本案例中，DataWorks作为数据中台，用于对原始数据进行同步、加工、质量监控、数据...
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
启动Spark Shell Spark的Shell作为一个强大的交互式数据分析工具，提供了一个简单的方式学习API。Spark既可以使用Scala，也可以使用Python。您可以按照以下操作步骤来启动Spark Shell。使用SSH方式登录集群的Master节点，详情请参见 登录...
在账单详情页签中，设置 账单月份，并在列表中筛选产品为 开源大数据平台 E-MapReduce，然后基于您的实际需求选择产品明细。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细内容，可参见费用与成本的 账单管理。相关文档 ...
2023年6月1日起，E-MapReduce Serverless StarRocks服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...