E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
2024-03-14 管理尽力交付 2023年 2023年10月 功能名称 功能概述 发布时间 相关文档 EMR正式支持倚天云服务器 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性...
E-MapReduce（简称EMR）新版控制台提供了数据湖集群，一个更灵活、可靠，以及高效的大数据计算集群。同时，您可以基于该集群轻松构建一个可扩展的数据管道。本文为您介绍数据湖集群支持的特性，以及与旧版Hadoop集群之间的差异。数据湖集群...
分布式事务引擎 OceanBase 数据库的分布式事务引擎严格支持事务的 ACID 属性，并且在整个集群内严格支持数据强一致性，是全球唯一一家通过了标准 TPC-C 测试的原生分布式关系型数据库产品。OceanBase 数据库通过 Paxos 协议将事务日志复制...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和...
大量数据从HBase集群导入Serverless集群 由于Serverless实例的写入受到购买CU数的限制，如果大量的数据直接通过API写入Serverless实例可能会花费过多时间和消耗过多CU（根据购买CU量的多少，几十GB，几百GB，或者上TB的数据可以定义为大量...
E-MapReduce配置选型不仅要考虑企业大数据使用场景、估算数据量、服务可靠性要求，还应该考虑企业预算。大数据使用场景 E-MapReduce各集群的场景和核心组件如下表。说明 具体各集群类型支持的组件以控制台实际展示为准。集群类型 场景介绍 ...
数据传输服务DTS（Data Transmission Service）支持将 PolarDB MySQL版 集群同步至ClickHouse集群，帮助您轻松实现数据的流转，将企业数据集中分析。前提条件 已创建20.8及以上版本的目标ClickHouse集群，详情请参见 新建集群。说明 ...
数据传输服务DTS（Data Transmission Service）支持将 PolarDB MySQL版 集群迁移至ClickHouse集群，帮助您实现数据地流转，将企业数据集中分析。前提条件 已创建20.8及以上版本的目标ClickHouse集群，详情请参见 新建集群。说明 ClickHouse...
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
大数据计算企业：大规模数据计算、高性能数据处理、高弹性需求等类型业务，对集群稳定性、性能和效率有较高要求。开展中国业务的海外企业：对有赔付标准的SLA以及安全隐私等非常重视。金融企业：需要提供赔付标准的SLA。功能特点 更可靠的...
如果您所使用的数据集群开启了高可用，那么在查询高可用集群中的HDFS数据时，您需要进行额外的配置。建议您按照本文的操作步骤来配置StarRocks集群，以实现HDFS的高可用性。前提条件 已创建包含了HDFS服务，并且开启了服务高可用的集群...
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
大数据计算企业：大规模数据计算、高性能数据处理、高弹性需求等类型业务，对集群稳定性、性能和效率有较高要求。开展中国业务的海外企业：对有赔付标准的SLA以及安全隐私等非常重视。金融企业：需要提供赔付标准的SLA。功能特点 更可靠的...
绑定数据源 绑定数据源的本质是打通不同VPC之间的网络，即将数据源集群所在VPC与目标Databricks数据洞察集群所在VPC的网络打通。数据源绑定之后，您可以在Notebook或Spark作业里直接访问对应数据源的数据。说明 对于数据源绑定场景，如果多...
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
PolarDB MySQL版 企业版和标准版在功能上有很多差异，可分为集群管理、弹性管理、高性能、备份与恢复、高可用性、高安全、连接管理、高性价比、监控与优化、DB for AI、数据迁移&同步等11个类别。本文为您介绍这两个版本的功能区别，帮助您...
如果您所使用的数据集群开启了Kerberos身份认证，那么在查询高安全集群数据时，您需要使用正确的Kerberos凭证进行身份验证。为了确保您具有合适的权限来访问数据，建议您按照本文的操作步骤来配置StarRocks集群。前提条件 已创建包含了HDFS...
当您在使用ClickHouse集群实例进行大规模数据处理并希望确保高效负载均衡时，云数据库ClickHouse集群会默认为您挂载CLB。挂载CLB后，ClickHouse集群将实现自动故障转移，通过健康检查分配流量至正常节点，确保集群高可用。挂载CLB属于依赖...
如果要使用独立的Trino集群，需要先创建一个DataLake集群、自定义集群或Hadoop集群，或使用已有的DataLake集群、自定义集群或Hadoop集群作为数据集群。创建完独立的Trino集群后，您需要进行以下配置：配置连接器 可选：配置数据湖元数据 ...
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群迁移至Kafka集群，扩展消息处理能力。前提条件 已创建目标自建Kafka集群实例或 阿里云消息队列Kafka版 实例。说明 若目标实例为 阿里云消息队列...
Quick BI是一款专为云上用户和企业量身打造的新一代自助式智能BI服务平台，其简单易用的可视化操作和灵活高效的多维分析能力，让精细化数据洞察为商业决策保驾护航。您可以使用外网或VPC网络连接 云数据库ClickHouse，在Quick BI中添加 云...
通过集群恢复方式，可以恢复整个集群的数据。集群恢复分为按时间点恢复和按备份集（快照）恢复，两者的差别在于要恢复至的时间点是否是备份集的时间点。如果是备份集的时间点，则可选择按备份集（快照）恢复，更方便。如果要恢复至的时间...
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
如创建并完全隔离开发、测试、生产环境，即各环境的数据物理存储地址、任务运行集群、大数据作业脚本均隔离，并对操作人员有严格的权限管控，如仅运维团队可使用生产环境，开发人员只能使用开发环境等要求。本文以使用DataWorks、EMR、OSS...
步骤三、将新集群的数据迁移到原集群 确认新集群的数据之后，若您还是想继续使用原集群，您可以使用DTS将数据从新集群迁移回原集群。登录 数据传输控制台，在左侧导航栏，单击 数据迁移。在 迁移任务列表 页面顶部，选择迁移的目标集群所属...
通过集群管理系统，您可以查看集群的基本信息，完成数据管理、数据查询、集群管理等操作。同时，集群管理系统提供了集群监控和健康检查功能，支持通过系统查看集群、分组、节点、命名空间和表等多个层面的监控信息，有利于快速定位热点和...
说明 由于数据同步至只读节点存在一定延迟，不适用于数据一致性要求高的场景，如对数据一致性要求高建议选用集群架构。说明 集群架构可选择不同的连接模式：代理模式：客户端的请求由代理节点转发至数据分片，可享受代理节点带来的负载均衡...
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
使用PolarDB多主集群（库表）之后，您可以省去大部分手工扩展数据库集群的工作。您只需要通过控制台或OpenAPI为PolarDB多主集群（库表）增加节点即可。在业务低峰期，配合业务系统的停写，再执行 ALTER DATABASE name POLARDB_WRITE_NODE x...
注意事项 目前仅支持在源集群上查询目标集群数据，不支持在目标集群上查询源集群数据。参数配置 PolarDB PostgreSQL版（兼容Oracle）提供了 polar_enable_pushable_unsafe_collate_remote 和 polar_enable_pushable_all_any_remote 参数，...
创建 PolarDB PostgreSQL版 数据库集群后，您需要设置PolarDB集群的IP白名单，并创建集群的初始账号，才能连接和使用该集群。注意事项 默认情况下，IP白名单只包含IP地址127.0.0.1，表示任何IP地址均无法访问该数据库集群。若将IP白名单...
创建 PolarDB PostgreSQL版（兼容Oracle）集群后，您需要设置PolarDB集群的IP白名单，并创建集群的初始账号，才能连接和使用该集群。注意事项 默认情况下，IP白名单只包含IP地址 127.0.0.1，表示任何IP地址均无法访问该数据库集群。若将IP...
使用场景 数据量较大 集群版可以有效地扩展数据规模量大小，相比标准版可提供更大的存储量，例如64 GB、128 GB、256 GB集群版，可以有效的满足数据扩展需求。纯缓存应用 单副本集群版的分片服务器由单节点组成，分片服务器某节点出现故障时...