360 大数据集群

_相关内容

EMR Doctor概述

E-MapReduce Doctor(简称EMR Doctor)是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor(即集群管理页面的“健康检查”功能)可以全局了解集群的健康状况和动态走势,为运维决策和资源优化提供有力的信息...

EMR+DLF数据湖解决方案

步骤三:初始化数据 初始化数据一般常见的几种情况如下:已有大数据集群,需要进行数据迁移,此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据,此时可以考虑通过实时计算Flink实现...

新功能发布记录

2024-03-14 管理尽力交付 2023年 2023年10月 功能名称 功能概述 发布时间 相关文档 EMR正式支持倚天云服务器 阿里云E-MapReduce(简称EMR)支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下,具有更高的性...

创建集群

本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置,帮助您快速搭建和管理大数据集群。说明 如果您在2022年12月19日17点(UTC+8)以后第一次创建EMR集群,则不能选择Hadoop、Data Science、Presto、Zookeeper集群类型。前提条件 已...

数据集群

E-MapReduce(简称EMR)新版控制台提供了数据集群,一个更灵活、可靠,以及高效的大数据计算集群。同时,您可以基于该集群轻松构建一个可扩展的数据管道。本文为您介绍数据集群支持的特性,以及与旧版Hadoop集群之间的差异。数据集群...

功能特性

分布式事务引擎 OceanBase 数据库的分布式事务引擎严格支持事务的 ACID 属性,并且在整个集群内严格支持数据强一致性,是全球唯一一家通过了标准 TPC-C 测试的原生分布式关系型数据库产品。OceanBase 数据库通过 Paxos 协议将事务日志复制...

实现开发生产等多套环境隔离

背景信息 很多企业用户在大数据的研发流程中有创建并隔离多套环境的需求,如创建并完全隔离开发、测试、生产环境,即各环境的数据物理存储地址、任务运行集群大数据作业脚本均隔离,并对操作人员有严格的权限管控,如仅运维团队可使用...

什么是EMR on ACK

您可以将开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式,以...

什么是EMR on ECS

EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合,使得您可以更加灵活地配置和管理EMR集群,从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS,您可以快速创建、管理和运维EMR集群,同时也能够更加高效地使用计算和...

数据导入Serverless实例

大量数据从HBase集群导入Serverless集群 由于Serverless实例的写入受到购买CU数的限制,如果大量的数据直接通过API写入Serverless实例可能会花费过多时间和消耗过多CU(根据购买CU量的多少,几十GB,几百GB,或者上TB的数据可以定义为大量...

集群版-单副本

使用场景 数据量较 集群版可以有效地扩展数据规模量大小,相比标准版可提供更的存储量,例如64 GB、128 GB、256 GB集群版,可以有效的满足数据扩展需求。纯缓存应用 单副本集群版的分片服务器由单节点组成,分片服务器某节点出现故障时...

配置StarRocks集群以访问高可用数据集群

如果您所使用的数据集群开启了高可用,那么在查询高可用集群中的HDFS数据时,您需要进行额外的配置。建议您按照本文的操作步骤来配置StarRocks集群,以实现HDFS的高可用性。前提条件 已创建包含了HDFS服务,并且开启了服务高可用的集群...

Hadoop DistCp介绍

Hadoop DistCp(分布式复制)是一个用于大型集群间或集群数据复制的工具,通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...

功能特性

EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架,以进行规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群,可以释放资源...

访问外部数据

绑定数据源 绑定数据源的本质是打通不同VPC之间的网络,即将数据集群所在VPC与目标Databricks数据洞察集群所在VPC的网络打通。数据源绑定之后,您可以在Notebook或Spark作业里直接访问对应数据源的数据。说明 对于数据源绑定场景,如果多...

概述

数据备份物理空间大小如下图所示:说明 PolarDB 集群 数据备份物理空间大小(上图中①所示):指数据备份的收费对象,物理空间大小是指所有数据备份(快照)独占的物理空间大小之和,PolarDB集群数据与多个数据备份(快照)会复用相同的...

配置StarRocks集群以访问高安全数据集群

如果您所使用的数据集群开启了Kerberos身份认证,那么在查询高安全集群数据时,您需要使用正确的Kerberos凭证进行身份验证。为了确保您具有合适的权限来访问数据,建议您按照本文的操作步骤来配置StarRocks集群。前提条件 已创建包含了HDFS...

概述

数据备份物理空间大小如下图所示:说明 PolarDB 集群 数据备份物理空间大小(上图中①所示):指数据备份的收费对象,物理空间大小是指所有数据备份(快照)独占的物理空间大小之和,PolarDB集群数据与多个数据备份(快照)会复用相同的...

CLB释放和挂载

当您在使用ClickHouse集群实例进行规模数据处理并希望确保高效负载均衡时,云数据库ClickHouse集群会默认为您挂载CLB。挂载CLB后,ClickHouse集群将实现自动故障转移,通过健康检查分配流量至正常节点,确保集群高可用。挂载CLB属于依赖...

升级数据库版本

支持升级到的数据版本 不同产品架构、不同版本的云数据库MongoDB实例支持升级到的数据版本如下:产品架构 规格类型 实例的数据版本 可升级到的数据版本 单节点架构 通用型云盘版 MongoDB 4.0 暂无更高的数据版本可升级...

集群恢复:按备份集恢复

步骤三、将新集群数据迁移到原集群 确认新集群数据之后,若您还是想继续使用原集群,您可以使用DTS将数据从新集群迁移回原集群。登录 数据传输控制台,在左侧导航栏,单击 数据迁移。在 迁移任务列表 页面顶部,选择迁移的目标集群所属...

集群性能监控下钻

背景信息 云数据库 OceanBase 为集群实例、租户和节点都提供了丰富的监控指标,有些监控指标的监控数据集群实例、租户和节点之间存在关联关系,监控下钻功能将为您提供同一指标在不同维度的数据展示,协助您快速定位到有异常的监控指标,...

整体流程和预估时间

集群恢复分为按时间点恢复和按备份集(快照)恢复,两者的差别在于要恢复至的时间点是否是备份集的时间点。如果是备份集的时间点,则可选择按备份集(快照)恢复,更方便。如果要恢复至的时间不是已有的备份集的时间点,则只能选择按时间点...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

产品简介

开源大数据开发平台E-MapReduce(简称EMR)是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

MongoDB 5.0

第三方云数据库迁移至阿里云数据库MongoDB:使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...

使用独立的Trino集群

如果要使用独立的Trino集群,需要先创建一个DataLake集群、自定义集群或Hadoop集群,或使用已有的DataLake集群、自定义集群或Hadoop集群作为数据集群。创建完独立的Trino集群后,您需要进行以下配置:配置连接器 可选:配置数据湖元数据 ...

集群恢复:按时间点恢复

步骤四、将新集群数据迁移到原集群 确认新集群数据之后,若您还是想继续使用原集群,您可以使用DTS将数据从新集群迁移回原集群。登录 数据传输控制台,在左侧导航栏,单击 数据迁移。在 迁移任务列表 页面顶部,选择迁移的目标集群所属...

DBLE与PolarDB多主集群(库表)结合使用最佳实践

使用PolarDB多主集群(库表)之后,您可以省去部分手工扩展数据集群的工作。您只需要通过控制台或OpenAPI为PolarDB多主集群(库表)增加节点即可。在业务低峰期,配合业务系统的停写,再执行 ALTER DATABASE name POLARDB_WRITE_NODE x...

购买按量付费集群

如果开启存储热备集群,PolarDB 会在当前地域内同时部署主集群(包含互备计算节点+主存储)和存储热备集群,主集群和存储热备集群各保证3副本数据(共6副本数据),具有更高的SLA可靠性保障。如果关闭存储热备集群,则仅保留主集群(3副本...

购买按量付费集群

如果开启存储热备集群,PolarDB 会在当前地域内同时部署主集群(包含互备计算节点+主存储)和存储热备集群,主集群和存储热备集群各保证3副本数据(共6副本数据),具有更高的SLA可靠性保障。如果关闭存储热备集群,则仅保留主集群(3副本...

Hadoop集群迁移至DataLake集群

本文将详细阐述如何将您已有的旧版数据集群(Hadoop),高效地迁移至数据集群(DataLake),以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式,并针对这些因素,提供适应新集群的迁移策略...

全球数据库常见问题

如果从集群与主集群规格相差较,当主集群写入压力增大时,从集群同步数据,IOPS到达瓶颈时会造成主从同步延时增大,建议升级从集群规格与主集群对齐。GDN集群如何进行主从切换?GDN集群进行主从切换的具体操作请参见 切换主集群、...

API概览

空间分析 API 标题 API概述 DescribeDBClusterSpaceSummary 查看集群的空间概览 查看实例的空间概览信息,包括总数据量、热数据量、冷数据量、数据增长量等。运维管理 API 标题 API概述 ModifyDBClusterMaintainTime 修改可维护时间段 修改...

API概览

CreateDataCenter 调用CreateDataCenter为集群添加数据中心。DeleteCluster 调用DeleteCluster删除指定ID集群。DescribeCluster 调用DescribeCluster查询Cassandra实例的详细信息。DescribeClusters 调用DescribeClusters查询指定地域下的...

跨地域灾备

功能说明 MaxCompute提供便捷的跨地域灾备功能,允许您直接在云端将数据从源集群(主集群)备份至目标集群(备份集群),无需借助外部存储迁移数据。此数据备份持续进行,可以保证重要数据在另一个地域也存在一份备份。同时MaxCompute统一...

HDFS与ClickHouse间的数据导入与导出

本文为您介绍如何将HDFS中的数据导入至ClickHouse集群以及如何从ClickHouse集群导出数据到HDFS。前提条件 已创建Hadoop集群,详情请参见 创建集群。已创建ClickHouse集群,详情请参见 创建ClickHouse集群。注意事项 本文代码示例中HDFS URL...

创建与释放全球多活数据库集群

本文介绍如何创建和释放RDS全球多活数据集群。前提条件 已 授权全球多活数据集群访问云资源。当前阿里云账户中的余额必须大于等于100 元。已创建 RDS MySQL 实例,后续用作中心节点。创建方式,请参见 快速创建RDS MySQL实例。说明 ...

QlikView

本文介绍如何通过QlikView连接 AnalyticDB MySQL 集群并通过QlikView构建BI系统。前提条件 安装ODBC MySQL Driver,建议您使用MySQL Connector/ODBC 3.5.1或5.3版本。安装QlikView 11.20.x版本。通过QlikView连接AnalyticDB MySQL 在安装...

手动续费专属集群

数据传输服务DTS(Data Transmission Service)是一种预付费服务,专属集群到期后会造成专属集群数据(含运行在专属集群的任务)被删除且不可恢复。为了避免专属集群数据因到期而被删除,您可以选择手动完成续费或者开通自动续费功能。...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用