内部开源

_相关内容

EMR Serverless StarRocks服务等级协议更新

开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订,并将于2024年03月01日生效。当前服务等级协议详情,请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks(标准版)...

访问Web UI

访问开源组件的Web UI。单击上方的 访问链接与端口 页签。在 访问链接与端口 页面,单击服务所在行的链接,即可正常的访问Web UI页面。常见问题 问题描述:ACK集群未安装Ingress组件,该如何处理?解决方法:访问Web UI,需要ACK集群具备...

Trino概述

Trino(即原PrestoSQL)是一个开源的分布式SQL查询引擎,适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino,之前各版本控制台显示为Presto,内核其实是Trino,使用时请注意区分。基本特性 Trino使用Java语言...

Impala Web UI

访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是,Master节点必须具备公网IP地址,并且只允许对Catalogd和...

版本说明

新增入参:MinIncreaseNodeCount 变更时间:2023-12-12 变更集发布说明:OpenAPI 名称 变更内容概要 操作 ListClusters API 内部配置变更,不影响调用。查看API变更历史 查看API文档 变更项 变更内容 API 内部配置变更,不影响调用。变更...

Workflow商业化发布

EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行提供保障。产品文档 ...

HDFS服务日志

hadoop-hdfs-zkfc-*.log ZKFC的进程运行日志,包含ZKFC的内部日志。zkfc-gc.log.0.current ZKFC的JVM GC日志,EMR-5.8.0及之后版本、EMR-3.43.0及之后版本开始支持。NameNode hadoop-hdfs-namenode-*.out NameNode的进程启动日志,部分启动...

什么是EMR Serverless Spark

高性能 基于Fusion Engine(Spark Native Engine),性能体验最高可达开源Spark的2倍。高扩展性 基于阿里云Serverless底座,提供资源弹性能力,满足ETL作业突发高峰的同时,进一步降低实际计算资源成本。高扩展性 提供资源和任务实例级别的可...

Presto概述

产品优势 E-MapReduce(简称EMR)中的Presto与开源Presto比较,还具备如下优势:即买即用,快速完成上百节点的Presto集群搭建。弹性扩缩容,简单快速。与EMR软件栈完美结合,支持DLF和OSS或OSS-HDFS。无需运维,EMR提供一站式服务。基本...

Flink(VVR)作业配置

EMR-3.27.x及之前版本使用Flink社区开源版本,EMR-3.27.x之后版本使用完全兼容开源Flink的企业版(VVR)。本文介绍如何配置Flink(VVR)类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品,拥有全球统一商业化品牌。VVR提供...

EMR-3.28.x版本说明

更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform,基于开源Flink 1.10深度定制,提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...

Delta Lake概述

开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性,例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性,并对比EMR-Delta Lake与开源Delta Lake(0.6.1)。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...

什么是EMR on ACK

您可以将开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式,以...

概述

JindoSDK:为EMR各种开源计算引擎提供统一的SDK,支持Java、C、C++和Python语言,提供多种访问和API接口,包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集:提供相关的工具集,例如Jindo tool和迁移工具Jindo DistCp。各种...

Hadoop DistCp介绍

Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 Hadoop DistCp 开源Hadoop内置的DistCp工具,用于大型集群间或集群内数据的复制。HDFS到HDFS间的数据复制。Jindo DistCp JindoFS的数据迁移工具,支持OSS、OSS-HDFS服务、兼容...

CreateReport

内部错误。503 ServiceFailure The request has failed due to a temporary failure of%s service.依赖的阿里云其他服务不可用。503 ServiceUnavailable The request has failed due to a temporary failure of the server.请求超时或者...

CancelJobRun-终止Spark任务

调用CancelJobRun终止正在运行的Spark任务。调试 您可以在OpenAPI Explorer中直接运行该接口,...变更历史 变更时间 变更内容概要 操作 2024-05-17 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响调用。

GetApmData

内部错误。503 ServiceFailure The request has failed due to a temporary failure of%s service.依赖的阿里云其他服务不可用。503 ServiceUnavailable The request has failed due to a temporary failure of the server.请求超时或者...

Hive内存参数调整

注意事项 如果集群创建时使用数据湖(DLF)统一元数据,则集群内部的HiveMetaStore服务处于未启用状态。关于不同元数据的更多信息,请参见 Hive元数据说明。调整Hive内存参数 在集群Hive组件页面,单击 配置,输入配置项名称进行修改。调整...

TagResources-打标签

变更历史 变更时间 变更内容概要 操作 2023-10-23 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响调用。2021-10-12 OpenAPI 错误码发生变更 看变更集 变更项 变更内容 错误码 OpenAPI 错误码发生变更。...

基本概念

本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合,为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...

QueryApmGrafanaData

内部错误。503 ServiceFailure The request has failed due to a temporary failure of%s service.依赖的阿里云其他服务不可用。503 ServiceUnavailable The request has failed due to a temporary failure of the server.请求超时或者...

Catalog概述

基本概念 内部数据:保存在StarRocks中的数据。外部数据:保存在外部数据源(例如Apache Hive、Apache Iceberg和Apache Hudi)中的数据。Catalog StarRocks 2.3及以上版本支持Catalog功能,方便您轻松访问并查询存储在各类外部源的数据。...

EMR on ACK商业化公告

您可以将开源大数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后,将根据集群...

JoinResourceGroup-加入资源组

将一个EMR资源加入目标资源组。一个资源只能属于一个资源组。调试 您可以在OpenAPI Explorer中...变更历史 变更时间 变更内容概要 操作 2023-12-07 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响调用。

QueryApmComponents

内部错误。503 ServiceFailure The request has failed due to a temporary failure of%s service.依赖的阿里云其他服务不可用。503 ServiceUnavailable The request has failed due to a temporary failure of the server.请求超时或者...

E-MapReduce Serverless服务等级协议(SLA)

2023年6月1日起,E-MapReduce Serverless服务等级协议(SLA)生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。

Kafka Manager

操作步骤 使用SSH隧道方式访问Web页面,详情请参见 通过SSH隧道方式访问开源组件Web UI。说明 建议您首次使用Kafka Manager时修改默认密码。为了防止8085端口暴露,建议使用SSH隧道方式来访问Web界面。如果使用 http://localhost:8085 方式...

创建工作空间

工作空间类型说明 对比项 基础版 专业版 主要特点 100%兼容开源Spark。支持阿里云Fusion Engine(Spark Native Engine)。100%兼容开源Spark。支持阿里云Fusion Engine(Spark Native Engine)。内置Celeborn来增强Spark在计算过程中的...

扩容集群

EMR Serverless StarRocks不仅无缝兼容开源StarRocks,并且具备自动升级软件版本的功能,可省去手动管理版本的繁琐与风险。迁移方案详情,请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...

ListApmMetadata

内部错误。503 ServiceFailure The request has failed due to a temporary failure of%s service.依赖的阿里云其他服务不可用。503 ServiceUnavailable The request has failed due to a temporary failure of the server.请求超时或者...

数据服务集群

特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成,并且可以和Apache Phoenix搭配使用...

管理用户

EMR用户可以用于访问链接与端口,查看开源组件Web UI时的用户身份认证,也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP,则可以对用户管理中的用户进行权限控制。如果是高安全集群,EMR用户可以用于Kinit操作...

StartJobRun-启动Spark任务

调用StartJobRun启动Spark任务。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名...变更历史 变更时间 变更内容概要 操作 2024-05-17 API 内部配置变更,不影响调用 看变更集 变更项 变更内容 API 内部配置变更,不影响调用。

HDFS Web UI介绍

访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI,具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...

EMR Serverless StarRocks商业化发布

EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务,您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎,提供了极致...

EMR Spark功能增强

阿里云E-MapReduce产品构建于阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,做了大量优化。本文为您介绍E-MapReduce(简称EMR)Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件,随开源版本升级迭代,...

EMR Workflow商业化公告

EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行...

选型配置说明

Flink、Kafka、YARN OLAP 数据分析场景,其中核心组件ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的DBMS,与Hadoop和Spark相比,ClickHouse更轻量级。ClickHouse支持线性扩展,简单方便,具有高可靠性和高容错。...

管理LDAP认证

EMR-5.11.0及之前版本,EMR-3.45.0及之前版本 重要 如果您的EMR版本较低,没有相应的LDAP认证配置按钮,则需要参考开源软件的社区文档进行手动配置,以启用LDAP认证功能。在 组件列表 区域,选择 SparkThriftServer 操作列的>enableLDAP。...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用