本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 starrocks,sr，支持的授权粒度为 操作级。权限策略通用结构 ...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。前置概念 阅读本文前，您可能需要了解如下概念：什么...
通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
操作步骤 使用SSH隧道方式访问Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。说明 建议您首次使用Kafka Manager时修改默认密码。为了防止8085端口暴露，建议使用SSH隧道方式来访问Web界面。如果使用 http://localhost:8085 方式...
参数 说明 内网地址 网关的内网访问地址，供同一VPC内的应用程序或服务使用。查看PrivateZone：可以查看解析记录。开通SLB：在开通SLB之后，将采用SLB（简约型 I slb.s1.small）进行负载均衡。重要 开启SLB会产生相应的费用，详情请参见 ...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
2023年6月1日起，E-MapReduce Serverless StarRocks服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
如果您连接的是阿里云EMR on ECS集群的OpenLDAP服务，ldap_url 可填写Master节点的内网IP地址，ldap_port 为10389。说明 如果LDAP是高可用服务，则多个LDAP连接地址之间需要用空格进行分隔，例如 ldap:/ldap_url_1:ldap_port ldap:/ldap_...
关于阿里云EMR Serverless Spark产品和服务的相关问题，您可以通过以下渠道寻求支持和解决。...填写相关问题信息，产品分类 选择 开源大数据平台 E-MapReduce。单击 提交。售后服务SLA 售后服务SLA详情，请参见 企业支持计划 的内容。
您可以在 实例详情 页面的 FE详情 区域查看内网地址。例如，fe-c-f24348802cd4*-internal.starrocks.aliyuncs.com:9030 。端口 输入FE的查询端口。您可以在 实例详情 页面的 FE详情 区域查看端口。数据库 部署StarRocks数据库时自定义的...
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr-serverless-spark，支持的授权粒度为 操作级。权限策略...
说明 OSS-HDFS目前仅支持内网访问，即默认不支持跨区域访问。访问方式 支持通过Hadoop Shell命令、Jindo CLI命令、POSIX命令和OSS控制台四种方式访问OSS/OSS-HDFS。各访问方式的示例和描述如下：访问方式 示例 描述 Hadoop Shell命令 ...
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
方式二：部署高速通道 部署高速通道打通内网和公网网络，详情请参见 什么是高速通道。访问Kafka服务 访问一个配置了公网IP地址的Kafka Broker服务时，URL格式通常为 Broker的公网IP地址:9093。例如：如果某个Broker的公网IP地址为211.90.*....
产品优势如下：云原生极速计算引擎 内置Fusion Engine(Spark Native Engine)，相对开源版本性能提升300%。内置Celeborn（Remote Shuffle Service），支持PB级Shuffle数据，计算资源总成本最高下降30%。开放化的数据湖架构 支持计算存储分离...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多...
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr，支持的授权粒度为 资源级。权限策略通用结构 权限策略...
轻量应用服务器使用阿里云自动分配的专有网络VPC（Virtual Private Cloud）进行网络隔离，默认情况下不与ECS实例、云数据库等其他处于专有网络VPC中的阿里云产品内网互通，您可以通过设置内网互通实现互联互通。本文介绍如何设置内网互通...
EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的 enableLDAP。...
kb-4e209b04588*95f04ad3538ae4 innerEndpoint string 内网域名。kyuubi-cn-beijing-internal.spark.emr.aliyuncs.com publicEndpoint string 公网域名。emr-spark-kyuubi-gateway-cn-beijing.aliyuncs.com releaseVersion string Spark ...
查看Master列表 语法 kudu master list Master节点的内网IP地址 说明 如果集群有多个 Master节点的内网IP地址，则多个IP地址之间使用英文逗号（,）隔开。例如 192.168.*.*,192.168.*.*,192.168.*.*。示例：您可以执行以下命令，查看Master...
本文为您介绍 内网权威 域名的基本管理操作。添加 内网权威 域名 内网权威 域名可以添加在普通区和加速区，下面将介绍如何为 内网权威 普通区和加速区添加域名。添加 内网权威 加速区域名 登录 云解析DNS-内网域名解析。在 内网权威 的 ...
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot-snapshot test_snapshot-copy-to oss:/$accessKeyId:$accessKeySecret@$bucket.oss-cn-hangzhou-internal.aliyuncs.com/hbase/snapshot/test 说明 OSS使用内网Endpoint。...
后端内网域名指的是在API网关中配置的后端服务地址。当后端服务地址为内网域名时，API网关提供实例级别的后端服务内网域名解析。概述 例如，后端服务使用的内网域名是通过 PrivateZone 解析时，解析只能在客户指定的VPC内生效，API网关不在...
同时，它100%兼容开源Spark生态，能够无缝集成到客户现有的数据平台。通过使用EMR Serverless Spark，企业可以更加专注于数据处理分析及模型训练的优化，从而提升工作效率。前置概念 阅读本文前，您可能需要了解如下概念：什么是云原生？...
如果您要配置StarRocks公网或内网白名单，则需要拥有该权限才能对SLB进行操作和管理。EMR Serverless StarRocks使用的角色如下。角色名称 描述 AliyunEMRStarRocksAccessingOSSRole EMR Serverless StarRocks使用此角色来访问您在OSS产品中...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
然后将driver_url配置成包含对应 内网Endpoint 的HTTP URL，例如：http:// YourBucketName .oss-cn-xxxx-internal.aliyuncs.com/mysql-connector-java-*.jar。driver_class 是 JDBC驱动程序的类名称。以下是常见数据库引擎支持的JDBC驱动...
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
1749456094000 endpointInner string 内网连接地址。emr-spark-livy-gateway-cn-hangzhou-internal.aliyun.com/api/v1/workspace/w-xxxxxxxxx/livycompute/lc-xxxxxxxxxxx 示例 正常返回示例 JSON 格式 {"requestId":"DD6B1B2A-5837-5237-...
Fusion引擎是EMR Serverless Spark内置的高性能向量化SQL执行引擎，相比开源Spark在TPC-DS基准测试上有3倍性能提升。Fusion引擎与开源Spark完全兼容，您无需对现有代码做任何修改。在EMR Serverless Spark中，只需在创建会话时开启 使用...
EMR集群需要和OSS在同一Region下，建议使用内网Endpoint，例如 oss-cn-shanghai-internal.aliyuncs.com 。path：OSS上文件的路径。例如，oss:/OSS_YOURBUCKETNAME/OSS_DIRECTORY，OSS_YOURBUCKETNAME 为您OSS Bucket的名称。如何配置...