运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 POST/api/v1/kyuubi/{workspaceId}/{kyuubiServiceId}/stop HTTP/1.1 路径参数 名称 类型 必填 描述 示例值 workspaceId string ...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 DELETE/api/v1/kyuubi/{workspaceId}/{kyuubiServiceId} HTTP/1.1 路径参数 名称 类型 必填 描述 示例值 workspaceId string 否 ...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
alluxio fs mount-option fs.oss.accessKeyId=OSS_ACCESS_KEY_ID \-option fs.oss.accessKeySecret=OSS_ACCESS_KEY_SECRET \-option fs.oss.endpoint=OSS_ENDPOINT \/oss_dir path/代码示例中的参数描述如下：OSS_ACCESS_KEY_ID：阿里云...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问...
本文为您介绍如何在阿里云EMR Serverless Spark环境中使用Notebook进行开发，包括创建、编辑、运行、发布、导入和导出Notebook，以及在Notebook之间共享代码的操作。前提条件 已创建工作空间和Notebook会话，详情请参见 创建工作空间 和 ...
操作步骤 使用SSH隧道方式访问Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。说明 建议您首次使用Kafka Manager时修改默认密码。为了防止8085端口暴露，建议使用SSH隧道方式来访问Web界面。如果使用 http://localhost:8085 方式...
说明 代码中的 myfunc 是UDF函数的名称，org.example.MyUDF 是开发UDF中创建的类，hdfs:/user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar 为上传JAR包到HDFS的路径。执行以下命令，使用UDF函数。该函数与内置函数使用方式一样，直接使用函数...
Kudu table list {YourKuduMasterAddress} 说明 本文代码示例中的 {YourKuduMasterAddress} 为Kudu集群的Master节点内网IP地址，多个IP地址之间使用英文逗号（,）隔开。使用Kudu Backup工具备份现有的Kudu集群表。默认的Kudu Backup可以...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
2023年6月1日起，E-MapReduce Serverless StarRocks服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
拷贝如下代码到新增的SparkSQL页签（users_task）中。CREATE DATABASE IF NOT EXISTS ss_hudi_db;CREATE TABLE ss_hudi_db.hudi_tbl(id INT,name STRING)USING hudi TBLPROPERTIES(type='cow',primaryKey='id');INSERT INTO ss_hudi_db....
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问...
Java代码 JavaSparkContext jsc=new JavaSparkContext(sparkConf);try { List byte[]list=new ArrayList();list.add(Bytes.toBytes("1"));list.add(Bytes.toBytes("5"));JavaRDD byte[]rdd=jsc.parallelize(list);Configuration conf=...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问...
val resultData=inputData.map(e=s"$e has been processed.")odpsOps.saveToTable(project,table,dataRDD,write)在上面的代码中，您还需要定义一个write函数，用来进行数据预处理，代码如下所示。def write(s:String,emptyRecord:Record,...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问...
Java代码 JavaSparkContext jsc=new JavaSparkContext(sparkConf);try { List byte[]list=new ArrayList();list.add(Bytes.toBytes("1"));list.add(Bytes.toBytes("5"));JavaRDD byte[]rdd=jsc.parallelize(list);Configuration conf=...
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 AddClusterService 系统规定参数。取值：AddClusterService。ClusterId String 是 C-F32FB31D8295*待添加服务的集群ID。...
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
管理工作空间 数据开发 SQL开发和批任务支持自定义变量管理，可简化代码的维护和调整，提升开发效率。数据开发变量 支持在Notebook中使用Hadoop命令操作OSS/OSS-HDFS。在Notebook中使用Hadoop命令操作OSS/OSS-HDFS 流任务和批处理任务已...
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已 开通日志服务。使用限制 ...
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问...
产品优势如下：云原生极速计算引擎 内置Fusion Engine(Spark Native Engine)，相对开源版本性能提升300%。内置Celeborn（Remote Shuffle Service），支持PB级Shuffle数据，计算资源总成本最高下降30%。开放化的数据湖架构 支持计算存储分离...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多...
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 PUT/api/v1/kyuubi/{workspaceId}/{kyuubiServiceId} HTTP/1.1 路径参数 名称 类型 必填 描述 示例值 workspaceId string 否 工作...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 DeleteResourceQueue 系统规定参数。取值：DeleteResourceQueue。ClusterId String 是 C-EBD62A703A430E23 集群ID。您...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ReleaseCluster 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：ReleaseCluster...
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问...
示例代码如下：sudo su-kafka cd$LOG_DIR_ROOT#查看日志输出目录 ls-lrt 分析服务日志，找到错误日志，定位异常原因。通过grep命令分析日志中的错误信息，查找异常原因。例如，可以执行以下命令，分析kafka broker异常停止的原因。sudo su-...
EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...