产品计费 EMR费用由E-MapReduce服务费用和ECS产品费用组成。如果您在使用EMR过程中还用到了其他云产品，如OSS、数据湖构建、Workflow等，相关费用请参见对应产品的计费文档。EMR on ECS支持的计费方式如下：包年包月：按一定时长购买资源，...
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 E-MapReduce 版本号 说明 2021-03-20 推荐使用。EMR Workbench 版本号 说明 2024-04-30 推荐使用...
本文介绍安装CADT命令行工具的操作方法。操作前提 请确保您已安装了Python，并且Python版本在3.6以上。安装Git，如未安装，请参考 安装Git。操作步骤 检查当前Python 版本，需要至少Python3.6以上。python-version pip3-version 下载CADT...
关联工具包 阿里云提供神行工具包供您更高效地使用GPU资源，神行工具包中的组件主要包括以下工具：说明 关于神行工具包的更多信息，请参见 什么是神行工具包（DeepGPU）。工具名称 说明 AI加速器Deepytorch 阿里云自研的AI加速器，为生成式...
这款蓝牙筋膜枪是我买过最便宜、最实用的按摩工具。我平时喜欢运动，经常会感到肌肉酸痛，这款筋膜枪的按摩效果非常好，而且非常轻巧便携，可以随时使用。我强烈推荐这款产品。错误码 如果调用失败并返回报错信息，请参见 错误信息 进行...
命令行工具 使用命令行工具创建集群挂载数据盘样例：bcs sub"echo 123"-disk system:cloud_efficiency:40,data:cloud_efficiency:500:/home/my-data-disk 说明：系统盘挂载格式：system:系统盘类型:系统盘大小 数据盘挂载格式：data:数据盘...
本文介绍阿里云E-MapReduce每次发布涉及的功能变更及对应的文档，帮助您了解E-MapReduce的发布动态。版本说明详情，请参见 发行版本。E-MapReduce的重要功能发布详情请参见 产品重大更新。2025年 10月 功能名称 功能概述 发布时间 相关文档...
本文为您介绍Kerberos的配置与基础操作，其中涵盖了核心配置文件krb5.conf和kdc.conf，详细说明了服务端如何使用KDC管理工具进行Principal管理及Keytab维护，以及客户端Ticket生命周期管理涉及的相关命令。前提条件 已创建开启Kerberos认证...
您可以在EMR on ACK控制台管理您的作业，也可以通过Kubernetes工具或API直接管理您的作业。本文为您介绍如何通过kubectl管理Spark作业。前提条件 已在E-MapReduce on ACK控制台创建Spark集群，详情请参见 快速入门。操作步骤 通过kubectl...
计费说明 EdgeAcc工具包不需要额外支付费用，您只需为执行计算任务过程中使用到的 阿里云ENS 资源付费。基础环境依赖 硬件依赖：ENS 所有在售智算规格。软件依赖 操作系统：Ubuntu 22.04 CUDA版本：12.7 Pytorch版本：2.6.0 如您有使用其他...
当已经在外部系统中拥有成熟的 API 或 MCP Server，希望直接在 AgentRun 中作为工具复用时，可以使用导入工具方式。功能简介 通过 导入工具，你可以：将符合 MCP 协议 或 OpenAPI 规范 的现有服务快速接入 AgentRun，无需改写代码；在 ...
阿里云E-MapReduce SDK包含阿里云Java SDK公共部分和E-MapReduce部分，公共部分依赖 aliyun-java-sdk-core，E-MapReduce部分依赖 aliyun-java-sdk-emr。我们推荐您采用Maven的方式来管理您的工程。Maven依赖 dependency groupId ...
admin-password：您可以在E-MapReduce控制台，Kerberos服务的 配置 页面，获取 admin_pwd 的参数值。当返回信息中包含如下信息时，表示已进入admin命令行。Authenticating as principal root/admin with password.kadmin:执行以下命令，...
本文为您介绍在E-MapReduce中如何使用Hive客户端、Beeline、JDBC三种方式连接Hive。前提条件 已创建选择了Hive服务的集群（例如，DataLake或Custom），并且已打开Master节点（主节点）的 挂载公网 开关，以便远程登录该集群。创建集群具体...
通过Livy Gateway，您可以结合Airflow的 livy_operator 或Jupyter Notebook的 spark_magic 等工具，轻松向Serverless Spark提交任务并获取状态更新。创建Livy Gateway 进入Gateway页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR ...
tools string 工具详情 describe_db_instances Id string AgentId d1b7d639-f34e-44c7-8231-987da14d*示例 正常返回示例 JSON 格式 {"RequestId":"FE9C65D7-930F-57A5-A207-8C396329*","Name":"查询实例列表Agent","CreatedAt":"2020-11-27...
针对各种业务需求，E-MapReduce提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。EMR on ECS 手工缩容节点组 更换集群损坏的本地盘 为集群配置弹性伸缩规则 EMR Serverless StarRocks 存算分离模式下借助本地缓存提升查询...
该接口用于查询用户Agent工具列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
如何减少Spark2命令行工具的日志输出？Spark SQL 如何使用Spark3的小文件合并功能？如何处理SparkSQL数据倾斜?PySpark 如何指定PySpark使用Python 3版本？Spark Streaming 为什么Spark Streaming作业运行一段时间后无故结束？为什么Spark ...
本文以ECS连接EMR Serverless Spark为例，介绍如何通过EMR Serverless spark-submit命令行工具进行Spark任务开发。前提条件 已安装Java 1.8或以上版本。如果使用RAM用户（子账号）提交Spark任务，需要将RAM用户（子账号）添加至Serverless ...
E-MapReduce（简称EMR）支持将您本地自建的Kudu集群迁移至EMR上。本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群，并选择了Kudu服务，详情请参见 创建...
Superset是一款轻量级BI工具。您可以使用Superset连接多个数据源自助分析并可视化、定义图表和看板、导入或导出看板，并且可以对用户和角色进行权限管理。本文以EMR-3.34.0版本的集群为例为您介绍如何使用Superset。背景信息 Superset对E-...
{} body:31 34 3A 34 34 3A 32 39 2E 37 30 39 14:44:29.709 } 2021-07-16 14:44:31,709(SinkRunner-PollingRunner-DefaultSinkProcessor)[INFO-org.apache.flume.sink.LoggerSink.process(LoggerSink.java:95)]Event:{ headers:{} body:31...
E-HPC提供了业界主流的科学计算应用、编译器运行时库、MPI通信库等软件，本文介绍E-HPC支持的软件，以及相关软件的应用场景等。E-HPC软件栈 本文列出支持自动部署的软件，您也可以通过自定义镜像的方式自行部署其他需要的软件。软件列表 ...
TPC-DS官方工具只包含SQL生成器以及单机版数据生成工具，并不适合大数据场景，所以本文教程中使用的工具和集群信息如下：Hive TPC-DS Benchmark测试工具。该工具是业界最常用的测试工具，是由Hortonworks公司开发，支持使用Hive和Spark运行...
EMR-3.44.0之前版本、EMR-5.10.0之前版本 mysql-urangeradmin-prangeradmin1234 update ranger.x_portal_user set password="257e4521fee681b67583e2e7a4ac1c28"where login_id="admin;Hadoop集群 mysql-urangeradmin-prangeradmin update ...
kmem-S kmalloc-192|tail-n 10 命令行的返回结果示例如下：SLAB MEMORY NODE TOTAL ALLOCATED FREE ffffea004c94e780 ffff88132539e000 0 42 29 13 ffffea004cbef900 ffff88132fbe4000 0 42 40 2 ffffea000a0e6280 ffff88028398a000 0 42 ...
java.io.IOException:Xceiver count 4097 exceeds the limit of concurrent xcievers:4096 at org.apache.hadoop.hdfs.server.datanode.DataXceiverServer.run(DataXceiverServer.java:150)如果存在报错，可通过以下方式解决：登录 E-...
同一插件下的不同工具使用相同的域名，每个工具的工具路径对应一个独立的API。例如：xx插件下包含两个API：查询：https://xxx.com/query 删除：https://xxx.com/delete 在这个示例中，https://xxx.com 对应 插件URL，/query 和/delete 对应...
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
解决方案 登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。进入HDFS服务的配置页面。在 集群管理 页面，单击目标集群操作列的 集群服务。在 集群服务 页面，单击HDFS服务区域的 配置。在配置搜索区域，搜索参数 ...
在开发过程中我们通常会碰到需要迁移数据的场景，本文介绍如何将自建集群数据迁移到E-MapReduce集群中。背景信息 适用范围：线下Hadoop到E-MapReduce迁移。线上ECS自建Hadoop到E-MapReduce迁移。迁移场景：HDFS增量上游数据源包括RDS增量...
登录阿里云，进入 E-MapReduce控制台 的EMR Serverless StarRocks页面，单击 创建实例。更多关于创建StarRocks实例的操作，请参见 创建实例。下载starrocks-benchmark测试工具包并解压 您需要登录步骤1中创建的ECS实例，在节点上执行如下...
登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless Spark。在 Spark 页面，单击目标工作空间名称。在 EMR Serverless Spark 页面，单击左侧导航栏中的 资源管理。在 队列资源 页签，单击 添加队列。根据工作空间的付费类型，在 ...
kubectl apply-f spark-pi.yaml-namespace 集群对应的namespace 本文示例代码中的 集群对应的namespace，需要替换为集群的命名空间，您可以登录E-MapReduce on ACK控制台，在 集群详情 页面查看。返回如下信息。sparkapplication....
登录阿里云，进入 E-MapReduce控制台 的EMR Serverless StarRocks页面，单击 创建实例。更多关于创建StarRocks实例的操作，请参见 创建实例。下载starrocks-benchmark测试工具包并解压 您需要登录步骤1中创建的ECS实例，在节点上执行如下...
本文介绍如何通过E-MapReduce，从Kafka客户端采集Metrics数据，从而有效地进行性能监控。前提条件 已创建Kafka集群，详情请参见 创建集群。说明 本文以EMR-3.21.3版本为例介绍。背景信息 Kafka提供了一套非常完善的Metrics数据，覆盖Broker...
auth_key=1543302081-0-0-9c6e7c8190c10bdfb3c0*。单击 开始推流。说明 如果在推流过程中出现推流异常等问题，可优先使用自助问题排查工具进行自助检测。本工具可快速诊断常见直播推流问题，并根据具体异常提供解决建议。具体操作，请参见 ...
访问地址 通过 首页 导航栏 进入系统 智能机翻 或直接在 首页底部 进入。1.文本翻译 在 智能机翻 页面，点击 文本翻译，输入翻译原文，右侧将自动显示匹配的译文。1.1 语料匹配 如果你有可以查看的语料库，系统将为你推荐匹配率较高的语料...
在应用端运行工具 应用程序接收到工具指令后，需要运行工具，获得工具输出结果。发起第二次模型调用 获取到工具输出结果后，需添加至模型的上下文（messages），再次发起模型调用。接收来自模型的最终响应 模型将工具输出结果和用户问题...