关联工具包 阿里云提供神行工具包供您更高效地使用GPU资源，神行工具包中的组件主要包括以下工具：说明 关于神行工具包的更多信息，请参见 什么是神行工具包（DeepGPU）。工具名称 说明 AI加速器Deepytorch 阿里云自研的AI加速器，为生成式...
本文介绍阿里云E-MapReduce每次发布涉及的功能变更及对应的文档，帮助您了解E-MapReduce的发布动态。版本说明详情，请参见 版本概述。E-MapReduce的重要功能发布详情请参见 产品重大更新。2024年 2024年08月 功能名称 功能概述 发布时间 ...
HotFix补丁工具报错排查步骤：遇到问题可以先通过 常见问题页 进行关键字搜索。首先需要正确安装Java环境且在JDK7或以上才能正常使用，JDK6及以下需要卸载，如是Windows系统，并将C盘中Windows\System32和Windows\SysWOW64文件夹下的java....
命令行工具 使用命令行工具创建集群挂载数据盘样例：bcs sub"echo 123"-disk system:cloud_efficiency:40,data:cloud_efficiency:500:/home/my-data-disk 说明：系统盘挂载格式：system:系统盘类型:系统盘大小 数据盘挂载格式：data:数据盘...
请求者付费模式是指由请求者支付访问存储空间（Bucket）内数据时产生的费用，而Bucket拥有者仅支付存储费用。当您希望共享数据，但又不希望支付因共享数据产生的额外费用时，您可以使用 request-payment 命令设置请求者付费模式。注意事项 ...
本文为您介绍Kerberos的配置与基础操作，其中涵盖了核心配置文件krb5.conf和kdc.conf，详细说明了服务端如何使用KDC管理工具进行Principal管理及Keytab维护，以及客户端Ticket生命周期管理涉及的相关命令。前提条件 已创建开启Kerberos认证...
您可以在EMR on ACK控制台管理您的作业，也可以通过Kubernetes工具或API直接管理您的作业。本文为您介绍如何通过kubectl管理Spark作业。前提条件 已在E-MapReduce on ACK控制台创建Spark集群，详情请参见 快速入门。操作步骤 通过kubectl...
阿里云E-MapReduce SDK包含阿里云Java SDK公共部分和E-MapReduce部分，公共部分依赖 aliyun-java-sdk-core，E-MapReduce部分依赖 aliyun-java-sdk-emr。我们推荐您采用Maven的方式来管理您的工程。Maven依赖<dependency><groupId>...
使用示例 以下示例用于列举目标存储空间examplebucket下未完成分片上传的exampleobject.txt文件的碎片信息：ossutil listpart oss:/examplebucket/exampleobject.txt 89A46B10E94A4ED5A7E9869F9409*以下返回结果表明已成功获取...
您可以在E-MapReduce控制台，Kerberos服务的 配置 页面，获取 admin_pwd 的参数值。当返回信息中包含如下信息时，表示已进入admin命令行。Authenticating as principal root/admin with password.kadmin:执行以下命令，...
问题现象 通过Workbench工具远程连接Linux实例时提示“登录主机：i-m5e*73a(47.*.*.157:3389)失败，原因：链接超时！错误。问题原因 该问题通常是由以下原因导致：Linux实例的安全规则中，禁止了通过Workbench工具连接目标Linux实例。SSH...
当您需要通过命令行工具ossutil切换至另一个地域的Bucket时，可以通过-e 选项指定该Bucket所属的Endpoint。当您需要通过命令行工具ossutil切换至另一个阿里云账号下的Bucket时，可以通过-i 选项指定该账号的AccessKey ID，并通过-k 选项...
如何减少Spark2命令行工具的日志输出？Spark SQL 如何使用Spark3的小文件合并功能？如何处理SparkSQL数据倾斜?PySpark 如何指定PySpark使用Python 3版本？Spark Streaming 为什么Spark Streaming作业运行一段时间后无故结束？为什么Spark ...
Superset是一款轻量级BI工具。您可以使用Superset连接多个数据源自助分析并可视化、定义图表和看板、导入或导出看板，并且可以对用户和角色进行权限管理。本文以EMR-3.34.0版本的集群为例为您介绍如何使用Superset。背景信息 Superset对E-...
{} body:31 34 3A 34 34 3A 32 39 2E 37 30 39 14:44:29.709 } 2021-07-16 14:44:31,709(SinkRunner-PollingRunner-DefaultSinkProcessor)[INFO-org.apache.flume.sink.LoggerSink.process(LoggerSink.java:95)]Event:{ headers:{} body:31...
下载地址 下载地址 SHA256校验和 Linux x86 32bit f8a4a7e1df8529b06a3f3cca194a1c99163cb3b8ab3b5d64228c207c3ae63b86 Linux x86 64bit dcc512e4a893e16bbee63bc769339d8e56b21744fd83c8212a9d8baf28767343 Linux ARM 32bit ffe8b479e5fd...
针对各种业务需求，E-MapReduce提供相关的实践教程，您可以根据本文查看适合您业务的实践教程文档。EMR on ECS 手工缩容节点组 更换集群损坏的本地盘 为集群配置弹性伸缩规则 EMR Serverless StarRocks 存算分离模式下借助本地缓存提升查询...
E-MapReduce（简称EMR）支持将您本地自建的Kudu集群迁移至EMR上。本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群，并选择了Kudu服务，详情请参见 创建...
SmartData是E-MapReduce（简称EMR）产品的核心自研组件，为EMR各个计算引擎提供统一的存储优化、缓存优化、计算加速优化和多个存储功能扩展，涵盖数据访问、数据治理和数据安全。SmartData组件在EMR产品中的位置如下所示。SmartData组件...
EMR-3.44.0之前版本、EMR-5.10.0之前版本 mysql-urangeradmin-prangeradmin1234 update ranger.x_portal_user set password="257e4521fee681b67583e2e7a4ac1c28"where login_id="admin;Hadoop集群 mysql-urangeradmin-prangeradmin update ...
适用场景 本实践方案提供如下场景的最佳实践：基于IPSec VPN隧道+DistCp（Hadoop原生工具），将数据迁移到阿里云EMR集群，目标存储包括HDFS，阿里云OSS和阿里云EMR的Jindo。方案优势 安全性 基于IPSec VPN/专线的方式进行数据安全传输。低...
E-HPC提供了业界主流的科学计算应用、编译器运行时库、MPI通信库等软件，本文介绍E-HPC支持的软件，以及相关软件的应用场景等。E-HPC软件栈 本文列出支持自动部署的软件，您也可以通过自定义镜像的方式自行部署其他需要的软件。软件列表 ...
kmem-S kmalloc-192|tail-n 10 命令行的返回结果示例如下：SLAB MEMORY NODE TOTAL ALLOCATED FREE ffffea004c94e780 ffff88132539e000 0 42 29 13 ffffea004cbef900 ffff88132fbe4000 0 42 40 2 ffffea000a0e6280 ffff88028398a000 0 42 ...
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
Gateway类型用于部署Livy服务，便于Airflow、Jupyter等工具通过Livy接口向Serverless Spark提交任务。本文主要为您介绍如何创建Gateway。创建 Gateway Gateway创建完成后，您可以在创建SQL类型任务时选择此Compute。进入Compute页面。登录 ...
E-MapReduce增强型Druid E-MapReduce Druid基于Apache Druid做了大量的改进，包括与E-MapReduce和阿里云周边生态的集成、方便的监控与运维支持、易用的产品接口等，实现即买即用和7*24免运维。E-MapReduce Druid目前支持的特性如下所示：...
TPC-DS官方工具只包含SQL生成器以及单机版数据生成工具，并不适合大数据场景，所以本文教程中使用的工具和集群信息如下：Hive TPC-DS Benchmark测试工具。该工具是业界最常用的测试工具，是由Hortonworks公司开发，支持使用Hive和Spark运行...
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
java.io.IOException:Xceiver count 4097 exceeds the limit of concurrent xcievers:4096 at org.apache.hadoop.hdfs.server.datanode.DataXceiverServer.run(DataXceiverServer.java:150)如果存在报错，可通过以下方式解决：登录 E-...
auth_key=1543302081-0-0-9c6e7c8190c10bdfb3c0*。单击 开始推流。说明 如果在推流过程中出现推流异常等问题，可优先使用自助问题排查工具进行自助检测。本工具可快速诊断常见直播推流问题，并根据具体异常提供解决建议。具体操作，请参见 ...
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
在开发过程中我们通常会碰到需要迁移数据的场景，本文介绍如何将自建集群数据迁移到E-MapReduce集群中。背景信息 适用范围：线下Hadoop到E-MapReduce迁移。线上ECS自建Hadoop到E-MapReduce迁移。迁移场景：HDFS增量上游数据源包括RDS增量...
解决方案 登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。进入HDFS服务的配置页面。在 集群管理 页面，单击目标集群操作列的 集群服务。在 集群服务 页面，单击HDFS服务区域的 配置。在配置搜索区域，搜索参数 ...
创建集群后您可以登录集群进行相关操作，本文为您介绍使用控制台和第三方工具登录集群。前提条件 已创建用户。具体操作，请参见 用户管理。已为集群登录节点分配固定公网IP或绑定EIP。登录节点状态为 运行中。登录节点所在的安全组已放行对...
JMeter是Apache的开源压测工具，支持参数化、断言等功能。其丰富的开源生态提供了各种协议和控制器的扩展。本文将介绍如何使用JMeter来录制压测脚本，包括安装JMeter、配置代理、录制测试用例等步骤。（可选）步骤一：安装JMeter 首先需要...
JMeter是Apache的开源压测工具，支持参数化、断言等功能。其丰富的开源生态提供了各种协议和控制器的扩展。本文将介绍如何使用JMeter来录制压测脚本，包括安装JMeter、配置代理、录制测试用例等步骤。（可选）步骤一：安装JMeter 首先需要...
本文介绍如何通过E-MapReduce，从Kafka客户端采集Metrics数据，从而有效地进行性能监控。前提条件 已创建Kafka集群，详情请参见 创建集群。说明 本文以EMR-3.21.3版本为例介绍。背景信息 Kafka提供了一套非常完善的Metrics数据，覆盖Broker...
阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案（DATABLAU），将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上夯实数据...
e2e_handle_client_request:Got Partition Info 2023-10-28T13:33:05Z liquidSecurity INF:e2e_handle_client_request:GetPartitionInfo success 0:HSM Return:SUCCESS 2023-10-28T13:33:05Z liquidSecurity INF:e2e_handle_client_request...
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...