创建集群后您可以登录集群进行相关操作，本文为您介绍使用控制台和第三方工具登录集群。前提条件 已创建用户。具体操作，请参见 用户管理。已为集群登录节点分配固定公网IP或绑定EIP。登录节点状态为 运行中。登录节点所在的安全组已放行对...
JMeter是Apache的开源压测工具，支持参数化、断言等功能。其丰富的开源生态提供了各种协议和控制器的扩展。本文将介绍如何使用JMeter来录制压测脚本，包括安装JMeter、配置代理、录制测试用例等步骤。（可选）步骤一：安装JMeter 首先需要...
JMeter是Apache的开源压测工具，支持参数化、断言等功能。其丰富的开源生态提供了各种协议和控制器的扩展。本文将介绍如何使用JMeter来录制压测脚本，包括安装JMeter、配置代理、录制测试用例等步骤。（可选）步骤一：安装JMeter 首先需要...
E-MapReduce增强型Druid E-MapReduce Druid基于Apache Druid做了大量的改进，包括与E-MapReduce和阿里云周边生态的集成、方便的监控与运维支持、易用的产品接口等，实现即买即用和7*24免运维。E-MapReduce Druid目前支持的特性如下所示：...
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
e2e_handle_client_request:Got Authorize session response 2023-10-28T13:33:05Z liquidSecurity INF:get_partition_info:Get pHSM Info using e2e mgmtch 2023-10-28T13:33:05Z liquidSecurity INF:e2e_handle_client_request:Authorize...
E-HPC Instant提供了业界主流的科学计算镜像，本文介绍E-HPC提供的常用镜像软件，以及软件相关的镜像场景等。E-HPC Instant公共镜像列表 不同地域支持的公共镜像不同，实际支持公用镜像以 E-HPC Instant计算服务控制台 显示为准。说明 建议...
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态。如果您还在使用旧版控制台的数据开发功能，请尽快迁移至EMR Worflow。本文为您介绍数据开发模块迁移至EMR Workflow的流程。EMR Workflow是一个全托管的...
本文通过示例为您介绍如何在E-MapReduce on ACK的Flink集群中配置OSS来存储Flink作业的Checkpoint和Savepoint。前提条件 已在E-MapReduce on ACK控制台创建Flink集群，详情请参见 快速入门。操作步骤 Flink on ACK使用的默认镜像已处理好...
调整样式 在左下角的样式表单中，可以调整字幕的样式，包括字号、间距、底距、颜色、描边、背景等等（预览中的字幕样式可能会和真实压制样式有一点差别，以最终导出结果为准）调整工具 在左下角的工具栏中，我们提供了批量机翻、清空所有...
方式二：通过kubectl工具提交作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过kubectl工具连接集群。您也可以通过API等方式连接Kubernetes集群，详情请参见 使用Kubernetes API。新建 basic-emr-example.yaml ...
配置数据传输中转节点后，您还要使用迁移工具迁移数据至阿里云文件存储NAS。本文介绍如何通过迁移工具将非阿里云的数据迁移至文件存储NAS。前提条件 已配置数据传输中转节点ECS实例。具体操作，请参见 配置数据传输中转节点。使用SFTP客户...
JindoFS是一种云原生的文件系统，结合OSS和本地存储，成为E-MapReduce产品的新一代存储系统，为上层计算提供了高效可靠的存储。本文主要说明JindoFS的配置使用方式，以及介绍一些典型的应用场景。概述 JindoFS提供了块存储模式（Block）和...
（V2.2）外部组织安装完管理链码后，还需要提交链码定义，您可以在互操作工具中执行命令./cmt.amd64 lifecycle approve cmcc.1.5.tar.gz-n BaaS上的链码名称-v BaaS上的版本号-s BaaS上的序列号-e BaaS上的背书策略。说明 说明：关于BaaS上...
SmartData是E-MapReduce（简称EMR）产品的核心自研组件，为EMR各个计算引擎提供统一的存储优化、缓存优化、计算加速优化和多个存储功能扩展，涵盖数据访问、数据治理和数据安全。SmartData组件在EMR产品中的位置如下所示。SmartData组件...
为方便使用，JS SDK 提供一些辅助工具类方法，如 getHash、toDecimal、toUtf8、getKeyInfo、decryptAESWithPassword。可直接通过 Chain 全局对象或 Chain 初始化的环境实例 chain 来使用辅助工具类方法。Chain.utils.getHash('Tester001')/...
sudo rpm-e-nodeps 包名 使用 dpkg 包管理器的系统（如Ubuntu，Debian等）。列出所有已安装的Java相关包。sudo dpkg-list|grep java 每个列出的包，您可以使用以下命令删除（将包名替换为实际的Java包名）。说明 使用-purge 选项可以彻底...
本文将介绍在Linux和Windows环境下使用抓包工具进行抓包的具体方法。抓包流程介绍 在网络异常情况下，抓取数据包是定位问题的重要手段之一。抓包操作通常包括以下流程步骤。上述流程中涉及的关键要点说明如下。序号 流程名称 说明 1 明确...
Added[/private/var/folders/2s/wzzsgpn13rn8rl_0fc4xxkc00000gp/T/40608d4a-a0e1-4bf5-92e8-b875fa6a1e53_resources/hiveudf-1.0-SNAPSHOT.jar]to class path Added resources:[hdfs:/user/hive/warehouse/myfunc/hiveudf-1.0-SNAPSHOT....
本文通过样例为您介绍通过CLI工具使用边缘脚本的操作方法，包括在CLI工具下进行规则的编写、保存、测试和发布的基本操作。说明 CLI工具的使用方法，请参见 通过CLI工具使用边缘脚本。边缘脚本的基本操作如下：将编写的边缘脚本规则存储为...
文件存储NAS支持通过rsync命令行工具、Robocopy工具等直接下载数据到本地文件。您也可以将数据同步到OSS后再在OSS侧下载数据到本地文件。重要 下载文件数据需要占用ECS公网带宽，建议您新购一台ECS实例专门负责文件数据下载，避免占用业务...
本文介绍如何配置Spark类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。...在顶部菜单栏处，根据实际情况选择地域...Pyspark不支持通过作业方式安装Python工具包。单击 保存，作业内容编辑完成。
使用不同数据模型时支持的分析工具不同，请根据实际场景选择相应分析工具。分析工具 适用模型 操作 描述 MaxCompute 宽表模型 使用MaxCompute 通过MaxCompute客户端为 表格存储 的数据表创建外部表，即可访问 表格存储 中的数据。Spark 宽...
本文主要介绍本次测试的测试环境和工具使用方式。测试环境要求 测试使用的操作系统为Alibaba Cloud Linux 3.2104 64位。压测端和Lindorm时序引擎在同一个VPC网络中，使用VPC地址进行连接。本测试中压测端使用的机器规格为ecs.c6e.26xlarge...
否 配置锁目录 MoveTo工具实现了进程锁，需要提供一个HDFS的路径放置锁文件。默认情况下，该路径为 hdfs:/tmp/jindotable-lock/。注意 放置锁文件的路径只能是HDFS路径。如果您对该路径无操作权限时，可以按照如下步骤添加自定义配置，配置...
否 配置锁目录 MoveTo工具实现了进程锁，需要提供一个HDFS的路径放置锁文件。默认情况下，该路径为 hdfs:/tmp/jindotable-lock/。注意 放置锁文件的路径只能是HDFS路径。如果您对该路径无操作权限时，可以按照如下步骤添加自定义配置，配置...
否 配置锁目录 MoveTo工具实现了进程锁，需要提供一个HDFS的路径放置锁文件。默认情况下，该路径为 hdfs:/tmp/jindotable-lock/。注意 放置锁文件的路径只能是HDFS路径。如果您对该路径无操作权限时，可以按照如下步骤添加自定义配置，配置...
E-MapReduce使用的Python 3版本为Python 3.6.4。支持Python 3.6.4 EMR-2.10.0及后续版本和EMR-3.10.0及后续版本，支持Python 3.6.4。Python文件安装目录为/usr/bin/python3.6。EMR-2.10.0和EMR-3.10.0之前版本默认不支持Python 3版本，您...
id:ecad2386 banner_pos:0 device_conn_type:0 device_id:a99f214a device_ip:9d046c7f device_model:9a45a8e8 device_type:1 hour:21 recall_name:user2item_recall recall_score:0 site_category:3e814130 site_domain:7687a86e site_id:...
此时还无法吐出工具调用详情（name、args等））、tool_calling 表示获取到完整工具调用的参数并会抛出完整的工具调用参数tool_return 表示工具调用返回结果，同时会携带结构化的工具返回信息。步骤变化事件(step_change)事件发生时 step 的...
当E-MapReduce（EMR）集群中有多个HiveServer2服务时，可以通过Zookeeper服务和负载均衡SLB（Server Load Balancer），实现对HiveServer2的负载均衡，从而将HiveServer2的压力分散到多个节点上。本文详细介绍HiveServer2负载均衡的配置及...
本文介绍了基于LHM调度迁移工具将EMR Worflow调度任务流迁移到DataWorks的方案与操作流程，包括三步，EMR Worflow任务导出、调度任务转换、DataWorks任务导入。一、导出EMR Workflow调度任务流 调度工具通过EMR Workflow页面接口获取任务流...
登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless Spark。在 Spark 页面，单击目标工作空间名称。在 EMR Serverless Spark 页面，单击左侧导航栏中的 密文管理。在 密文管理 页面，单击 新增密文。在 新增密文 界面，配置以下...
前提条件 已在E-MapReduce on ACK控制台创建Flink集群，详情请参见 快速入门。查看Flink作业日志 登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群所在行 所属ACK集群 列的链接。在 容器组 页面，单击目标Pod操作列的 日志。则可...
内置CRD（custom resource definition）模板工具内置了一系列采集能力，通过此工具，可以快速集成标准化采集能力并通过CRD管理采集配置的生命周期，避免控制台配置繁琐步骤。前提条件 采集Kubernetes集群内Logs、Metrics、Trace数据，需要...
Kafka Manager是专为Kafka设计的集群管理工具，提供了WebUI界面，允许用户通过图形化界面便捷地管理Kafka集群。本文为您介绍如何访问Kafka Manager的WebUI，并将集群添加至Kafka Manager的WebUI界面。前提条件 已创建选择了Kafka服务的...
支持的前端构建工具类型 目前 RUM Web&H5 SourceMap 自动解析功能支持以下前端构建工具：Webpack Vite 使用RUM前端构建工具插件 Webpack 安装 RUM Webpack 前端构建工具插件 npm 包。npm install@arms/rum-webpack-plugin-save 在 Webpack ...
支持的前端构建工具类型 目前 RUM Web&H5 SourceMap 自动解析功能支持以下前端构建工具：Webpack Vite 使用RUM前端构建工具插件 Webpack 安装 RUM Webpack 前端构建工具插件 npm 包。npm install@arms/rum-webpack-plugin-save 在 Webpack ...
Jupyter Notebook是一个强大的交互式开发工具，您可以在Web界面中即时编写和执行代码，并实时查看结果，无需进行预编译或单独执行脚本。本文将为您介绍如何构建高效的与Serverless Spark交互的开发环境。背景信息 Apache Livy通过REST接口...