为了更好地融入开源生态，提供更加开放和多样化的计算服务，阿里云E-MapReduce（简称EMR）从EMR-5.17.0和EMR-3.51.0版本开始，将Flink引擎版本从Flink企业版Ververica Runtime（简称VVR）调整为Flink社区开源版本，同时引入RocksDB作为存储...
云平台一键迁移功能可以快速完成服务器的迁移任务，避免您手动登录源服务器、下载SMC客户端等繁琐的操作，提高服务器的迁移效率。本文档介绍如何通过控制台一键迁移的方式将您的Windows或Linux服务器（包括腾讯云服务器和AWS云服务器）迁移...
rm-rf/tmp/*rm-rf/var/log/syslog.*#例如删除旧的syslog文件 内存不足 可以先暂停部分业务程序，例如，暂停Java程序或者Nginx进程等来释放内存空间，等迁移完成后再手动拉起被暂停的业务进程。ps aux|grep nginx#查看Nginx进程PID kill-...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
本文介绍服务器迁移中心SMC相关的常见问题及解决方案。计费问题 SMC是如何收费的？通用问题 SMC服务域名有哪些？迁移源问题 如何选择导入迁移源方式？如何查找迁移源？我想要重新导入迁移源，怎么办？为什么无法删除迁移源？如何安装Rsync...
重置系统可以重新安装轻量应用服务器的应用或者操作系统，达到重新初始化服务器的目的。重置系统有两种选择，重置当前系统和重置为其他镜像。前提条件 轻量应用服务器的状态为 运行中 或 已停机。影响说明 影响项 说明 系统盘 重置系统后，...
轻量应用服务器 已接入阿里云云安全中心，云安全中心通过防勒索、防病毒、防篡改、合规检查等安全能力，实现威胁检测、告警响应、攻击溯源的自动化安全运营闭环，保护您的 轻量应用服务器 的安全。背景信息 云安全中心是一个实时识别、分析...
说明 当选择了Kafka服务，系统将默认安装Kafka Manager软件服务，并开启Kafka Manager的认证功能。注意事项 使用Kafka Manager进行partition reassign功能时，当前版本的Kafka Manager是没有提供限流功能的。如果需要限流，您可以通过 ...
查询syslog日志。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，...
EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
Syslog is an industry-standard protocol that can be used to record device logs.Syslog is commonly used in network management tools,security management systems,and log audit systems.This topic describes how to use the Grok ...
Syslog is a widely used log transport protocol.Most security information and event management(SIEM)platforms use syslog to receive logs,such as IBM QRadar and HP ArcSight.This topic describes how to use Function Compute to...
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
由于业务的需要，您可以将ECS实例中部署的网站程序迁移至轻量应用服务器。本文介绍如何迁移ECS实例至轻量应用服务器。前提条件 已创建与ECS实例操作系统版本相同的轻量应用服务器。具体操作，请参见 创建轻量应用服务器。说明 如果您已创建...
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
Livy支持提交Spark作业或者Spark代码片段，同步或者异步的进行结果检索以及Spark Context上下文管理，Livy简化了Spark和应用程序服务器之间的交互，从而使Spark能够用于交互式Web或移动应用程序。背景信息 Livy还支持如下功能：长时间运行...
MaxKB（Max Knowledge Base）是一款基于大语言模型和RAG的开源知识库问答系统，广泛应用于企业内部知识库、客户服务、学术研究与教育等场景。本文主要介绍使用MaxKB应用镜像快速搭建基于大语言模型的知识库问答系统。说明 关于MaxKB的更多...
EMR Serverless StarRocks兼容开源StarRocks的SQL语法和函数，您可以参考以下文档进行开发设计。StarRocks版本 参考文档 3.3系列 SQL参考 函数参考 3.2系列 SQL参考 函数参考 2.5系列 SQL参考 函数参考
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
StarRocks 软件栈自身服务的稳定性及服务保障。自定义环境与长期运行的离线作业 需要完全掌控集群资源和配置。EMR on ECS 提供全面的集群和组件服务管控能力，包括但不限于ECS故障补偿、弹性伸缩、智能诊断等。集成 Hadoop、Spark、Flink、...
在账单详情页签中，设置 账单月份，并在列表中筛选产品为 开源大数据平台 E-MapReduce，然后基于您的实际需求选择产品明细。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细内容，可参见费用与成本的 账单管理。相关文档 ...
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
在 后端服务器 配置向导，选择后端服务器类型为 虚拟服务器组。选择服务器组 下拉列表中，选择 新建虚拟服务器组。输入 虚拟服务器组名称。单击 添加。在 我的服务器 面板中，选择StarRocks的3个FE节点，单击 下一步。说明 您可以参见 快速...
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 E-MapReduce 版本号 说明 2021-03-20 推荐使用。EMR Workbench 版本号 说明 2024-04-30 推荐使用...
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
重要 TCP监听所使用的虚拟服务器组，其端口应为ClickHouse通过TCP连接到服务器的端口，默认为9000。您可以在EMR控制台ClickHouse服务的 配置 页面，在搜索区域搜索 tcp_port 参数，参数值即为TCP端口。HTTP监听所使用的虚拟服务器组，其...
云·原生建站-容器版是一款可自定义、集成扩展多应用及云资源的容器镜像，支持通过绑定轻量应用服务器的公网IP，实现多元化应用的独立部署，满足企业用户对深度定制和系统功能调用的需求，从而实现一平台个性化管理多应用，该产品需与建站...
当集群不再使用时，您可以释放集群以删除对应的Namespace以及该Namespace下的所有软件服务，但不会释放实际的物理资源。本文为您介绍如何释放集群。前提条件 请确保待释放集群的状态是创建中、运行中或空闲中。操作步骤 登录 EMR on ACK。...
随着业务的发展，已购买的服务器的计算资源（vCPU、内存）、存储资源（系统盘容量）以及网络资源（流量配额、公网带宽），可能出现不再满足业务需求的情况，您可以选择合适的套餐升级轻量应用服务器的配置。使用限制 仅支持升配，不支持降...
您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码均为admin，请您登录后及时修改密码。说明 首次登录后默认是英文界面。在Superset页面，单击右上角的 图标，选择 ...
本文为您介绍开源组件常用端口。服务 端口 描述 Hadoop 2.X 50070 HDFS Web UI的端口。配置参数为 dfs.namenode.http-address 或 dfs.http.address 。说明 dfs.http.address 已过期但仍能使用。50075 DataNode Web UI的端口。50010 ...
Dify是一款开源的大语言模型LLM（Large Language Model）应用开发平台，您可以通过Dify将企业或个人的知识库集成到大模型应用中，创建定制化的AI问答解决方案，同时也可将其集成到您的业务环境中，提升用户体验。本文主要介绍使用Dify应用...
在 服务器 页面中，找到需要创建快照的服务器，单击服务器卡片中的实例ID。单击 磁盘 页签，进入磁盘页面。在数据盘的 操作 列，单击 创建快照。在 创建快照 对话框，确认磁盘信息并设置快照名称，然后单击 确定。步骤二：扩容数据盘 访问 ...
组件 Kudu包含如下两种类型的组件：Master Server：负责管理元数据，其中包括Tablet Server的服务器信息和Tablet的信息。Master Server通过Raft协议实现高可用性。Tablet Server：用来存储Tablets，每个Tablet存在多个副本，副本之间通过...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 Web 界面...
ECS Bare Metal：弹性裸金属服务器。Super Computing Cluster：超级计算集群。Compute-optimized CpuArchitecture string CPU 架构。取值范围：X86：X86 架构。ARM：ARM 架构。X86 LocalStorageCapacity long 实例挂载的本地盘的单盘容量。...