当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
开源应用的调试过程中需要使用开源UI，MaxCompute Spark提供原生的开源实时UI和查询历史日志的功能。其中，对于部分开源应用还支持交互式体验，在后台引擎运行后即可进行实时交互。系统结构 MaxCompute Spark是阿里云通过Spark on ...
本文介绍从x86平台应用软件迁移到倚天云服务器的场景说明。软件迁移主要包含以下两种...当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请参见 开源软件迁移。
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
可能原因 MSE Nacos在开启鉴权功能时，使用的是 阿里云RAM控制台，不支持开源的默认鉴权插件。在开启RAM鉴权后，开源控制台也因为缺少RAM用户信息，导致控制台无法使用。关于MSE Nacos鉴权功能的详细信息，请参见 Nacos Client访问鉴权。...
无法直接引入开源的 XML，需要换头。模块化开发 支持新的模块格式，不兼容 Sofa3 和 Sofa4 模块。支持新的模块格式，不兼容 Sofa3 和 Sofa4 模块。扩展点支持 支持 说明 从 2.6.0 版本开始支持。支持 说明 从 3.1.0 版本开始支持。SOFA MVC...
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
在云监控的事件监控模块中，您可以订阅E-MapReduce数据开发相关的系统事件，监控集群的核心组件服务状态。云监控系统事件编码及其含义如下。事件编码 事件描述 事件类型 EMR-110401002 工作流已成功。FLOW EMR-110401003 工作流已提交。...
阿里云CLI 支持 阿里云命令行工具（Alibaba Cloud Command Line Interface）是在Alibaba Cloud SDK for Go之上构建的开源工具。阿里云CLI提供了对阿里云云产品OpenAPI的直接访问。您可以在命令行Shell中，使用 aliyun 命令与阿里云服务进行...
支持中英双语和多种插件的开源对话语言模型 moss-moon-003-sft ChatGLM2开源双语对话语言模型 chatglm-6b-v2 ChatGLM2是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等诸多优秀特性的基础之上，...
E-MapReduce（简称EMR）会记录当前集群资源发生的系统事件，并自动将其同步到云监控服务。您可以在EMR控制台查看集群的事件，并在云监控控制台中设置事件告警。使用限制 当前仅展示EMR on ECS中DataLake、DataFlow、OLAP、DataServing和...
false SpotInstanceRemedy boolean 开启补齐抢占式实例后，当收到抢占式实例将被回收的系统消息时，伸缩组将尝试创建新的实例，替换掉将被回收的抢占式实例。取值范围：true：开启补齐抢占式实例。false：不开启补齐抢占式实例。默认值：...
文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线分析元数据信息，而JindoFS无需下载元数据信息至本地。上传文件系统元数据至OSS 使用...
文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线分析元数据信息，而JindoFS无需下载元数据信息至本地。上传文件系统元数据至OSS 使用...
JindoManager系统管理 支持通过UI来查看JindoFS存储系统上的系统状态、文件统计和缓存系统上的缓存指标统计。JindoTools工具集 改进Jindo DistCp工具的分发机制，针对EMR集群内使用场景和非EMR集群环境使用场景，分别使用不同的发行包。...
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
Apache Flume是一个分布式、可靠和高可用的系统，可以从大量不同的数据源有效地收集、聚合和移动日志数据，从而集中式的存储数据。使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将...
false SpotInstanceRemedy boolean 开启后，当收到抢占式实例将被回收的系统消息时，伸缩组将尝试创建新的实例，替换掉将被回收的抢占式实例。取值范围：true：开启补齐抢占式实例。false：不开启补齐抢占式实例。默认值：false。true ...
HBASE-HDFS服务 HDFS作为Hadoop生态系统的核心组件，提供了可靠的分布式文件存储功能。HBase-HDFS服务通过使用HDFS作为其底层数据存储解决方案，继承了HDFS的所有原生特性和优势，未对其基本架构进行修改。HDFS更多信息介绍，请参见 HDFS...
磁盘角色 描述 系统盘 系统盘用于安装操作系统。E-MapReduce默认使用ESSD云盘作为集群的系统盘。系统盘默认是一块。数据盘 数据盘用于保存数据。Master实例默认挂载1块云盘作为数据盘，Core实例默认挂载4块云盘作为数据盘。云盘与本地盘 E-...
Spark中读写JindoFS上的数据，与处理其他文件系统的数据类似，以RDD操作为例，直接使用jfs的路径即可：val a=sc.textFile("jfs:/emr-jfs/README.md")写入数据：scala>a.collect().saveAsTextFile("jfs:/emr-jfs/output")SparkSQL 创建数据...
如果结合上游系统的At-Least-Once语义，则可以实现导入数据的Exactly-Once语义。同步及异步导入 导入方式分为同步和异步。对于同步导入方式，返回结果即表示导入成功还是失败。而对于异步导入方式，返回成功仅代表作业提交成功，不代表数据...
基本概念 名称 描述 NameNode 用于管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息，记录写入的每个数据块（Block）与其归属文件的对应关系。此信息以命名空间镜像（FSImage）和编辑日志（EditsLog）两种形式持久化在本地...
创建E-MapReduce集群时，系统会自动为ECS节点绑定两个系统标签。通过登录 云服务器ECS控制台，在实例列表中将鼠标移动到对应ECS节点的标签图标上，可以查看该ECS节点属于哪个集群以及在集群中的角色。例如，某个ECS节点上的系统标签如下：...
默认值 系统的预设值。当前值 参数当前时刻的数值。单位 参数的单位。参数值范围 参数的取值范围。是否重启 该参数发生变更时是否需要重启实例。操作 可以编辑当前参数的参数值。修改配置信息 在 实例配置 页面，找到待修改的配置项。您...
在使用EMR StarRocks时，您可以根据业务负载和性能需求的动态变化，灵活地增加或减少集群中Backend（BE）节点的数量，以实现资源的最优配置和系统的高效运行。本文为您介绍如何扩容和缩容StarRocks集群的BE节点。前提条件 已创建集群，详情...
良好：0存在隐患：90异常：95百分比 host_system_environment_check 检测重要的系统环境，例如/etc/hostname，/etc/resolve.conf等文件，以及Java、Python的版本。无阈值，有一个系统环境检测异常即为异常。host_application_environment_...
执行以下命令，查看Jindo文件系统的根目录下的文件和目录。hadoop fs-ls jindo:/master-1-1:8101/例如，返回/oss 目录。bashdrwxrwxr-x-root root 0 1970-01-01 00:00 jindo:/oss 您可以执行以下命令，访问/oss 路径下的文件和目录的详细...
例如，既支持与Block模式一致的使用方式，也支持原有OSS文件系统的使用方式，以满足用户不同的需要，详情请参见 JindoFS缓存模式使用说明。支持权限 Block模式支持Unix权限和Ranger权限两种文件系统权限功能：Unix权限：可以使用文件的777...
CU对应Serverless Spark底层系统的CPU计算能力。一个计算任务的CU使用量取决于该任务的实际处理的数据量、计算复杂程度，以及处理的数据分布情况。您可以根据业务规模和数据量合理评估需要的资源数据。基础版工作空间1 CU的处理能力如下表...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
特性 描述 JindoFS支持多云和S3协议及缓存加速 JindoFS实现对S3协议的支持，具备访问亚马逊S3及其他S3协议系统的能力，并且还支持缓存加速功能，使访问更高效。JindoFS支持HDFS缓存加速 JindoFS访问HDFS新增支持缓存加速，使访问更高效。...
应用场景 JindoFS外部客户端实现了Hadoop文件系统的接口，在用户程序跟E-MapReduce JindoFS Namespace服务网络相通的情况下，用户可以通过JindoFS外部客户端去访问JindoFS上存储的数据，但外部客户端不能利用E-MapReduce JindoFS的数据缓存...
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...