文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线分析元数据信息，而JindoFS无需下载元数据信息至本地。上传文件系统元数据至OSS 使用...
SmartData的2.6.0-2.7.2版本，包含多个重大...支持权限 Block模式支持Unix权限和Ranger权限两种文件系统权限功能：Unix权限：可以使用文件的777权限。Ranger权限：可以使用Ranger路径通配符等高级配置。权限功能详细请参见 JindoFS权限功能。
特性 描述 支持访问Amazon S3文件系统 JindoFS客户端支持了Amazon S3文件系统，可以用来访问Amazon S3上的数据。支持OSS PrefixLink特性 JindoFS客户端支持了OSS PrefixLink特性，通过提升Rename性能，能够有效加速Hive作业，特别对于Hive ...
其他 文件管理支持创建文件夹。Spark配置输入框支持添加注释。spark_submit命令支持在提交后展示Spark Driver。引擎侧 版本号 说明 esr-3.0.0(Spark 3.4.3,Scala 2.12)Fusion加速 支持Parquet读取复杂数据类型。支持Parquet写表（esr-3.0.0...
fs.oss.impl EMR-3.24.0及后续版本：com.aliyun.emr.fs.oss.JindoOssFileSystem EMR-3.24.0之前版本：com.aliyun.fs.oss.nat.NativeOssFileSystem OSS文件系统实现类。io.compression.codec.snappy.native false 标识Snappy文件是否为标准...
操作流程 步骤一：环境准备 步骤二：添加UDF 步骤三：删除UDF 步骤一：环境准备 将UDF对应的JAR包文件放在对应的文件系统中。目前UDF文件支持以下两种方式：方式一：将UDF的全部内容打成一个JAR包（例如，udfjar.jar），上传到文件系统中。...
概念 块存储模式提供了最为高效的数据读写能力和元数据访问能力，并且能够支持更加全面的Hadoop文件系统语义。同时，JindoFS也提供了外部客户端，能够从集群外部访问建立在E-MapReduce集群内的JindoFS文件系统。数据以Block形式存储在后端...
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用Alluxio Shell命令来对Alluxio中的文件进行操作，也可以使用Hadoop Shell命令操作Alluxio中的文件。本文为您介绍Alluxio的常见命令。前提条件 已创建集群，并选择了Alluxio服务...
本文以OSS为例，介绍如何将Hadoop文件系统上的数据迁移至JindoFS。迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
警告 该模式会直接影响EMR集群的文件系统或运行环境，请谨慎操作。使用该模式，您还可以选择配置以下参数：调度队列：指定任务提交的YARN队列。任务执行容器内存（MB）：指定任务执行容器的内存。默认值为1024。虚拟核数：指定任务执行容器...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
警告 该模式会直接影响EMR集群的文件系统或运行环境，请谨慎操作。使用该模式，您还可以选择配置以下参数：调度队列：指定任务提交的YARN队列。任务执行容器内存（MB）：指定任务执行容器的内存。默认值为1024。虚拟核数：指定任务执行容器...
字段名称 字段说明 uid 用户名 region 地域 device 终端类型 pv 浏览量 gender 性别 age_range 年龄分段 Zodiac 星座 更多操作 操作 描述 文档 元数据管理 通过 数据地图概述 模块，对源端表数据进行元数据管理与查看。管理数据 消费数据 ...
管理SQL会话 管理Notebook会话 管理Spark Thrift Server会话 文件管理 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。管理Notebook会话 管理文件 任务编排 支持设置工作流、节点级别的自定义变量，可简化代码的维护和...
该服务基于统一的元数据管理能力，完全兼容HDFS文件系统接口。此外，由于数据存储在OSS中，OSS-HDFS服务完美地继承了OSS的数据保护功能。在EMR集群中内置了JindoSDK，各相关组件已完全支持OSS-HDFS，详情请参见 数据湖生态接入。客户仅需...
因为EMR表管理功能仅支持基于OSS文件系统创建数据库和表，所以 数据来源 设置为 OSS。数据库和表的文件路径不能选择整个OSS bucket，需要选择到OSS bucket的下级目录。单击 确定。您可以单击 任务列表，查看执行结果。当 状态 为 成功 时，...
本策略定义了管理系统运维管理（OOS）的权限。查看策略详情 AliyunOOSReadOnlyAccess 您可以将 AliyunOOSReadOnlyAccess 策略授权给RAM身份。本策略定义了只读访问系统运维管理（OOS）的权限。查看策略详情 服务角色策略 ...
全托管Spark 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。产品文档 管理Notebook会话
开源身份验证和权限管理方式 由于开源RabbitMQ和 云消息队列 RabbitMQ 版 存在一定的差异，rabbit_version、parameters、global_parameters 和 policies 元数据不支持导入 云消息队列 RabbitMQ 版 实例，在导入时会被自动忽略。禁止导入...
OpenLDAP是一种开源软件，您可以使用OpenLDAP提供的命令行工具ldapadd、ldapdelete、ldapmodify等来管理用户，使用ldif文件进行用户管理。这种方式需要参考OpenLDAP开源社区的文档来进行操作。开源文档请参见 OpenLDAP。
本文档主要介绍 系统运维管理 C#SDK的安装和使用，适用于1.0版本。请确保您已经开通了阿里云 系统运维管理，并创建了AccessKeyId和AccessKeySecret。如果您还没有开通或者还不了解阿里云 系统运维管理，请登录 系统运维管理 管理控制台 ...
本文档主要介绍系统运维管理Python SDK的安装和使用。请确保您已经开通了阿里云系统运维管理，并创建了AccessKeyId和AccessKeySecret。如果您还没有开通或者还不了解阿里云系统运维管理，请登录 系统运维管理 OOS（CloudOps Orchestration ...
平台侧 功能分类 功能更新说明 相关文档 密文管理 新增支持工作空间级别的密文管理，避免明文AccessKey、密码等信息带来的安全风险。通过密文管理敏感信息 运行环境管理 新增支持按照指定Python版本配置运行环境。管理运行环境 纳管文件...
使用 系统运维管理 SDK之前，您需要：了解并开通阿里云 系统运维管理，详情请参见 什么是系统运维管理。创建AccessKey。系统运维管理 支持以下主流语言的SDK包。语言 参考文档 Python 简介 Java 简介 Go 简介 C#简介 相关链接 阿里云开发者...
Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop YARN是默认的Haodop资源管理器，是一个通用的资源管理和调度系统。ZKConfigurationStore是YARN CapacityScheduler调度器用于从ZooKeeper获取...
本文档主要介绍 系统运维管理 Go SDK的安装和使用，适用于1.0版本。请确保您已经开通了阿里云 系统运维管理 OOS（CloudOps Orchestration Service），并创建了AccessKeyId和AccessKeySecret。如果您还没有开通或者还不了解阿里云 系统运维...
在进行按量付费节点组的扩容时，系统将尽最大努力交付所有创建成功的节点。适用客户 全网用户 新增功能/规格 在进行按量付费节点组的扩容时，如果ECS库存不足或ECS服务部署失败，系统将尽最大努力交付所有创建成功的...产品文档 管理尽力交付