自研组件 为了让开源大数据组件和服务更好地运行在阿里云基础设施上，EMR提供的自研组件如下：OSS-HDFS：兼容Hadoop分布式文件系统接口的对象存储解决方案，支持大数据计算任务通过标准HDFS协议直接访问阿里云OSS的数据。JindoCache：分布...
在 EMR Serverless Spark 页面，单击左侧导航栏中的 文件管理。在 托管文件目录 页面，单击 上传文件。在 上传文件 对话框中，单击待上传文件区域选择本地文件，或者直接拖拽目标文件到待上传文件区域。管理文件及文件夹 在 托管文件目录 ...
内容管理系统 WordPress：广泛使用的开源博客和内容管理系统，常用于快速搭建网站和博客。应用栈/组合环境 LAMP：Linux、Apache、MySQL、PHP的组合环境，主要用于部署动态网站。LNMP：Linux、Nginx、MySQL、PHP的组合环境，类似于LAMP，但...
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用Alluxio Shell命令来对Alluxio中的文件进行操作，也可以使用Hadoop Shell命令操作Alluxio中的文件。本文为您介绍Alluxio的常见命令。前提条件 已创建集群，并选择了Alluxio服务...
本文以OSS为例，介绍如何将Hadoop文件系统上的数据迁移至JindoFS。迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs...
您可以通过SSH方式或者Workbench等其他连接...相关文档 为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放，您可以通过以下方式访问开源组件的Web界面：SSH隧道访问开源组件Web界面 通过控制台访问开源组件Web界面
通过E-MapReduce控制台的 用户管理 模块创建的用户登录Web UI时，默认为User角色，无法访问Connections和Variables等界面。您可以按照以下步骤为角色添加admin权限后，即可正常访问Connections和Variables等界面。执行以下命令，进入...
在EMR集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web界面端口均未对外开放。如果您想直接访问开源组件的Web界面，可根据实际场景选择 原生UI地址、Knox代理地址、SSH本地端口转发 或 SSH动态端口转发 方式进行访问。快速...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
加密系统盘后，系统盘上的操作系统、程序文件及其他系统相关数据将会被加密。如果您的业务存在安全合规要求，则可以使用该功能。您无需自建和维护密钥管理基础设施，就能保护数据的隐私性和自主性，为业务数据提供安全边界。背景信息 系统...
产品定价 2021年 功能名称 功能概述 相关文档 支持文件管理器管理文件功能 为了更方便地管理网站文件，增强版云虚拟主机推出文件管理器功能，您无需下载FTP客户端，可直接使用主机管理控制台上的文件管理器来实现文件的管理。使用文件管理...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理 页面，创建或者上传了相应的文件。选择所需文件后，您可以在任务脚本中通过完整路径引用它们。例如，path/to/test.txt。自定义参数 任务自定义参数，会替换脚本中${...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
警告 该模式会直接影响EMR集群的文件系统或运行环境，请谨慎操作。使用该模式，您还可以选择配置以下参数：调度队列：指定任务提交的YARN队列。任务执行容器内存（MB）：指定任务执行容器的内存。默认值为1024。虚拟核数：指定任务执行容器...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
delete操作（默认）将同时删除Alluxio和底层文件系统中的文件，而free操作仅仅删除Alluxio中的文件。语法 alluxio fs setTtl[-action delete|free]path time to live 示例：一分钟后，tmp 目录将被删除。alluxio fs setTtl/tmp 60000 返回...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
Drupal 8.5.6 8.3.7 Drupal是一个开源的，且非常优秀的内容管理系统（CMS）平台，用于构造提供多种功能和服务的动态网站，它综合了强大并可以配置的功能，能支持从个人博客到大型社区等各种不同应用的网站项目。该镜像基于CentOS 7 64位...
本文为您介绍开源组件常用端口。服务 端口 描述 Hadoop 2.X 50070 HDFS Web UI的端口。配置参数为 dfs.namenode.http-address 或 dfs.http.address 。说明 dfs.http.address 已过期但仍能使用。50075 DataNode Web UI的端口。50010 ...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
在您使用 Web应用防火墙（Web Application Firewall，简称WAF）3.0时，可以通过规则库管理查看系统内置的所有防护规则，以及配置适用于混合云防护的自定义防护规则。本文介绍了如何通过规则库管理功能配置您的自定义防护规则。系统防护规则...
通过云端控制台统一WAF管理平台，实现防护规则管理、安全运维和安全服务管理、系统升级等产品能力。混合云WAF支持集群式部署模式和独立节点部署模式。混合云WAF通过反向代理模式，对所有访问请求进行安全检测，并支持对后端服务器的业务...
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
YARN是一个分布式的资源管理系统。YARN是Hadoop系统的核心组件，主要功能包括负责在集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配...
cd/opt/apps/KNOX/knox-current/templates sh ldap-sample-users.sh 访问Web UI 访问Web UI的详情，请参见 通过控制台访问开源组件Web界面。常见问题 Q：Knox组件异常停止，启动Knox的时候报错 Failed to start gateway:org.apache.hadoop....
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
Kafka Manager是专为Kafka设计的集群管理工具，提供了WebUI界面，允许用户通过图形化界面便捷地管理Kafka集群。本文为您介绍如何访问Kafka Manager的WebUI，并将集群添加至Kafka Manager的WebUI界面。前提条件 已创建选择了Kafka服务的...
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
通过工作空间，您可以创建和编辑Notebook文件，方便地上传和下载文件，与其他用户共享Notebook和数据，并灵活地管理访问权限。前提条件 已完成系统角色授权，详情请参见 EMR Notebook角色授权。账号与访问权限 账号类型 说明 阿里云账号...
基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。更多信息，请参见 什么是OSS-HDFS服务。JindoData是阿里云开源大数据团队自研的数据湖存储加速...
资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理 页面，创建或者上传了相应的文件。选择所需文件后，您可以在任务脚本中通过完整路径引用它们。例如，path/to/test.txt。自定义参数 任务自定义参数，会替换脚本中${...
如果其他参数中引用了资源文件，需要选择在 资源中心 的 文件管理 页面，创建或者上传的文件。自定义参数 任务自定义参数，会替换脚本中${变量} 的内容。更多参数配置信息，请参见 参数说明。在 手动任务定义 页面，单击目标任务操作列的 ...