本文将为您介绍如何使用Hadoop作为元仓计算引擎进行元仓初始化。前提条件 以Hadoop作为元仓时，需开放元数据库或提供Hive Metastore服务，用于获取元数据。背景信息 Dataphin支持通过直连元数据库或Hive Metastore Service服务方式获取...
cd$HADOOP_HOME vim etc/hadoop/hadoop-env.sh 将${JAVA_HOME} 替换为实际路径。export JAVA_HOME=usr/lib/jvm/java-1.8.0-openjdk 可选：如果提示目录不存在，请执行以下命令，使环境变量生效。cd$HADOOP_HOME/etc/hadoop 更新配置文件 ...
在使用阿里云EMR Serverless Spark的Notebook时，您可以通过Hadoop命令直接访问OSS或OSS-HDFS数据源。本文将详细介绍如何通过Hadoop命令操作OSS/OSS-HDFS。前提条件 EMR Serverless Spark环境准备：已创建Notebook会话，本文引擎版本以esr-...
概述 本文为您介绍Dataphin如何使用一个Hadoop集群为所有项目创建计算源从而提供计算与存储资源。详细信息 1.Dataphin一个计算源只可以被一个项目所绑定。2.通过创建不同的Hive DB从而创建不同的计算源来达到一个Hadoop集群创建多个计算源...
如果您希望通过命令行的方式在开通OSS-HDFS服务的Bucket中执行上传、下载、删除等相关操作，您可以使用Hadoop Shell的方式。环境准备 您可以选择以下任意一种方式访问OSS-HDFS服务。通过阿里云EMR访问OSS-HDFS服务，确保已创建EMR-3.46.2及...
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用hadoop fs命令来对HDFS中的文件进行操作。本文为您介绍HDFS的常见命令。前提条件 在执行任何命令前，请确保已满足以下条件：集群访问：已通过SSH等方式 登录集群 的某一台节点...
步骤三：数据迁移 为Hadoop集群挂载好 文件存储 HDFS 版 实例和安装OSS客户端Jindo SDK后，使用Hadoop MapReduce任务（DistCp）即可实现数据迁移。迁移数据的操作如下所示。实践一：将 文件存储 HDFS 版 上的数据迁移至对象存储OSS 执行...
建议使用最新版SDK-version 1.0.5/version/dependency/dependencies 应用初始化 在使用Hadoop FileSystem API访问 文件存储 HDFS 版 文件系统之前，需要先确保已加载 文件存储 HDFS 版 相关的配置，然后再实例化FileSystem。初始化代码样...
建议您使用的Hadoop版本不低于2.7.3，本文档中使用的Hadoop版本为Apache Hadoop 2.7.3，修改Hadoop配置信息，详情参见 使用开源HDFS客户端访问。在Hadoop集群所有节点上安装JDK，本操作要求JDK版本不低于1.8。在Hadoop集群安装OSS客户端...
迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...
集群之间的HDFS数据迁移需要先确保网络的打通，然后再使用Hadoop DistCp工具进行迁移，具体操作请参见 E-MapReduce数据迁移方案。出现ACLs not supported on at least one file system异常，如何处理？具体报错：org.apache.hadoop.tools....
开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...
您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件，从而避免配置明文AccessKey，根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里云E-...
hdfs dfs-ls/-mkdir/-put/.oss:/ossPath 使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org....
hdfs dfs-ls/-mkdir/-put/.oss:/ossPath 使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org....
hdfs dfs-ls/-mkdir/-put/.oss:/ossPath 使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org....
hdfs dfs-ls/-mkdir/-put/.oss:/ossPath 使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org....
hdfs dfs-ls/-mkdir/-put/.oss:/ossPath 使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org....
hdfs dfs-ls/-mkdir/-put/.oss:/ossPath 使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org....
hdfs dfs-ls/-mkdir/-put/.oss:/ossPath 使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org....
hdfs dfs-ls/-mkdir/-put/.oss:/ossPath 使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org....
hdfs dfs-ls/-mkdir/-put/.oss:/ossPath 使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org....
hdfs dfs-ls/-mkdir/-put/.oss:/ossPath 使用Hadoop FileSystem访问OSS。JindoFS SDK支持使用Hadoop FileSystem访问OSS，示例代码如下。import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org....
alidfs.use.buffer.size.setting 文件存储HDFS版 是否使用Hadoop默认的 buffer size 值。取值范围如下：false：使用 alidfs.default.write.buffer.size 和 alidfs.default.read.buffer.size 配置的值。true：使用Hadoop默认的 buffer size ...
前提条件 已完成系统元数据的初始化，请参见 使用Hadoop作为元仓计算引擎进行元仓初始化。操作步骤 使用超级管理员账号，登录Dataphin控制台。在Dataphin首页的顶部菜单栏中，选择 管理中心 系统设置。在 计算设置 页面，选择Hadoop类型的...
本文主要介绍在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Tez。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
vim/usr/local/hadoop-2.7.2/etc/hadoop/hadoop-env.sh 配置JAVA_HOME目录，如下所示。export JAVA_HOME=usr/java/default 修改core-site.xml配置文件。执行以下命令打开core-site.xml配置文件。vim/usr/local/hadoop-2.7.2/etc/hadoop/...
vim/usr/local/hadoop-2.7.2/etc/hadoop/hadoop-env.sh 配置JAVA_HOME目录，如下所示。export JAVA_HOME=usr/java/default 修改core-site.xml配置文件。执行以下命令打开core-site.xml配置文件。vim/usr/local/hadoop-2.7.2/etc/hadoop/...
您可以选择使用Hadoop OSS SDK、Hadoop S3 SDK或JindoSDK来访问OSS，本文演示用的容器镜像根据如下示例Dockerfile构建。关于容器镜像服务构建镜像请参见 使用企业版实例构建镜像。说明 示例Dockerfile文件中使用的Spark基础镜像来自于开源...
背景信息 您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件，从而避免配置明文AccessKey，根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里...
背景信息 您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件，从而避免配置明文AccessKey，根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里...
在Notebook中使用Hadoop命令操作OSS/OSS-HDFS 流任务和批处理任务已对接云监控，支持任务超时与失败告警功能。订阅系统事件通知 SparkSQL任务支持返回并访问对应的Spark UI链接。访问Spark UI 支持多个Notebook共享使用Notebook会话实例。...
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
如果迁移的数据量较小，可以使用 hadoop fs-cp 命令进行数据迁移。请将xxx:/xxxx.xxxxx.xxx/*替换为原数据路径。请将f-095d7371d*.cn-*.dfs.aliyuncs.com替换为您的文件存储HDFS版挂载点域名。hadoop fs-cp-p xxx:/xxxx.xxxxx.xxx/*dfs:/f-...
HDFS文件路径 路径格式如下：HDFS:/user_name@host:port/path_to/file 其中：如果不指定 user_name 参数，会自动使用"hadoop。host 为HDFS配置文件中的RPC访问地址与接口。说明 为保证数据导入可访问性和性能，请确保云数据库与HDFS所在...
HDFS文件路径 路径格式如下：HDFS:/user_name@host:port/path_to/file 其中：如果不指定 user_name 参数，会自动使用"hadoop。host 为HDFS配置文件中的RPC访问地址与接口。说明 为保证数据导入可访问性和性能，请确保云数据库与HDFS所在...
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用Alluxio Shell命令来对Alluxio中的文件进行操作，也可以使用Hadoop Shell命令操作Alluxio中的文件。本文为您介绍Alluxio的常见命令。前提条件 已创建集群，并选择了Alluxio服务...
本文使用Hadoop-2.10.1和HBase-2.3.7测试验证。更多信息，请参见 HBase官网Hadoop版本兼容性说明。说明 如果您使用的是阿里云E-MapReduce中内置的HBase，请参见 在文件存储HDFS版上使用E-MapReduce。步骤一：Hadoop集群挂载 文件存储 HDFS ...
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中，您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...