本文为您介绍如何使用阿里云JindoDistCp从HDFS迁移数据到OSS/OSS-HDFS。前提条件已根据JindoDistCp使用说明进行环境适配和工具包下载。注意事项JindoSDK 4.4.0及以上版本...
Spark对接OSS提供了高效、灵活的数据处理和分析方式，将大数据处理和云存储相结合。本文介绍Spark如何处理和分析OSS中的数据。背景信息当前E-MapReduce：支持MetaService...
清理回收站目录EMR主要有HDFS、OSS-HDFS、OSS和JindoFS Block模式（jfs:/）四种存储方式，对应的清理规则如下：HDFS：EMR通常默认1440分钟，即放入1天后会自动清理。...
步骤一：共享文件夹您需要将您的ECS实例按照以下方法将文件夹共享出来：说明在线数据迁移只支持专有网络下的ECS实例数据迁移，经典网络不支持。以下步骤仅供您参考。...
例如，指定OSS、OSS-HDFS、Amazon S 3、COS或OBS的AccessKey ID和AccessKey Secret。以OSS为例，配置示例如下。configuration property name fs.oss.accessKeyId/name value xxx/value/...
JindoTable工具可以将Hive数据根据分区键规则筛选，在HDFS和OSS-HDFS之间转移分区。本文介绍如何使用JindoTable将Hive表和分区数据迁移到OSS-HDFS。前提条件已创建EMR-...
本文为您介绍如何将MapReduce和Spark作业日志配置到JindoFS或OSS上。背景信息E-MapReduce集群支持按量计费以及包年包月的付费方式，满足不同用户的使用需求。对于按量...
前提条件已开通OSS服务并创建OSS存储空间，详情请参见开通OSS服务和创建存储空间。已创建DataLake集群，并且选择了Flume服务，详情请参见创建集群。已创建DataFlow集群，...
方式操作方法一新增参数oss.endpoint-name.endpoint、oss.endpoint-name.access_key_id和oss.endpoint-name.secret_access_key及其对应的参数值。说明参数中的endpoint-name需要替换...
本文为您介绍JindoSDK访问OSS出现AccessDenied问题的原因和解决方法。问题详情Failed test connectivity,operation:getFileStatus,errMsg:[RequestId]:635 B 6 DDE 9 A 1 F 093434 AC 6 A...
JindoCache支持免密访问OSS，但如果需跨账户访问OSS，则需配置权限，包括AccessKey ID、AccessKey Secret和Endpoint等相关信息。进入JindoCache服务的common页签。登录E-...
JindoCache支持免密访问OSS-HDFS，但如果需跨账户访问OSS-HDFS，则需配置权限，包括AccessKey ID、AccessKey Secret和Endpoint等相关信息。进入JindoCache服务的common页签。...
本文介绍了JindoTable中的archiveTable和unarchiveTable命令，这两个命令可以用于对OSS上的表或分区进行归档和解冻操作。使用限制该文档仅适用于使用Hive Metastore...
EMR Doctor支持分析OSS上的数据，开通OSS存储分析功能可以帮助您进一步了解OSS存储资源的使用情况和健康状态，让您更好地治理存储在OSS上的数据。背景信息OSS提供...
在EMR-5.6.0及以后版本和EMR-3.40.0及以后版本中使用HBase时，您可以存储HBase的数据在OSS上。本文为您介绍HBase on OSS架构，以及如何使用OSS作为HBase的底层存储。...
用于加密签名字符串和OSS，用来验证签名字符串的密钥。获取方法请参见获取AccessKey。send_metadata否在操作OSS文件时，是否添加元数据信息。参数取值如下：true：添加元数据...
类型描述TemporaryAliyunCredentialsProvider适合使用有时效性的AccessKey和SecurityToken访问OSS的情况。需要在fs.jfs.cache.oss.credentials.provider的参数值中追加...
类型描述TemporaryAliyunCredentialsProvider适合使用有时效性的AccessKey和SecurityToken访问OSS的情况。需要在fs.jfs.cache.oss.credentials.provider的参数值中追加...
关于对应组件和服务说明的更多内容，请参见DLF-Auth。可能存在映射关系。使用Hive创建OSS库、表以及访问OSS数据参照如下示例，使用Hive创建OSS数据库以及访问OSS。CREATE...
本文介绍JindoSDK访问OSS出现InvalidArgument Part number问题的原因和解决方法。问题详情ErrorMessage:[RequestId]:62 DC 30 C 7 F 31 FA 339346 B 57 B 2[HostId]:oss-...
Access Policy发现地址和Scheme实现类您可以在Hadoop的core-site.xml文件中添加如下配置项：configuration property name fs.accessPolicies.discovery/name value oss:bucket_name.dls...
xxx[ErrorMessage]:[E 1008]Reached timeout=30000 ms@xxx ERROR_CODE:1008异常原因和解决方法通常是触发了OSS的带宽流控，可联系OSS技术支持查看流控原因。异常栈有...
类型描述TemporaryAliyunCredentialsProvider适合使用有时效性的AccessKey和SecurityToken访问OSS的情况。需要在fs.jfs.cache.oss.credentials.provider的参数值中追加...
类型描述TemporaryAliyunCredentialsProvider适合使用有时效性的AccessKey和SecurityToken访问OSS的情况。需要在fs.jfs.cache.oss.credentials.provider的参数值中追加...
背景信息OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力，能更好的满足大数据和AI...
EMR-3.42及后续版本或EMR-5.8.0及后续版本的集群，支持OSS-HDFS（JindoFS服务）作为数据存储，提供缓存加速服务和Ranger鉴权功能，使得在Hive或Spark等大数据ETL场景将...
类型描述TemporaryAliyunCredentialsProvider适合使用有时效性的AccessKey和SecurityToken访问OSS的情况。需要在fs.jfs.cache.oss.credentials.provider的参数值中追加...
hadoop fs-rm-skipTrash oss:/examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/a/b/c Hadoop生态组件使用回收站功能Hive、Spark和Flink等组件并不感知OSS-HDFS服务回收站功能的存在...
创建集群时所有节点都打开挂载公网开关或集群创建后在ECS控制台开通公网IP地址，且使用OSS的外网Endpoint进行访问。如需打开挂载公网开关，请参见创建集群。如需在...
下面这些为创建测试的文件和目录hdfs dfs-mkdir oss:/oss-dfs-test.Endpoint/TestSnapshot/dir 1 hdfs dfs-mkdir oss:/oss-dfs-test.Endpoint/TestSnapshot/dir 2 hdfs dfs-touchz oss:/oss-dfs-...
动作描述通过执行命令复制Linux实例中的文件到OSS语法Action:ACS:ECS:CopyLinuxInstanceFileToOSS Properties:regionId:String instanceId:String instanceRole:String srcUrl:String...
前提条件已开通E-MapReduce服务和OSS服务。已完成云账号的授权，详情请参见角色授权。操作流程步骤一：准备环境步骤二：准备JAR包步骤三：创建Kafka Topic并生成数据步骤...
动作描述下载OSS文件到ECS实例并执行命令语法Action:ACS:ESS:DownloadOSSFileAndRunCommand Properties:regionId:String instanceId:String bucketName:String objectName:String...
背景信息可恢复性写入功能支持将数据以EXACTLY_ONCE语义写入存储介质，在大数据场景下保证了数据的安全性和一致性。在Flink作业中的用法通用配置为了支持EXACTLY_ONCE...
扫描完成：扫描完成后会显示出文件数总量和文件大小总量。执行完成：同步任务执行完成，迁移任务会显示出同步完成的文件数量。您可单击完成后面的图标，下载完成文件...
方式一：直接使用PyJindo包直接使用PyJindo中所提供的原生API接口和类实现对OSS-HDFS的深度操作。日志级别和API相关内容，请参见日志等级和API说明。步骤一：安装...
当您需要在EMR Notebook中运行PySpark，且绑定的集群包含OSS-HDFS服务时，需要在绑定集群前额外授予EMR Notebook访问OSS的权限。本文为您介绍授予EMR Notebook访问OSS的...
本文为您介绍如何使用OSS-HDFS服务元数据导出功能。使用元数据导出功能，您可以将当前OSS-HDFS Bucket下的文件元数据清单导出到OSS，格式为JSON文件，方便您对元数据进行...
动作名称ACS:ECS:UploadOssFile上传OSS文件（ECS）动作描述上传OSS文件(ECS)语法Action:ACS:ECS:UploadOssFile Properties:regionId:String ossRegion:String bucketName:String objectName:...