如果您使用的是Hive，在对接Dataphin进行数据开发或将Dataphin的数据写入至Hive的场景中，您需要先完成Hive数据源的创建。更多Hive信息，请参见 Hive官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色...
Sqoop执行时，会在原来的Hadoop集群上执行MR作业，可以分布式地将数据传输到MaxCompute上，详情请参见 Sqoop工具的介绍。MMA利用Meta Carrier连接您的Hive Metastore服务，获取Hive Metadata，并利用这些数据生成用于创建MaxCompute表和...
建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本为Apache Hadoop 2.8.5。已下载与Hadoop集群版本相同的Hadoop源码包。具体下载地址请参见 下载Hadoop源码包。背景信息 Fuse-DFS是Hadoop项目自带的一个功能模块，提供了使用FUSE...
更多使用方式，请参见 通过Hadoop Shell命令访问OSS/OSS-HDFS。Jindo CLI命令 jindo fs-ls oss:/examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ Jindo CLI命令访问OSS/OSS-HDFS的方式与Hadoop Shell方式类似。此外，还支持了更多的功能...
自然语言处理NLP快速入门教程 如果您是首次使用自然语言处理NLP的相关服务，您可以参考以下的快速入门文档，以便帮助您更快的了解我们的产品功能。NLP自然语言处理 NLP自然语言处理快速入门 NLP自学习平台 快速入门导览 企业智能搜索 智能...
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
本文介绍如何使用开源HDFS客户端访问文件引擎。前提条件 已安装Java环境，JDK版本不能低于1.7。已将客户端IP地址添加至Lindorm白名单。如何添加，请参见 设置白名单。注意事项 如果应用部署在ECS，您需要确保 云原生多模数据库 Lindorm ...
本文通过访问HDFS服务为您介绍如何使用HAS Kerberos认证。前提条件 已创建EMR-3.40及之前版本，EMR-4.10.1及之前版本的Hadoop集群，详情请参见 创建集群。通过hadoop命令访问HDFS 以test用户访问HDFS服务为例介绍。在Gateway节点配置 krb5....
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中，您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中，您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...
本文介绍了针对不同的开发进度和场景，建议使用的接入方式。三种接入方式 根据 iOS 开发工程的进展和使用场景，接入移动开发平台 mPaaS 的方式主要有以下三种：当前无工程，从头开始创建一个全新的工程：基于 mPaaS 框架接入。当前已有工程...
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
SDK语言 SDK入门 SDK使用调试指南 Java Java语言SDK Java SDK使用指南 Node.js Node.js语言SDK Node.js SDK使用指南 Python Python语言SDK Python SDK使用指南 C#C#语言SDK C#SDK使用指南 C++ C++语言SDK C++SDK使用指南 Go Go语言SDK ...
SDK语言 SDK入门 SDK使用调试指南 Java Java语言SDK Java SDK使用指南 Node.js Node.js语言SDK Node.js SDK使用指南 Python Node.js语言SDK Nodejs SDK使用指南 C#C#语言SDK C#SDK使用指南 C++ C++语言SDK C++SDK使用指南 Go Go语言SDK ...
环境准备 已创建阿里云E-MapReduce的Hadoop集群。具体操作，请参见 创建集群。已下载E-MapReduce的最新 SDK，SDK包的名称格式为emr-datasources_shaded_*.jar，emr-datasources_shaded_*.jar中包含Tablestore相关的Spark批流Source和Sink。...
使用该模式绑定EMR引擎时，阿里云主账号或RAM用户在DataWorks运行代码或自动调度任务，都只是下发代码至EMR集群，实际运行的身份为集群内的Hadoop用户。无法做到细粒度的权限控制。说明 Hadoop用户拥有Hadoop集群的所有权限，请谨慎授权。...
YARN是Hadoop系统的核心组件，主要功能包括负责在Hadoop集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配资源。非HA集群部署在EMR的...
本文介绍集群在顺序写、顺序读、随机读等方面的性能测试方法。注意事项 性能测试前，请注意以下事项。吞吐最大不会超过ECS带宽。如果您的ECS带宽只有1.5 Gbps，则吞吐最高可达到187.5 MB/s。文件存储 HDFS 版 的吞吐能力和购买的存储空间...
软件迁移主要包含以下两种场景：自研软件：指开发者开发的或者基于开源软件增强开发的软件。自研软件使用的编程语言主要包含以下两类：编译型语言：以C++/Go为代表的编译型语言，这些语言会将源代码编译成架构相关的二进制文件，因此迁移后...
目前文档智能支持Java、Python3、Nodejs、CSharp、Go这些编程语言的SDK，使用指南中提供了如何使用包管理工具进行安装的方法，例如maven、pip，也可直接使用SDK下载链接获取安装包：SDK语言 SDK下载链接 使用指南 Java 文档智能Java语言sdk...
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。您可以按照本文介绍自行测试对比，快速了解云原生数据湖分析（DLA）Spark引擎的性价比数据。...
使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将数据落地到实时计算平台（例如Flink、Spark Streaming和Storm）、离线计算平台上（例如MR、Hive和Presto），也可仅落地到数据存储...
前提条件 已创建Hadoop环境、Hadoop集群或者Hadoop客户端。具体操作，请参见 创建Hadoop运行环境。已开通OSS-HDFS服务。具体操作，请参见 开通并授权访问OSS-HDFS服务。已配置4.5.0及以上版本JindoSDK。具体操作，请参见 非EMR集群接入OSS-...
JindoDistCp可以将AccessKey ID和AccessKey Secret预先写在Hadoop的 core-site.xml 文件里，避免使用时多次填写的问题。例如，指定OSS、OSS-HDFS、Amazon S3、COS或OBS的AccessKey ID和AccessKey Secret。以OSS为例，配置示例如下。...
Hadoop 计算设置为Hadoop的租户支持创建以下计算源：离线计算源 Hadoop计算源：绑定Hadoop计算源的项目，支持规范建模、即席查询、Hive SQL任务、通用脚本等功能。创建Hadoop计算源，请参见 创建Hadoop计算源。实时计算源 Flink 计算源：...
借助该SDK，Apache Hadoop的计算分析应用（如MapReduce、Hive、Spark等）可以使用 文件存储 HDFS 版 作为defaultFS，从而获得 文件存储 HDFS 版 带来的超越原始HDFS的功能和性能优势。更多信息，请参见 安装文件系统SDK、SDK示例。
自定义多国语言指的是开发者可以通过SDK进行自定义更新不同国家的语言，使得自有App更加快速的实现多国语言配置。本文介绍如何通过SDK自定义多国语言。背景信息 生活物联网平台支持设备在海外使用，云端到App端的管理都需要适应当地国家的...
本文主要介绍 文件存储 HDFS 版 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...
vim<HADOOP_HOME>/etc/hadoop/core-site.xml 将OSS/OSS-HDFS实现类配置到Hadoop的 core-site.xml 中。property><name>fs.AbstractFileSystem.oss.impl</name><value>...
Action=UpgradeMinorVersion&ClusterId=hb-t4naqsay5gn*&Components=HADOOP&<公共请求参数>正常返回示例 XML 格式<RequestId>7B8EC240-BB13-4DBC-B955-F90170E82609</RequestId><UpgradingComponents>HADOOP</UpgradingComponents>JSON ...
随着数据湖技术的普及，越来越多的E-MapReduce（简称EMR）用户选择把数据存放在全托管的数据存储服务中（例如，OSS-HDFS和OSS对象存储等），这样原有的Hadoop集群就不需要很多的DataNode。下线（Decommission）EMR集群的DataNode（Core节点...
Node.js Node.js语言SDK Nodejs SDK使用指南 CSharp Csharp语言SDK C#SDK使用指南 Go Go语言SDK GoLang SDK使用指南 PHP PHP语言SDK PHP SDK使用指南 下载解压后，可以通过README.md和README-CN.md查看各自语言SDK的使用方法。
本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群，并选择了Kudu服务，详情请参见 创建集群。背景信息 EMR Kudu支持社区1.10以及1.11版本，可以使用社区...
对需要支持多语言的文案，请勿写死，可使用_Text 宏进行复制，如下所示：self.navigationItem.title=_TEXT(@"BeeCityPicker",@"BeeCityPicker:城市选择",@"城市选择");BeeCityPicker"：为文本在字符串表所在 bundle 名，通常为模块资源 ...
问题描述 Dataphin中提交Spark任务报错“Unable to instantiate SparkSession with Hive support because Hive classes are not found.”是什么原因？问题原因 用户使用的计算引擎是hadoop集群，任务执行机器信息配置错误。解决方案 将...
HBase是Hadoop生态中的实时数据库，有较高的写入性能。OSS-HDFS服务是阿里云新推出的存储空间类型，并兼容HDFS接口。JindoSDK支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。相对于本地HDFS存储，OSS-...
队列ACL可以结合Capacity Scheduler调度器队列映射（Queue Mapping）特性使用，在 capacity-scheduelr.xml 配置文件中使用 yarn.scheduler.capacity.queue-mappings 配置用户或用户组提交作业的默认队列规则，通过 yarn.scheduler.capacity...
本文介绍阿里云EMR-3.17.0及后续版本，如何使用Gateway节点运行Flume从而进行数据同步。背景信息 EMR-3.16.0及后续版本支持Apache Flume。EMR-3.17.0及后续版本提供默认监控等特性。在Gateway节点运行Flume可以避免对E-MapReduce Hadoop...
当使用 自有App 需要配置使用多语言时，请参考开发文档 自有App自定义多国语言。单击 保存 完成。（可选）单击 配网引导 页签，为产品配置多语言版本配网引导提示文案。选择待配置的语言页签，并配置该语言的 配网引导文案、配网确认文案 ...
本文介绍E-MapReduce开发的准备工作。准备工作如下：请确认您已经开通了阿里云服务，并创建了AccessKey ID和AccessKey Secret。请确认您已开通OSS。您已经对Spark、Hadoop、Hive和Pig具备一定的认识。文中不对Spark、Hadoop、Hive和Pig开发...