开发者需要根据设备开发使用的语言或平台进行设备的功能开发，不同语言SDK的使用方式存在差异，下面是支持的语言或平台的SDK：Link SDK for C Link SDK for Java Link SDK for Python Link SDK for NodeJS Link SDK for Android Link SDK ...
根据您服务端的开发环境，在 阿里云验证码控制台 相应服务配置的系统代码集成&测试页面，下载对应语言版本的服务端SDK包。开发环境（语言版本）服务端SDK包版本要求 JAVA J2SE Development Kit（JDK）1.5或以上版本.NET .NET Framework 4.0...
建议您使用的Hadoop版本不低于2.7.3，本文档中使用的Hadoop版本为Apache Hadoop 2.7.3，修改Hadoop 配置信息，详情参见 使用开源HDFS客户端访问。在Hadoop集群所有节点上安装JDK，本操作要求JDK版本不低于1.8。在Hadoop集群安装OSS客户端...
我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。说明 如果现有SDK不能满足使用需求，可通过签名机制进行对接，如还存在问题请前往 售前咨询 或搜钉钉群号23369411入群咨询专家...
您在使用数据湖构建（Data Lake Formation，简称DLF）控制台和接口时，产品做了如下限制，请在使用时...不支持Hive LLAP 建议使用Presto/Spark等引擎替代 目前DLF不支持与自建的Hadoop集群集成，如需使用数据湖请选择阿里云E-MapReduce集群。
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
本文为您介绍如何基于Dataphin构建HADOOP_MR类型的离线计算任务。...如果您的开发模式是Basic模式，则提交成功后的HADOOP_MR任务，即可参与生产环境的调度。您可前往运维中心查看您发布的任务。更多信息，请参见 运维中心概述。
本文分别为您介绍非高可用集群和高可用集群的HDFS组件的部署拓扑信息。非高可用集群 节点 组件 描述 master-1-1（部分版本为 emr-header-1）NameNode NameNode对外提供读写服务。SecondaryNameNode SecondaryNameNode合并NameNode的edits...
使用限制 EMR-3.34.0及后续版本或EMR-4.8.0及后续版本的Hadoop集群，支持一键开启LDAP认证。开启LDAP认证 进入Hue页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 集群管理 页签。在 集群...
整站翻译功能结合阿里云机器翻译服务，支持将主语言内容一键翻译至其他语言，可翻译包括页面上的控件数据、页面名称、SEO标题及后台产品/文章数据等，表单控件暂不支持翻译。本文旨在介绍如何使用智能整站翻译功能。智能整站翻译使用规则：...
发布日期 EMR-4.4.1 2020年9月15日 更新内容 服务 变更点 YARN 删除软件栈 yarn.application.classpath 配置中的 hadoop/tools/lib 目录。优化MR作业默认的参数配置。Hive 优化默认的参数配置。Tez Ranger 支持Impala权限控制。升级jackson...
emr-tablestore：支持Hadoop、Hive、Spark与TableStore数据源的交互，使用时需要打进作业JAR包。emr-mns_2.11：支持Spark读MNS数据源，使用时需要打进作业JAR包。emr-ons_2.11：支持Spark读ONS数据源，使用时需要打进作业JAR包。emr-...
前提条件 已完成系统元数据的初始化，请参见 使用Hadoop作为元仓计算引擎进行元仓初始化。操作步骤 使用超级管理员或系统管理员账号，登录Dataphin控制台。在Dataphin首页，单击顶部菜单栏 管理中心。在 管理中心 页面，按照下图操作进入 ...
概述 本文主要介绍Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么。详细信息 Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么？介绍如下：所有用户上传的资源JAR包，以及安全包的资源，都是默认放在/tmp/dataphin...
CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，最新版本CDH6.0.1中的Hadoop3.0.0版本已经支持OSS，但CDH5中的Hadoop2.6版本不支持OSS。本文介绍如何配置CDH5支持OSS读写。前提条件 拥有一个已搭建...
当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据...如果UDF是在其他版本的Hive或Hadoop上开发的，您需要使用兼容的Hive或Hadoop版本重新编译UDF JAR包。在MaxCompute上使用Hive UDF的具体案例，请参见 兼容Hive Java UDF示例。
如果您目前还没有标注数据，也可以选择上传原始文件，通过标注平台进行标注，标注平台的使用见下一节。自行上传的标注数据为JSON格式，且需要符合以下格式，其中文本的内容放在“content”中，而标签的内容放在“records”中，records 中...
前提条件 已创建E-MapReduce的Hadoop集群，详情请参见 创建集群。创建用户 使用SSH方式登录集群，详情请参见 登录集群。执行以下命令，创建新账号。opt/apps/hue/build/env/bin/hue createsuperuser 输入新用户名、电子邮件，然后输入密码...
本文以阿里云EMR集群为例，说明如何使用阿里云Jindo DistCp将数据从HDFS迁移到OSS。背景信息 在传统大数据领域，HDFS经常作为大规模数据的底层存储。在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能...
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。客户在决定上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop集群或者EMR集群。本实践方案提供安全和低成本的HDFS数据迁移方案。适用场景 ...
本文主要介绍在 文件存储 HDFS 版 上使用Apache HBase的方法。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已部署...
例如：主实例节点（Master）：部署Hadoop HDFS的NameNode服务、Hadoop YARN的ResourceManager服务。核心实例节点（Core）：部署DataNode服务、Hadoop YARN的NodeManager服务。计算实例节点（Task）：只进行计算，部署Hadoop YARN的...
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
E-MapReduce（简称EMR）的数据湖（DataLake）、数据服务（DataServing）和自定义业务场景下的集群默认提供EMR Doctor服务，如果您使用的是旧版数据湖场景下的Hadoop集群类型（EMR-3.41.0之前版本、EMR 4.x版本、EMR-5.6.0之前版本），则...
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
背景信息 HBase是Hadoop生态中的实时数据库，有很高的写入性能，E-MapReduce HBase支持使用JindoFS或OSS作为底层存储，相对于HDFS存储，使用更加灵活。说明 建议您使用EMR-3.36.0及后续版本的集群。JindoFS配置 以EMR-3.36.0版本为例，创建...
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
排查问题的依据 Data String {"bot_id":"f7b2cefc-157e-4a57-9364-9d8fd22500a1","display_data":null,"display_strategy":{},"error_info":"None","msg":"请求成功","msql":[],"question":"昨天的基金代码是什么？related_question":[]...
介绍每个接口都需要使用的请求参数和返回参数。公共请求参数 表 1.公共请求参数表 名称 类型 是否必须 描述 Format String 否 返回消息的格式。取值：JSON（默认值）|XML Version String 是 API版本号，使用YYYY-MM-DD日期格式。取值：2019...
取值：RequestTableQAOnline ServiceCode String 是 alinlp 固定值，只支持alinlp Params String 是 {"bot_id":"5e7ff849-d411-47f6-a0a2-ab6186eb4893","question":"昨天的基金代码是什么？} bot_id：机器人id，question：要询问的问题。...
背景信息 CDH（Cloudera's Distribution,including Apache Hadoop）是众多Hadoop发行版本中的一种，您可以使用 文件存储 HDFS 版 替换CDH6原有的本地HDFS服务，通过CDH6和 文件存储 HDFS 版 实现大数据计算在云上的存储与计算分离，应对...
缺陷修复方案 您需要将E-MapReduce集群中包含缺陷的Hadoop YARN ResourceManager的JAR包替换掉，然后重启ResourceManager服务，重启服务时先处理Standby ResourceManager，再处理Active ResourceManager。该修复方案：适用于EMR的4.6.0、4....
在输入文本框中，用自然语言输入您的查询语句，确定后可以看到接口返回的结果。结果返回的解释，您通过“点击查看帮助文档”来理解。7、监控统计 您的调用情况统计，可以通过监控统计页面进行查看。以上就是管理控制台的操作介绍，如您需要...
Components String 是 HBASE,HADOOP 要检查的组件：HBASE HADOOP PHOENIX SOLR THRIFT 返回数据 名称 类型 示例值 描述 RequestId String E3537EB4-1100-41CA-A147-C74CCC8BB12C 请求ID。Components Array of Component 组件是否为最新版本...
MaxCompute基于开源的Hadoop集群提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。背景信息 MaxCompute基于开源的Hadoop集群和阿里云EMR（E-MapReduce）提供了支持Delta Lake或...
建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已开通对象存储OSS服务并创建存储空间（Bucket）。具体操作，请参见 对象存储OSS快速入门。背景信息 阿里云 文件存储 HDFS 版 是面向阿里云ECS实例及...
本文介绍了自然语言处理NLP中各个产品的SDK和API相关的内容，供您进行对应的开发操作。NLP自然语言处理支持Java、Node.js、Go、PHP、和Python开发，您可以通过SDK来简化OpenAPI的使用过程。SDK下载汇总了各语言SDK的下载地址和开发指南供您...
数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，HDFS的副本系数是3，存放策略是将一个副本存放在...
OSS-HDFS与Hadoop生态系统兼容，将HDFS中的数据迁移到OSS-HDFS后，可以利用Hadoop生态系统的各种工具和框架进行数据处理和分析。前提条件 已创建阿里云EMR-5.6.0及后续版本或EMR-3.40.0及后续版本的集群。具体步骤，请参见 创建集群。如果...
创建Gateway集群 集群类型 文档链接 Hadoop 创建Gateway集群 DataLake、DataFlow和OLAP 使用EMR-CLI自定义部署Gateway环境 创建Gateway节点组 仅EMR-5.10.1及以上版本的DataLake和DataFlow集群，支持增加Gateway类型的节点组，详情请参见 ...