本文介绍了针对不同的开发进度和场景，建议使用的接入方式。三种接入方式 根据 iOS 开发工程的进展和使用场景，接入移动开发平台 mPaaS 的方式主要有以下三种：当前无工程，从头开始创建一个全新的工程：基于 mPaaS 框架接入。当前已有工程...
若您不使用阿里云提供的设备端SDK，而是使用其他方式，自己进行开发使您的设备使用MQTT协议与物联网平台连接，您可以参见本文提供的签名代码示例进行MQTT连接签名。使用说明 推荐您使用阿里云提供的设备端SDK。使用阿里云提供的任何一种...
使用不同的Spark开发工具，应用配置参数的格式不同。开发工具 配置参数格式 配置参数示例 SQL开发编辑器 set key=value;set spark.sql.hive.metastore.version=adb;Spark Jar开发编辑器"key":"value""spark.sql.hive.metastore.version":...
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@[:]/path_to/file 如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与HDFS集群在同一个VPC...
如果HDFS或OSS访问失败，请尝试使用 hadoop fs-ls 命令，确认集群的每个节点能否直接访问到对应文件。如果某个Worker节点无法访问，可以在对应Worker节点的 server.log 日志文件中查找原因。操作流程 步骤一：环境准备 步骤二：增加UDF ...
HDFS文件路径 基于HDFS的文件路径格式如下：HDFS:/<user_name>@[:]/path_to/file 如不指定user_name参数，会自动使用hadoop。host与port为HDFS配置文件中的RPC访问地址与接口。为保证数据导入的性能，请确保云数据库与HDFS集群在同一个VPC...
本文为您介绍实时计算Flink版的SQL常见问题，包括作业常见问题、开发报错、运维报错。为什么使用POJO类作为UDTF返回类型时字段会出现“错位”?为什么数据在LocalGroupAggregate节点中长时间卡住，无输出？运行拓扑图中显示的Low Watermark...
例如，使用Hadoop shell命令将文件下载到本地，如果文件的路径符合前缀匹配，则会自动启用P2P下载模式。如果您希望进一步验证对某个特定文件的读请求是否使用了P2P功能，您可以考虑查询日志进行验证。如果您的程序在客户端打印过INFO级别的...
说明 请确保HDFS用户有足够的权限（推荐用hadoop或hdfs），否则可能导致数据同步时无法读取文件。数据源类型 为 阿里云对象存储（OSS）配置重要参数，描述如下：参数 描述 数据源类型 数据源来源类型，此处选择 阿里云对象存储（OSS）。...
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
Hadoop：Hadoop集群开发前准备工作。您需要先上传资源，才可以注册函数。新建EMR资源详情可参考文档：创建和使用EMR资源 操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域后，...
export HADOOP_HOME=usr/local/hadoop-2.7.3 export HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/...
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
vim hadoop-2.8.5-src/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/fuse_options.c 执行以下命令编译Hadoop源码中hadoop-hdfs-project模块下的hadoop-hdfs-native-client子模块。cd hadoop-2.8.5-src/mvn ...
建议您使用的Hadoop版本不低于2.7.3，本文档中使用的Hadoop版本为Apache Hadoop 2.7.3，修改Hadoop 配置信息，详情参见 使用开源HDFS客户端访问。在Hadoop集群所有节点上安装JDK，本操作要求JDK版本不低于1.8。在Hadoop集群安装OSS客户端...
export HADOOP_HOME=usr/local/hadoop-2.7.2 export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 执行如下命令使配置...
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
DataWorks支持可视化创建EMR（E-MapReduce）JAR、EMR（E-MapReduce）FILE资源，用于上传提交自定义函数或开源MR示例源码作为资源，便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源，并上传提交资源，为资源的使用做好前期...
本文为您介绍使用ClickHouse SQL节点进行任务开发的主要流程。前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此，创建节点前需先创建业务流程，操作详情请参见 创建业务流程。已创建EMR ...
阿里云安全监测到Kinsing僵尸网络变种，该僵尸网络除了沿用之前的攻击手法，最新利用了Hadoop Yarn RPC未授权访问漏洞进行传播。概述 Hadoop Yarn是Hadoop的核心组件之一。Hadoop Yarn RPC未授权访问使得攻击者无需认证即可通过RPC通信执行...
GRPC协议Headers编程实践 服务端获取Headers 基本方法 使用Java语言通过服务端获取Headers实现基本方法。实现拦截器 ServerInterceptor 接口的 interceptCall(ServerCall,RespT>call,final Metadata m,ServerCallHandler,RespT>h)方法，...
建议您使用的Hadoop版本不低于2.7.2，本文档中使用的Hadoop版本为Apache Hadoop 2.8.5。已在集群中安装Hive。本文使用的Hive版本为2.3.7。已 下载Presto安装包 和presto-cli-xxx-executable.jar。本文使用的Presto版本为0.265.1。背景信息 ...
vim${HADOOP_HOME}/etc/hadoop/core-site.xml 如果您尚未配置${HADOOP_HOME}，可以使用下面命令将您的Hadoop安装目录配置到该环境变量。export HADOOP_HOME=your/hadoop/installation/directory 在 core-site.xml 文件中，配置如下信息。...
问题描述 魔笔开发需要掌握什么编程语言？具备哪些编程的能力？代码平台和开发语言关系大吗？问题原因 低代码平台和开发语言关系不大的。解决方案 组件化需要掌握 js语言，其他的语言是不相关。
自然语言处理NLP快速入门教程 如果您是首次使用自然语言处理NLP的相关服务，您可以参考以下的快速入门文档，以便帮助您更快的了解我们的产品功能。NLP自然语言处理 NLP自然语言处理快速入门 NLP自学习平台 快速入门导览 企业智能搜索 智能...
例如，在用 PL/Python 编写一个使用 hstore 类型的函数时，PL/Python 没有关于如何在 Python 环境中表示 hstore 值的先验知识。语言的实现通常默认会使用文本表示，但是在一些时候这很不方便，例如，有时可能用一个联合数组或者列表更合适...
当MaxCompute提供的内建函数无法满足您的业务需求时，您可在MaxCompute Studio中自行开发UDF（自定义函数）以实现业务功能，本文介绍如何使用MaxCompute Studio开发及调试Java UDF。前提条件 您需要完成以下操作：管理项目连接 创建...
E-MapReduce（简称EMR）集群默认使用JindoCommitter加速大数据作业，解决OSS等对象存储在Spark、MapReduce等作业使用原生Hadoop JobCommitter时遇到的性能和一致性等问题。如果您不想使用默认的JindoCommitter，则可以参照本文切换为Hadoop...
本文介绍WebOffice多语言支持的使用方法。支持的语言列表 语言 描述 zh-CN 中文，默认语言。en-US 英文。使用说明 多语言选择优先级说明 WebOffice将按照以下优先级顺序获取lang语言，优先级从高到低。获取预览URL中的lang。获取COOKIE中的...
本文通过场景化为您介绍如何使用Jindo DistCp。前提条件 已创建相应版本的集群，详情请参见 创建集群。已安装JDK 1.8。根据您使用的Hadoop版本，下载 jindo-distcp-<version>.jar。Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。...
本文通过场景化为您介绍如何使用Jindo DistCp。前提条件 已创建相应版本的集群，详情请参见 创建集群。已安装JDK 1.8。根据您使用的Hadoop版本，下载 jindo-distcp-<version>.jar。Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。...
本文通过场景化为您介绍如何使用Jindo DistCp。前提条件 已创建相应版本的集群，详情请参见 创建集群。已安装JDK 1.8。根据您使用的Hadoop版本，下载 jindo-distcp-<version>.jar。Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。...
本文通过场景化为您介绍如何使用Jindo DistCp。前提条件 已创建相应版本的集群，详情请参见 创建集群。已安装JDK 1.8。根据您使用的Hadoop版本，下载 jindo-distcp-<version>.jar。Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。...
本文通过场景化为您介绍如何使用Jindo DistCp。前提条件 已创建相应版本的集群，详情请参见 创建集群。已安装JDK 1.8。根据您使用的Hadoop版本，下载 jindo-distcp-<version>.jar。Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。...
本文通过场景化为您介绍如何使用Jindo DistCp。前提条件 已创建相应版本的集群，详情请参见 创建集群。已安装JDK 1.8。根据您使用的Hadoop版本，下载 jindo-distcp-<version>.jar。Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。...
本文通过场景化为您介绍如何使用Jindo DistCp。前提条件 已创建相应版本的集群，详情请参见 创建集群。已安装JDK 1.8。根据您使用的Hadoop版本，下载 jindo-distcp-<version>.jar。Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。...
本文通过场景化为您介绍如何使用Jindo DistCp。前提条件 已创建相应版本的集群，详情请参见 创建集群。已安装JDK 1.8。根据您使用的Hadoop版本，下载 jindo-distcp-<version>.jar。Hadoop 2.7及后续版本，请下载 jindo-distcp-3.0.0.jar。...
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
本文介绍E-MapReduce开发的准备工作。准备工作如下：请确认您已经开通了阿里云服务，并创建了AccessKey ID和AccessKey Secret。请确认您已开通OSS。您已经对Spark、Hadoop、Hive和Pig具备一定的认识。文中不对Spark、Hadoop、Hive和Pig开发...