hadoop api 文档.chm

_相关内容
点击展开卡片icon

文件存储 HDFS

文件存储HDFS允许您就像在Hadoop分布式文件系统(Hadoop Distributed File System) 中管理和访问数据。您无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件...

API 网关

API 网关(API Gateway)提供高性能、高可用的 API 托管服务,帮助用户对外开放其部署在 ECS、容器服务等阿里云产品上的应用,提供完整的 API 发布、管理、维护生命周期管理。用户只需进行简单的操作,即可快速、低成本、低风险地开放数据...

【威胁情报】Hadoop Yarn REST API未授权访问攻击

阿里云云防火墙可防护Hadoop Yarn REST API未授权访问攻击。Hadoop是一款由Apache基金会推出的分布式系统框架,通过MapReduce算法进行分布式处理。Yarn是Hadoop集群的资源管理系统存在漏洞的主机,攻击者无需认证即可通过RESTAPI部署任务来...

开源地理空间UDF

打开Git命令行工具,执行如下命令下载2.1.0版本Hive(对应Hadoop版本为2.7.2)下的地理空间UDF代码至本地。命令示例如下。git clone https://github.com/Esri/spatial-framework-for-hadoop.git--或git clone-b v2.1.0"-single-branch git...

迁移开源HDFS的数据到文件存储HDFS

文档介绍如何将开源HDFS的数据平滑地迁移到文件存储HDFS。背景信息当前业界有很多公司是以Hadoop技术构建数据中心,而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储HDFS可以帮助您实现将开源HDFS的数据迁移到云上,并允许您...

安装

本文主要介绍文件系统SDK的安装及使用方式。环境准备本节以hadoop-mapreduce-examples为例,介绍文件系统SDK的使用方式。其中MapReduce以伪分布式方式运行。有关MapReduce的伪分布方式,请参见Apache Hadoop文档说明。运行java-version...

文件存储HDFS上使用Apache Flink

本文介绍在文件存储HDFS上搭建及使用Apache Flink的方法。准备工作在文件存储HDFS上使用Apache Flink,需要先完成以下准备工作。说明 本文档的操作步骤中涉及的安装包版本号、文件夹路径,请根据实际情况进行替换。开通文件存储HDFS服务并...

文件存储HDFS上使用Apache Spark

HADOOP_CLASSPATH=usr/local/hadoop-2.7.2/etc/hadoop:/usr/local/hadoop-2.7.2/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/common/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/...

使用Fuse-DFS挂载文件存储HDFS

本文主要介绍如何使用fuse-dfs工具实现文件存储HDFS在本地文件系统的映射。背景信息Fuse-dfs是Hadoop项目自带的一个功能模块,提供了使用 FUSE(用户空间中的文件系统)在UNIX文件系统上映射HDFS的功能,在官方提供的Hadoop预编译版本中不...

SDK示例

背景信息文件存储HDFS提供对Apache Hadoop FileSystem API的兼容,您可以参考Hadoop FileSystem API进行开发。说明 目前,部分Hadoop FileSystem API的兼容还未在文件存储HDFS SDK中提供,详情请参见使用限制。准备工作 已完成文件存储HDFS...

文件存储HDFS上使用Presto

本文主要介绍如何在文件存储HDFS上搭建及使用Presto。背景信息Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto支持在线数据查询,包括Hive、Cassandra、关系数据库以及专有数据存储。说明 在...

使用Flink访问

HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/share/hadoop/hdfs:/usr/local/hadoop-2.7.3/share/...

新版API更新说明

旧版API文档3、查询刷新和预热状态差异说明:变更项变更内容Action变更为DescribeVodRefreshTasks返回数据ObjectType:path改为directory详情请见:新版API文档|旧版API文档4、查询刷新预热次数限制和余量差异说明:变更项变更内容Action...

使用限制

文档介绍文件存储HDFS及命令行工具存在的限制。如要了解更多有关开源Hadoop的信息,请参考Hadoop 文档Hadoop FileSystem/AbstractFileSystem 不支持目录修改时间(mtime)、访问时间(atime),不支持通过setTimes设置文件的mtime和...

使用Spark访问

HADOOP_CLASSPATH=usr/local/hadoop-2.7.3/etc/hadoop:/usr/local/hadoop-2.7.3/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.3/share/hadoop/common/*:/usr/local/hadoop-2.7.3/share/hadoop/hdfs:/usr/local/hadoop-2.7.3/share/...

常见问题排查

例如hadoop命令行或者任务出现如下错误时,表明org/apache/hadoop/fs/PathFilter相关的类未在hadoop的运行环境中,该类所属的jar包为hadoop-common-x.x.x.jar,需要用户下载该jar包的正确版本,并将其置于所有hadoop节点的hadoop运行环境的...

【漏洞公告】Hadoop YARN 资源管理系统 REST API未...

Hadoop是一款由Apache基金会推出的分布式系统框架,它通过著名的 MapReduce 算法进行分布式处理,Yarn是Hadoop集群的资源管理系统。Hadoop YARN 资源管理系统配置不当导致可以未经授权进行访问,从而被攻击者恶意利用。攻击者无需认证即可...

文件存储HDFS和对象存储OSS双向数据迁移

文档介绍文件存储HDFS和对象存储OSS之间的数据迁移操作过程。您可以将文件存储HDFS数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到文件存储HDFS。背景信息阿里云文件存储HDFS是面向阿里云ECS实例及容器服务等计算资源的文件存储...

从自建HDFS迁移数据

本章介绍如何将在开源HDFS的数据平滑地迁移到Lindorm的文件引擎中。背景介绍在某些场景下面,我们需要从自建的Hadoop中存储的数据迁移到Lindrom的文件引擎当中。适用范围阿里云ECS自建Hadoop集群中的数据迁移到文件引擎。准备工作开通文件...

SOFAStack API 统一网关

API 网关是金融分布式架构 SOFAStack 下的一个 API 管理平台,帮助企业统一管理对内外开放的 API,为网络隔离的系统间提供高性能、高安全、高可靠的通信,同时保障内部系统的安全性。用于满足企业对外部合作伙伴开放业务,企业自身混合云...

OpenAPI Explorer

可视化的 API 调用工具。通过该工具,您可以通过网页或者命令行调用各云产品以及 API 市场上开放的API,查看每次的API请求和返回结果,并生成相应SDK调用示例。\n\n访问地址:https://api.aliyun.com

移动API网关

经历千亿级双十一流量洗礼的移动API网关

迁移Hadoop文件系统数据至JindoFS

本文以OSS为例,介绍如何将Hadoop文件系统上的数据迁移至JindoFS。迁移数据 Hadoop FsShell对于文件较少或者数据量较小的场景,可以直接使用Hadoop的FsShell进行同步:hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-...

阿里云交易和账单管理API

阿里云交易和账单管理API为用户管理阿里云产品售卖和财资相关赋能。

行业背景

ES-Hadoop开辟了更加广阔的应用空间,通过ES-Hadoop可以索引Hadoop中的数据到Elasticsearch,充分利用其查询和聚合分析功能,也可以在Kibana中做进一步的可视化分析,同时也可以把Elasticsearch中的数据放到Hadoop生态系统中做运算,ES-...

阿里云CLI

阿里云命令行工具 CLI(Alibaba Cloud CLI)是基于阿里云开放 API 建立的管理工具。借助此工具,您可以通过调用阿里云开放 API 来管理阿里云产品。该命令行工具与阿里云开放 API 一一对应,灵活性高且易于扩展。您可基于该命令行工具对阿里...

集群吞吐性能测试

TestDFSIO的jar包位于开源hadoop版本的$HADOOP_HOME/share/hadoop/mapreduce目录下,其中$HADOOP_HOME为测试机器中的Hadoop 安装目录,jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar,TestDFSIO使用方法如下所示。[root@...

语音服务

根据音频形式的不同,语音通知的API分为两个:1、若播放的音频为固定内容的音频文件(mp3/wav),则调用singleCallByVoice语音文件外呼接2、若播放的音频为带有变量的文本模板,每次调用时根据变量替换值从文本模板转化为音频文件,则调用...

常用文件路径

HADOOP_LOG_DIR=var/log/hadoop-hdfsHADOOP_HOME=usr/lib/hadoop-currentYARN_PID_DIR=usr/lib/hadoop-current/pidsHADOOP_PID_DIR=usr/lib/hadoop-current/pidsHADOOP_MAPRED_PID_DIR=usr/lib/hadoop-current/pidsJAVA_LIBRARY_PATH=usr/...

从OSS迁移数据

建议您使用的Hadoop版本不低于2.7.3,本文档中使用的Hadoop版本为Apache Hadoop 2.7.3,修改Hadoop 配置信息,详情参见使用开源HDFS客户端访问。在Hadoop集群所有节点上安装JDK,本操作要求JDK版本不低于1.8。在Hadoop集群安装OSS客户端...

通过开源HDFS客户端连接并使用文件引擎

本章介绍如何使用开源HDFS客户端访问文件引擎。准备运行环境执行命令java version,查看JDK版本。JDK版本不能低于1.7。按照以下方式设置环境变量,假设java安装位置为/opt/install/java。JAVA_HOME=opt/install/javaPATH=opt/install/java/...

Hadoop环境安全加固

Hadoop 介绍Hadoop 是一个由 Apache 基金会所开发的一个开源、高可靠、可扩展的分布式计算框架。Hadoop 的框架最核心的设计就是 HDFS 和 MapReduce 模块。HDFS 为海量的数据提供了存储,MapReduce 则为海量的数据提供了计算。HDFS 是 ...

使用SDK调用API

概述在控制台自动生成的SDK内置了签名实现,可以免去繁琐的签名计算,若需要自行实现签名认证您可以参考客户端签名说明文档调用API的前期步骤可参考创建后端服务为HTTP的API,支持SDK调用的API需满足:API的安全认证方式为“阿里云APP”或...

API发布记录

CreateLiveStreamRecordIndexFiles 创建直播录制索引文件 2016-04 变更类型 API 文档链接 新增 DescribeLiveStreamsPublishList 查询域名历史流列表 新增 DescribeLiveStreamsOnlineList 查询域名在线流列表 新增 ...

Hadoop Streaming

本文为您介绍如何使用Python提交Hadoop Streaming作业。前提条件已在E-MapReduce控制台上创建Hadoop集群。创建集群详情,请参见创建集群。操作步骤 通过SSH方式连接集群,详情请参见使用SSH连接主节点。新建文件mapper.py。执行以下命令,...

混合云API集中管理

步骤1:配置API参考创建后端为函数计算的API文档创建一个后端为函数计算的API。步骤2:创建云企业网实例 登录云企业网控制台,创建一个云企业网实例。步骤3:加载网络实例将vpc-1和vpc-3都添加到云企业网中,完成后如下图所示。步骤4:配置...

终端开发API参考

本文提供推荐的第三方MQTT SDK所对应的API文档链接。终端开发API文档链接微消息队列MQTT版所支持的各语言或平台SDK对应的API文档链接如下表所示。语言/平台 API文档 Java javadoc Android android-javadoc JavaScript jsdoc Python usage-...

Hadoop MapReduce作业配置

本文介绍如何配置Hadoop MapReduce类型的作业。前提条件已创建好项目,详情请参见项目管理。操作步骤 新建作业。已通过阿里云账号登录阿里云E-MapReduce控制台。在顶部菜单栏处,根据实际情况选择地域和资源组。单击上方的数据开发页签。在...

在ECI中访问HDFS的数据

HADOOP_CLASSPATH=usr/local/hadoop-2.7.2/etc/hadoop:/usr/local/hadoop-2.7.2/share/hadoop/common/lib/*:/usr/local/hadoop-2.7.2/share/hadoop/common/*:/usr/local/hadoop-2.7.2/share/hadoop/hdfs:/usr/local/hadoop-2.7.2/share/...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折