您可以通过调整core-site.xml配置、TestDFSIO配置或避免使用小文件来优化集群性能。调整core-site.xml配置 在测试集群吞吐性能之前建议在core-site.xml文件中增加或修改如下配置，同步到所有依赖hadoop-common的节点上并重启集群服务。...
引擎支持列表 生态类型 引擎/平台 参考文档 开源生态 Flink 开源Flink使用JindoSDK处理OSS-HDFS服务的数据 Flume Flume使用JindoSDK写入OSS-HDFS服务 Hadoop Hadoop使用JindoSDK访问OSS-HDFS服务 HBase HBase使用OSS-HDFS服务作为底层存储 ...
背景信息 您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件，从而避免配置明文AccessKey，根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里...
背景信息 您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件，从而避免配置明文AccessKey，根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里...
配置Hive Catalog后，您可以在Flink开发控制台直接读取Hive元数据，无需再手动注册Hive表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何配置Hive元数据、创建和使用Hive Catalog等。背景信息 您可以将Hive Catalog配置文件和...
本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 费用说明、环境准备、权限控制 等内容。背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache ...
智能编辑器支持：由于CDK使用通用编程语言开发，开发者可以充分利用现代集成开发环境（IDE）提供的代码补全、语法高亮、格式化和Linting等功能。版本控制和团队协作：CDK代码以源码形式存在，因此可以轻松地纳入版本控制系统，从而便于团队...
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中，您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...
使用Hadoop Credential Providers存储AccessKey信息 上面基本配置方式中的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 将会明文配置在 core-site.xml 中，您可以将其以加密对方式存储至Hadoop Credential Providers文件中。使用Hadoop...
设置仓库主语言 创建代码库后，代码库管理员可以在代码库的 设置-基本设置-编程主语言 处设置仓库的语言技术栈，开发语言设置将影响 WebIDE 打开时的初始化加载内容：不同语言空间功能说明 开发Python项目 开发Node.js项目 开发Java项目...
UDTF代码结构 您可以通过 MaxCompute Studio 工具使用Python 3语言编写UDTF代码，代码中需要包含如下信息：导入模块：必选。至少要包含 from odps.udf import annotate 和 from odps.udf import BaseUDTF。from odps.udf import annotate ...
消费者可以使用Hadoop、MaxCompute等离线仓库存储和Storm、Spark等实时在线分析系统对日志进行统计分析。云消息队列 Kafka 版 用于数据聚合具备以下优势：应用与分析解耦：构建应用系统和分析系统的桥梁，并将它们之间的关联解耦。高可扩展...
sudo tar zxvf jindosdk-4.5.0.tar.gz-C/usr/lib/将已下载的JindoSDK JAR包安装到class path下（所有节点都要执行）#hadoop sudo cp/usr/lib/jindosdk-4.5.0/lib/*.jar/opt/cloudera/parcels/CDH/lib/hadoop/lib/spark sudo cp/usr/lib/...
由于开发语言种类繁多，我们无法熟悉和精通各种开发语言并维护相应的SDK，但是我们收集了第三方开发者编写的内容安全SDK供您参考。内容安全第三方SDK包含以下开发语言：C#、C++、Nodejs、Python(3.5)、Go。说明 第三方SDK仅作列举参考，...
UDAF代码结构 您可以通过 MaxCompute Studio 工具使用Python 3语言编写UDAF代码，代码中需要包含如下信息：导入模块：必选。至少要包含 from odps.udf import annotate 和 from odps.udf import BaseUDAF。from odps.udf import annotate ...
当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文提供的开发流程，使用开发工具（例如IntelliJ IDEA（Maven）或 MaxCompute Studio）自行编写代码逻辑创建自定义函数（UDF），并在MaxCompute中进行调用，以满足多样化...
配置YARN客户端 FE底层通过执行 yarn 命令去获取正在运行的Application的状态以及终止Application，因此需要为FE配置YARN客户端，建议使用hadoop-2.5.2或hadoop-2.0以上的官方版本，下载详情请参见 hadoop下载地址。将下载好的YARN客户端...
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job ...
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job ...
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job ...
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job ...
本文主要介绍JindoOssCommitter的使用说明。背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job ...
介绍了WebService SDK的签名机制，帮助非Java语言的开发者了解CSB-WebService请求的签名原理以便编写其它语言的SDK实现。使用SDK示例 示例下载地址：sdk-sample.zip 通过编程方式使用HTTP SDK 通过编程方式使用WebService SDK SDK的使用...
本文主要介绍如何基于服务端SDK编写代码调用临云镜服务端API，让您不用复杂编程即可快捷集成开发。服务端SDK接入说明 服务端SDK封装了对临云镜服务端API的调用请求和响应。支持所有的 API概览，并提示了相应示例代码。支持多种开发语言，...
任务执行环境 实时场景 数据开发执行任务（开发环境执行任务）场景一：select col1 from tablename 用个人账号访问开发环境下该表。即用个人账号访问：projectname_dev.tablename。场景二：select col1 from projectname.tablename 用个人...
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
本文为您介绍如何使用OSS-HDFS服务元数据导出功能。使用元数据导出功能，您可以将当前OSS-HDFS Bucket下的文件元数据清单导出到OSS，格式为JSON文件，方便您对元数据进行统计分析。元数据导出说明 配置Jindo命令行工具，应配置对应OSS-HDFS...
Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS Filesystem层的定制化。使用Jindo Job Committer时，Task数据直接写到最终目录中，在完成Job Commit前，过程数据对外...
Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS Filesystem层的定制化。使用Jindo Job Committer时，Task数据直接写到最终目录中，在完成Job Commit前，过程数据对外...
Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS Filesystem层的定制化。使用Jindo Job Committer时，Task数据直接写到最终目录中，在完成Job Commit前，过程数据对外...
Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS Filesystem层的定制化。使用Jindo Job Committer时，Task数据直接写到最终目录中，在完成Job Commit前，过程数据对外...
Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS Filesystem层的定制化。使用Jindo Job Committer时，Task数据直接写到最终目录中，在完成Job Commit前，过程数据对外...