符合类目要求的小程序，需要在 微信公众平台 开发 开发管理 接口设置中自助开通该组件权限，如下图所示：开发框架 本项目为能实现一套代码支持多个小程序平台，选用了uni-app框架进行开发，技术栈为Vue，如需了解更多框架信息，请参见 uni-...
符合类目要求的小程序，需要在 微信公众平台 开发 开发管理 接口设置中自助开通该组件权限，如下图所示：开发框架 本项目为能实现一套代码支持多个小程序平台，选用了uni-app框架进行开发，技术栈为Vue，如需了解更多框架信息，请参见 uni-...
EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础上优化了ClickHouse的读写性能，提升了ClickHouse与EMR其他组件快速集成的能力。特性 特性 描述 列式...
为了更好地融入开源生态，提供更加开放和多样化的计算服务，阿里云E-MapReduce（简称EMR）从EMR-5.17.0和EMR-3.51.0版本开始，将Flink引擎版本从Flink企业版Ververica Runtime（简称VVR）调整为Flink社区开源版本，同时引入RocksDB作为存储...
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
流式写入Delta时产生了很多的小文件怎么办？Optimize执行时间很长是什么原因？为什么Optimize失败了？应该如何处理？执行了Optimize，为什么还有很多小文件？执行了Vacuum，为什么还有很多小文件？如果想删除最近产生的小文件（这些小文件...
在EMR集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web界面端口均未对外开放。如果您想直接访问开源组件的Web界面，可根据实际场景选择 原生UI地址、Knox代理地址、SSH本地端口转发 或 SSH动态端口转发 方式进行访问。快速...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
EMR Serverless StarRocks采用滚动升级的方式，使实例的小版本升级过程更加平滑。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 实例状态为 运行中。注意事项 StarRocks的小版本升级通常会保持功能的兼容性。但由于受到...
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
本文为您介绍如何使用Spark SQL流式处理中的滚动窗口函数。什么是滚动窗口 滚动窗口（TUMBLING）将每个元素分配到一个指定大小的窗口中。通常滚动窗口有一个固定的大小，并且不会出现重叠。例如，如果指定了一个5分钟大小的滚动窗口，无限...
本文介绍如何使用Spark SQL流式处理中的滑动窗口函数。什么是滑动窗口 滑动窗口（HOPPING），也被称作Sliding Window。不同于滚动窗口，滑动窗口的窗口可以重叠。滑动窗口有windowDuration和slideDuration两个参数。windowDuration为窗口的...
本文介绍Hadoop代码中的参数。Hadoop代码中可使用如下参数配置。属性名 默认值 说明 fs.jfs.cache.oss-accessKeyId 无 访问OSS所需的AccessKey ID（可选）。fs.jfs.cache.oss-accessKeySecret 无 访问OSS所需的AccessKey Secret（可选）。...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
适当调小该参数值可以缩短写CheckPoint间隔。useDualCheckpoints 默认值为false。修改该参数值为true，可以防止重启时因为CheckPoint丢失，从头读取所有Event。maxFileSize 默认值为1.6，单位为GB。表示单个DATA文件的大小。适当调小该参数...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
PyTorch PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。在倚天云服务器上，建议您使用以下两种方式使用PyTorch。使用官方版本构建PyTorch的Docker镜像。更多信息，请参见 PyTorch for AArch64。构建时，...
本文汇总了使用Impala时的常见问题。Impala 3.4使用JDBC查询Impala 10秒提示会话超时，该怎么办？Impala无法找到Hive新增的表，该怎么办？Impala写入Hive表数据的时候，是否可以修改写入文件的owner？如何调整Impalad可使用的节点内存总量...
与自建Hadoop集群相比，开源大数据开发平台EMR提供弹性资源管理和自动化运维，降低运维复杂度，通过用户管理、数据加密和权限管理等为数据安全保驾护航，同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态，便于快速搭建大数据处理和...
通过JindoFS，您可以完成数据迁移、OSS访问加速、缓存加速、AI训练加速和JindoTable计算加速。本文为您介绍JindoFS实战的详细文档和演示视频。注意 如果视频断链表明该视频已过时，且已被下线...本视频为您介绍如何合并Hive数仓表中的小文件。
当您对集群中现有或新增的节点组启用了自动补偿功能后，如果E-MapReduce（简称EMR）监测到集群中的ECS实例无法支持引擎服务正常运行，对于按量付费的Task节点，EMR将自动尝试购买新的ECS实例来替换故障实例；对于包年包月的Task节点，EMR将...
Hudi优化了数据写入过程中产生的小文件。因此，相比其他传统的文件格式，Hudi对HDFS文件系统更加的友好。近实时数据分析 Hudi支持多种数据分析引擎，包括Hive、Spark、Presto和Impala。Hudi作为一种文件格式，不需要依赖额外的服务进程，在...
本接口既可以用于查询可升级的小版本，也可以用于查询可升级的主版本。资源变配 API 标题 API概述 ModifyNodeNumberPreCheck 计算组节点数量修改前的预检查 本接口用于对修改 Serverless StarRocks 实例的计算组中节点数量的操作进行预检查...
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
警告 如果您想删除近期合并过的小文件，可以设置此参数为false，来关闭此安全检查，但不建议您关闭此检查，这样可能会删除近期的数据而造成数据读写失败。spark.databricks.delta.schema.autoMerge.enabled 默认值为false。Delta有校验写入...
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 E-MapReduce 版本号 说明 2021-03-20 推荐使用。EMR Workbench 版本号 说明 2024-04-30 推荐使用...
FLINK任务类型用于执行Flink程序。本文为您介绍创建FLINK类型任务时涉及的参数，并提供了FLINK任务的示例。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：运行工作流时执行该任务...
当您需要基于已有集群快速创建一个新的集群时，您可以使用E-MapReduce的克隆集群功能。前提条件 已创建数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）或自定义场景（Custom）的集群，详情请参见 ...
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情...umount jindofs-fuse 如果出现 target is busy 错误，请切换到其它目录，停止所有正在读写FUSE文件的程序，再执行卸载操作。
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情...umount jindofs-fuse 如果出现 target is busy 错误，请切换到其它目录，停止所有正在读写FUSE文件的程序，再执行卸载操作。
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情...umount jindofs-fuse 如果出现 target is busy 错误，请切换到其它目录，停止所有正在读写FUSE文件的程序，再执行卸载操作。
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情...umount jindofs-fuse 如果出现 target is busy 错误，请切换到其它目录，停止所有正在读写FUSE文件的程序，再执行卸载操作。
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情...umount jindofs-fuse 如果出现 target is busy 错误，请切换到其它目录，停止所有正在读写FUSE文件的程序，再执行卸载操作。
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情...umount jindofs-fuse 如果出现 target is busy 错误，请切换到其它目录，停止所有正在读写FUSE文件的程序，再执行卸载操作。
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情...umount jindofs-fuse 如果出现 target is busy 错误，请切换到其它目录，停止所有正在读写FUSE文件的程序，再执行卸载操作。
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情...umount jindofs-fuse 如果出现 target is busy 错误，请切换到其它目录，停止所有正在读写FUSE文件的程序，再执行卸载操作。
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情...umount jindofs-fuse 如果出现 target is busy 错误，请切换到其它目录，停止所有正在读写FUSE文件的程序，再执行卸载操作。
程序类型 重要 如果选择程序类型为 PYTHON，则所选执行集群的所有worker节点都必须安装依赖环境。如果您需要在只有部分worker节点安装了依赖环境的集群中执行PySpark任务，详情请参见 常见问题。支持 JAVA、SCALA、PYTHON、SQL 和 CUSTOM_...
对于Serverless StarRocks实例，您需要将JDBC驱动程序JAR包上传到OSS上，并开放JAR包的公共读权限。详情请参见 简单上传、设置Bucket ACL。然后将driver_url配置成包含对应 内网Endpoint 的HTTP URL，例如：...