EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...
Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。相关文档 如何使用Hive客户端连接Hive，请参见 Hive连接方式。Hive服务...
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的 enableLDAP。...
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已 开通日志服务。使用限制 ...
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 TrinoMaster 操作列的 enableLDAP。在弹出...
说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
SOFAStack 目前涵盖的开源项目有：主要项目 通过平台来解决大规模运维中发布、监控和审计的难题，并集成云原生的各种功能（例如容器、Serverless 和 Mesh 等），来提高运维效率。孵化项目 一站式管控平台 SOFADashboard。主要工具 网络通信...
Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。背景信息 EMR Flink完全兼容开源Flink，相关内容请参见...
稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 发行版本。适配开源组件，避免开源组件之间的版本兼容性问题。基于开源组件，优化和增强阿里云部署环境，性能远高于开源版本。易用性 分钟级搭建大数据计算环境...
说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装并自行管理。EMR主要由开源组件、自研组件、集成的阿里云产品和集群管理四部分组成。您可以根据产品架构图查看EMR提供的大数据组件及...
本文为您介绍开源组件常用端口。服务 端口 描述 Hadoop 2.X 50070 HDFS Web UI的端口。配置参数为 dfs.namenode.http-address 或 dfs.http.address 。说明 dfs.http.address 已过期但仍能使用。50075 DataNode Web UI的端口。50010 ...
EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎。本文介绍Presto的基本特性、系统组成和优势等信息。...例如，如果您的Presto版本号为0.279，则可以访问https://prestodb.io/docs/0.279/，查看相应版本的开源Presto文档。
功能区名称 说明 昨日用量 昨日音视频通信服务使用的总时长、日活跃用户数、并发频道峰值和并发通信峰值。通信时长趋势 最近七日通信时长的趋势图。使用指南 一些常见问题及使用说明的文档链接。资源包 音视频通信时长包（国内版）购买入口...
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
音视频通信控制台提供了观星台、用量查询、统计分析、应用管理、接入工具、配置管理、服务授权管理的配置与使用。通过阅读本文，您可以了解控制台概览及各功能的简介。操作步骤 登录 音视频通信RTC控制台。查看控制台概览。功能区名称 说明...
通信时长查询功能可以查询指定AppID下通信时长数据。通过阅读本文，您可以了解通信时长的查询方法。操作步骤 登录 音视频通信RTC控制台。在左侧导航栏选择 用量查询 通信时长，进入通信时长查询界面。选择待查询的AppID、区域及时间，单击 ...
通信时长查询功能可以查询指定AppID下通信时长数据。通过阅读本文，您可以了解通信时长的查询方法。操作步骤 登录 音视频通信RTC控制台。在左侧导航栏选择 用量查询 通信时长，进入通信时长查询界面。选择待查询的AppID、区域及时间区域，...
本文介绍 MQTT型 实例中直连设备使用开源MQTT协议通过自定义认证信息（Username、Password、SN）进行注册认证的流程。背景信息 仅需要使用MQTT连接和消息上下行的场景中，为降低...通信原理与云网关设备通信原理相同，请参见 消息通信说明。
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。前置概念 阅读本文前，您可能需要了解如下概念：什么...
费用计算：A的音视频通信费用=视频通话规格单价（0.024元/分钟）×视频通话时长用量（62分钟）×2 B的音视频通信费用=视频通话规格单价（0.012元/分钟）×视频通话时长用量（62分钟）+视频通话规格单价（0.024元/分钟）×视频通话时长用量...
Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 Hadoop DistCp 开源Hadoop内置的DistCp工具，用于大型集群间或集群内数据的复制。HDFS到HDFS间的数据复制。Jindo DistCp JindoFS的数据迁移工具，支持OSS、OSS-HDFS服务、兼容...
与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
版本说明 MSE Nacos 版本 开源控制台默认状态 是否支持鉴权 描述 1.x及2.2.3.1之前的2.x版本 开启 不支持 默认开启开源控制台，且不支持鉴权，开源控制台的URL可被任何人访问，建议使用商业化控制台。若确实需要使用，建议 设置白名单 来...
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
阿里云音视频通信RTC（Real-Time Communication）是覆盖全球范围内的实时音视频开发平台。依托核心音视频编解码、信道传输、网络调度等技术，为您提供高可用、高品质、超低延时的音视频通信服务。前置概念 阅读本文前，您可能需要了解如下...
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
EMR on ECS发布基于大模型构建的新版监控诊断功能 适用客户 全网用户 新增功能/规格 EMR on ECS新版监控诊断是基于大模型构建的智能运维辅助功能，结合了阿里云EMR团队在开源大数据领域的知识经验、阿里云EMR可观测能力和技术专家的诊断...
默认情况下，Spring Cloud SOFA 会自动配置该参数以便让应用接入商业版 SOFA 中间件，如果要使用非商业版中间件，需要手动修改此配置。重要 修改此配置将导致应用无法连接任何商业版 SOFA中间件，如 DRM、SOFAMQ 等，因此正常情况下请勿...
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
应用程序可以通过统一命名空间和接口来访问多个独立的存储系统，从而实现只连接JindoFSx就可与不同的底层存储系统进行通信。前提条件 已在E-MapReduce上创建EMR-3.42.0及后续版本、EMR-5.6.0及后续版本的集群，具体操作请参见 创建集群。...
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
Action=ListClusters&RegionId=cn-hangzhou & 公共请求参数 https 指定了请求通信协议。[Endpoint]指定了EMR的服务接入地址（Endpoint）。Action=ListClusters 指定了要调用的API。公共请求参数 是系统规定的公共参数。服务地址 API的常用...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多...