关于阿里云EMR Serverless Spark产品和服务的相关问题，您可以通过以下渠道寻求支持和解决。...填写相关问题信息，产品分类 选择 开源大数据平台 E-MapReduce。单击 提交。售后服务SLA 售后服务SLA详情，请参见 企业支持计划 的内容。
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr-serverless-spark，支持的授权粒度为 操作级。权限策略...
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
当某一个Impalad进程由于节点异常、网络异常或软件问题等导致节点不可用时，StateStore确保将状况结果通知其他Impalad进程，当有新的查询请求时，Impalad进程将不会发送查询请求到该不可用的节点。Catalogd 部署在Master节点的master-1-1...
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已 开通日志服务。使用限制 ...
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
阿里云EMR Serverless Spark已于2024年9月14日开启商业化。EMR Serverless Spark介绍 EMR Serverless Spark是一款云原生，专为大规模数据处理和分析而设计的全托管Serverless产品。产品优势如下：云原生极速计算引擎 内置Fusion Engine...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多...
EMR集群中Flume的软件安装目录为/opt/apps/FLUME/flume-current/lib。方式三：上传第三方的JAR包至$FLUME_HOME/plugins.d/目录下。相关的目录：$FLUME_HOME/plugins.d/lib：插件本身的JAR包。FLUME_HOME/plugins.d/libext：插件依赖的JAR包...
仪表板的智能问答功能支持通过简单的自然语言，从指定的数据集中快速生成分析图表，并保存到仪表板中。本文为您介绍智能问答的使用方法。重要 仪表板内的智能问答_公测期结束，后续不再支持使用及订购；自24年4月1日起，新客户不再支持该...
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr，支持的授权粒度为 资源级。权限策略通用结构 权限策略...
EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...
EMR-2.10.0和EMR-3.10.0之前版本默认不支持Python 3版本，您需要自行下载安装，步骤如下：下载Python 3软件包：Python-3.6.4.tgz。使用文件传输工具（SSH Secure File Transfer Client），上传JAR包至Master节点的/usr/local 目录。解压...
如果您在使用智能分析套件Quick BI的过程中有任何疑问或建议，您可以通过不同渠道联系到我们。售前咨询 在购买阿里云产品前，可通过以下渠道了解或咨询产品信息：拨打阿里云售前电话：400-801-3260，根据电话提示转到售前人工服务。登录 ...
在创建集群的 软件配置 阶段，打开 高级设置 区域的 Kerberos身份认证 开关。单击 外部KDC。默认是 本群自建KDC，即当前集群为您创建KDC。使用您外部自建的KDC，需要填写以下信息。参数 描述 KDC Hosts KDC的IP地址和端口。多个IP地址时，...
Quick BI接入智能小Q的企业级数据智能体模型，您可以使用智能体进行对话。本文为您介绍如何使用智能体。使用限制 我的智能体属于增值模块，需要先购买智能问数模块后使用。仅高级版和专业版支持智能体，个人版不支持。嵌入和无线端场景，不...
HBase配置 您可以在创建HBase集群的 软件配置 页面，利用 高级设置 的 软件自定义配置 功能，结合使用场景，修改HBase的默认参数，示例如下。{"configurations":[{"classification":"hbase-site","properties":{"hbase.hregion.memstore....
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
KAFKA_HOME Kafka Broker软件安装目录。LOG_DIR_ROOT EMR集群服务日志根目录。KAFKA_ZOOKEEPER EMR Kafka ZooKeeper访问路径。例如，master-1-1.c-0e6a8cxxxxxxxxxx.cn-hangzhou.emr.aliyuncs.com:2181/emr-kafka。KAFKA_CONF_DIR Kafka ...
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
软件信息 该区域为您展示集群版本、集群类型、软件信息和Hive元数据类型等信息。网络硬件 该区域为您展示可用区、专有网络和硬件配置等信息。安全 该区域为您展示密钥对、ECS实例角色、集群安全组和集群服务角色等信息。相关文档 查看集群...
Quick BI 智能小Q是Quick BI集成多种大模型和Agent能力的增值服务模块，通过一系列AI功能如 小Q问数Agent、小Q解读Agent、小Q报告Agent、小Q搭建Agent 革新了整个BI的数据分析链路，帮助用户实现数据分析的智能化与个性化。用户能够通过...
产品版本 默认最新的软件版本。组件版本 展示集群类型下的组件及组件版本信息。ACK集群 选择已有的ACK集群，或者在容器服务ACK控制台新建ACK集群。说明 Data Science集群会使用如下命名空间（Namespace），包括anonymous、cert-manager、...
EMR集群模板可持久化保存集群配置（如软件版本、实例类型等），实现一键创建相同配置的集群，避免重复操作。该功能适用于需要快速部署测试环境或多套生产环境的场景，能显著提升效率并保证配置一致性。功能特性 配置持久化：保存除密码外的...
Fusion引擎是EMR Serverless Spark内置的高性能向量化SQL执行引擎，相比开源Spark在TPC-DS基准测试上有3倍性能提升。Fusion引擎与开源Spark完全兼容，您无需对现有代码做任何修改。在EMR Serverless Spark中，只需在创建会话时开启 使用...
此外，Quick BI 深度融合传统BI 与智能分析Agent，通过“智能小Q”以用自然语言实现问数、解读、报告、搭建四大核心分析Agent 能力，推动企业从“被动看数”迈向“主动懂数、智能用数”，让数据真正成为驱动业务增长的核心引擎，实现从传统...
作为您的超级数据分析师，Quick BI 智能小Q在统一入口集问数、报告、解读、搭建、搜索等多Agent于一体，基于用户意图识别，自动规划相应专家Agent执行操作，一句话直达关键洞察，让数据分析触手可得。本文将为您介绍如何使用Quick BI 智能...
数据湖（DataLake）、数据服务（DataServing）和自定义（Customer）场景集群 单击 solr-8.11.4.tar.gz，下载修复漏洞后的Solr软件包。将下载的Solr软件包上传到集群Master节点的/opt/apps/RANGER/目录下。scp solr-8.11.4.tar.gz master-1-...
您在使用E-MapReduce（简称EMR）过程中，某些非产品预期的操作可能会导致集群的不稳定甚至集群的不可用，为了避免这种问题，请您认真阅读...如果集群创建后手工安装第三方软件或服务，在扩容时，新扩容节点需重新手工安装第三方软件或服务。
手动执行类似引导操作，在集群创建完成后，您可以通过手动执行功能来安装集群尚未支持的软件和服务，例如：使用YUM安装已经提供的软件。直接下载公网上公开的软件。读取您OSS中的自有数据。安装并运行服务（例如，pig组件等），但需要编写...
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
StarRocks兼容MySQL协议语法，可以使用现有的各种客户端工具、BI软件访问StarRocks，对StarRocks中的数据进行拖拽式分析。流批一体 StarRocks支持实时和批量两种数据导入方式。StarRocks支持的数据源有Kafka、HDFS和本地文件。StarRocks...
与自建Hadoop集群相比，开源大数据开发平台EMR提供弹性资源管理和自动化运维，降低运维复杂度，通过用户管理、数据加密和权限管理等为数据安全保驾护航，同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态，便于快速搭建大数据处理和...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本概念 数据模型 数据模型即数据的组织形式。Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog：一个Catalog可以包含多个Schema，物理上指向...