与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
在存储计算分离架构，免 AK 集成访问 OSS 对象存储，弹性可扩展的计算能力，支持高性能的热数据本地 Cache 缓存，在不损失查询性能的情况下极大的降低了存储成本。产品文档 ...
由于ACK控制台上 访问链接与端口 不可用，您可通过以下配置访问开源组件的Web UI。登录 容器服务管理控制台。在 集群列表 页面，单击EMR on ACK所关联集群的 集群名称。鼠标悬浮在左边菜单栏 网络，单击 服务，在服务页面更新YAML文件。...
Impala集成Kudu后，您可以使用Impala访问Kudu的数据表。本文为您介绍Impala如何集成Kudu。前提条件 已创建集群，并且选择了Impala和Kudu服务，详情请参见 创建集群。操作步骤 控制台方式 在Impala服务的 配置 页面，新增以下配置项，具体...
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 Hadoop DistCp 开源Hadoop内置的DistCp工具，用于大型集群间或集群内数据的复制。HDFS到HDFS间的数据复制。Jindo DistCp JindoFS的数据迁移工具，支持OSS、OSS-HDFS服务、兼容...
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 starrocks,sr，支持的授权粒度为 操作级。权限策略通用结构 ...
如何在Serverless Spark环境中使用Python三方库 ...本文档详细介绍了如何利用Conda和PEX这两种方法，有效地将这些库集成到Serverless Spark环境中，确保作业在分布式计算场景下的稳定性和灵活性。产品文档 在PySpark程序中使用Python三方库
集成接入管理-产品接入，再产品集成列表，显示所有授权成功的产品，在操作列中点击产品接入 在选择控制台渠道下列可以看见step5中申请的控制台名称。如果没有看见，则可能是step5中审批流程没有完成。点击下一步。用免登方式登录到buy页面...
通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
开放集成 新增获取数据集详情列表、行级权限开关及配置API，让自动化权限更加灵活。变更内容 可视化 创建仪表板时，仪表板内的操作面板中新增新手引导，帮助用户快速创建仪表板。指标拆解树维值极限从50扩充到500。优化指标趋势图。新增 ...
2024年04月01日起阿里云E-MapReduce（简称EMR）on ACK正式商业化。阿里云EMR on ACK提供了一种全新的构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，...
操作步骤 使用SSH隧道方式访问Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。说明 建议您首次使用Kafka Manager时修改默认密码。为了防止8085端口暴露，建议使用SSH隧道方式来访问Web界面。如果使用 http://localhost:8085 方式...
依赖外部组件，复杂 支持 多维检索 与搜索引擎LindormSearch智能集成，支持海量数据的存储、多维查询、全文检索等统一访问能力，详情请参见 搜索索引介绍。不支持 不支持 性能 吞吐性能 单机吞吐是开源HBase的7倍，详情请参见 测试结果分析...
超越开源版本的能力与生态集成 和阿里云AI产品集成 与阿里云人工智能平台PAI，通义等AI产品矩阵集成，为企业的AI应用场景落地，提供更快捷易用的产品体验。和阿里云上下游产品集成 与阿里云存储、大数据产品集成对接，方便产品间数据调用，...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
2023年6月1日起，E-MapReduce Serverless StarRocks服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
关于阿里云EMR Serverless Spark产品和服务的相关问题，您可以通过以下渠道寻求支持和解决。...填写相关问题信息，产品分类 选择 开源大数据平台 E-MapReduce。单击 提交。售后服务SLA 售后服务SLA详情，请参见 企业支持计划 的内容。
DataWorks深度集成EMR Serverless Spark计算引擎，为数据仓库、数据湖及湖仓一体架构提供全链路云原生开发治理能力。本文将以用户画像分析为实战场景，演示一体化开发流程。如果你使用的是新版DataWorks，请参考 使用新版...
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr-serverless-spark，支持的授权粒度为 操作级。权限策略...
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已 开通日志服务。使用限制 ...
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
阿里云EMR Serverless Spark已于2024年9月14日开启商业化。EMR Serverless Spark介绍 EMR Serverless Spark是一款云原生，专为大规模数据处理和分析而设计的全托管Serverless产品。产品优势如下：云原生极速计算引擎 内置Fusion Engine...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多...
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
仪表板的智能问答功能支持通过简单的自然语言，从指定的数据集中快速生成分析图表，并保存到仪表板中。本文为您介绍智能问答的使用方法。重要 仪表板内的智能问答_公测期结束，后续不再支持使用及订购；自24年4月1日起，新客户不再支持该...
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr，支持的授权粒度为 资源级。权限策略通用结构 权限策略...
EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的 enableLDAP。...
如果您在使用智能分析套件Quick BI的过程中有任何疑问或建议，您可以通过不同渠道联系到我们。售前咨询 在购买阿里云产品前，可通过以下渠道了解或咨询产品信息：拨打阿里云售前电话：400-801-3260，根据电话提示转到售前人工服务。登录 ...
E-MapReduce增强型Druid E-MapReduce Druid基于Apache Druid做了大量的改进，包括与E-MapReduce和阿里云周边生态的集成、方便的监控与运维支持、易用的产品接口等，实现即买即用和7*24免运维。E-MapReduce Druid目前支持的特性如下所示：...
发布日期 2022年05月05日 重点升级概览 ...开放集成 新增开放API功能，产品化的交互帮助开发者一键调试应用API，提升系统集成的效率。嵌入分析功能增强，全局参数支持查询控件默认传参。请参见 报表嵌入数据权限控制和传参的安全增强方案。
阿里云Open API操作审计 Kubernetes API操作审计 阿里云账号授权体系集成 支持Dry-Run试运行模式 可扩展与生态集成 功能 Sidecar模式 Ambient模式 开源社区 标准版 企业版 旗舰版 开源社区 标准版 企业版 旗舰版 插件市场 EnvoyFilter多...
Quick BI接入智能小Q的企业级数据智能体模型，您可以使用智能体进行对话。本文为您介绍如何使用智能体。使用限制 我的智能体属于增值模块，需要先购买智能问数模块后使用。仅高级版和专业版支持智能体，个人版不支持。嵌入和无线端场景，不...
通过本教程，您可以了解如何使用DataWorks和EMR Serverless Spark产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从...