尊敬的阿里云用户，阿里云EMR Serverless StarRocks计划对部分地域的计费项进行相应调整。调整时间 2024年09月30日11时 调整对象 云盘存储费用 调整内容 包年包月 以下为云盘包年包月的价格调整前后的对比及降价幅度。ESSD云盘类型 地域 原...
EMR Serverless支持通过控制台查询或修改StarRocks BE、FE等组件的参数，以及查看配置的操作历史记录。警告 重启实例会造成您的实例停止工作，可能导致业务中断。因此，建议您在业务低峰期进行操作。同时，请确保客户端已具备业务重试机制...
在阿里云Serverless StarRocks中，版本更新分为小版本和大版本。小版本是指StarRocks的更新版本（2.x或3.x系列内的版本升级），包括性能提升、新功能或问题修复等，旨在提供更稳定和可靠的服务。EMR Serverless StarRocks采用滚动升级的...
本文将介绍如何通过Zeppelin的Livy Interpreter连接Serverless Spark，从而高效构建和优化交互式开发环境。前提条件 已创建工作空间，详情请参见 创建工作空间。已安装并启动Zeppelin，详情请参见 Apache Zeppelin官方文档。操作流程 步骤...
EMR Serverless Spark提供域名管理功能，解决云环境中的DNS解析问题，确保任务能够正确、高效地访问外部服务或资源。本文将介绍如何在Serverless Spark控制台的工作空间中新增域名、修改域名以及删除域名。使用限制 当前仅支持 IPv4。工作...
为确保RAM用户能正常使用EMR Serverless StarRocks控制台功能，您需要使用阿里云账号登录访问控制RAM（Resource Access Management）控制台，授予RAM用户相应的权限。背景信息 访问控制RAM是阿里云提供的资源访问控制服务，详情请参见 什么...
您可以在DSW中，利用Serverless Spark提供的Livy API，远程连接Serverless Spark，并将PySpark任务提交至服务端进行执行。使用示例 以“PAI-DSW+EMR Serverless Spark训练线性回归模型”为例，您将学习：在DSW中安装sparkmagic插件 配置与...
阿里云EMR Serverless Spark已于2024年9月14日开启商业化。EMR Serverless Spark介绍 EMR Serverless Spark是一款云原生，专为大规模数据处理和分析而设计的全托管Serverless产品。产品优势如下：云原生极速计算引擎 内置Fusion Engine...
EMR Serverless StarRocks版本更新分为小版本和大版本。大版本更新（例如，2.x升级到3.x）通常涉及较大规模的功能改进、新特性或架构变化等。您可以一键升级实例的版本，实现版本的无缝切换。前提条件 已创建StarRocks实例，详情请参见 ...
操作 访问级别 资源类型 条件关键字 关联操作 emr-serverless-spark:GetTemplate get*全部资源*无 无 请求语法 GET/api/interactive/v1/workspace/{workspaceBizId}/template HTTP/1.1 请求参数 名称 类型 必填 描述 示例值 workspaceBizId...
FE升配 进入EMR Serverless StarRocks实例详情页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless StarRocks。在顶部菜单栏处，根据实际情况选择地域。单击目标实例的名称。在 实例详情 页面的 FE详情 区域，单击 升配。在 ...
本章节展示如何将BI工具与大数据平台集成，构建高效的数据可视化解决方案。使用Power BI连接EMR Serverless Spark并进行数据可视化
本文介绍EMR Serverless StarRocks实例的欠费说明以及如何查看欠费金额。欠费说明 根据不同的计费方式，实例的欠费策略如下所示。计费方式 欠费策略 包年包月 实例到期后，实例处于锁定状态，无法被访问。实例锁定后第8天，实例的计算资源...
使用EMR Serverless Spark前，需要授予您的阿里云账号 AliyunServiceRoleForEMRServerlessSpark 和 AliyunEMRSparkJobRunDefaultRole 系统默认角色。本文为您介绍角色授权的基本操作。授权流程 通常，第一次 购买产品 时，需要您进行自动化...
创建EMR Serverless StarRocks的按量付费实例后，您可以将计费模式转为包月，提前预留资源，享受更大的价格优惠。本文介绍如何将按量付费实例转换为包月实例。前提条件 待转换的按量付费实例需要满足以下条件：归属于您的账号下。不能有未...
Serverless Spark支持多个内置特有参数，您可以查阅这些参数的名称、描述及其使用场景，以便灵活配置任务运行环境并优化任务执行。参数名 参数描述 适用场景 spark.emr.serverless.user.defined.jars 将上传的JAR包添加至Serverless Spark...
本接口用于重启 Serverless StarRocks 实例。接口说明 该接口为异步接口，实例的重启不是立即完成的，成功调用后，实例会先进入重启中（restarting）状态，当返回的状态为运行中（running）时代表重启成功。调试 您可以在OpenAPI Explorer...
Serverless Spark SQL开发和批任务支持自定义变量管理，可简化代码的维护和调整。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 使用变量可以有效降低重复编写相同值的工作量，从而提升配置管理的效率。通过变量的复用，可以在SQL...
EMR Serverless Spark 资源抵扣包上线，价格更优惠。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 新增按量付费下的计算资源抵扣包，价格更优惠。首次购买3000CU*小时规格的抵扣包，可享受5折优惠。产品文档 资源抵扣包
通过DolphinScheduler提交Spark任务 通过Serverless Spark提交PySpark流任务 通过spark-submit提交任务 通过Apache Airflow提交任务 通过Jupyter Notebook与Serverless Spark进行交互 在PySpark程序中使用Python第三方库 在Notebook中使用...
在左侧导航栏，选择 EMR Serverless StarRocks。在顶部菜单栏处，根据实际情况选择地域。在 实例列表 页面，单击目标实例操作列的 重启。在 确认重启 对话框中，选择 重启方式，单击 确定。重启方式 说明 滚动重启 该方式会依次重启实例中...
本文详细介绍了EMR Serverless StarRocks的云监控指标，涵盖了多个关键性能参数。可用性 指标名称 类型 维度 描述 serverless_starrocks_node_info_alive_percent 瞬时值-BE/CN 节点存活率（Alive），反映节点健康状态。serverless_...
本文为您介绍如何在EMR Serverless Spark中实现Hudi表的读取与写入操作。前提条件 已创建工作空间，详情请参见 创建工作空间。操作流程 步骤一：创建SQL会话 进入会话管理页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless...
本文介绍如何通过Power BI连接EMR Serverless Spark并可视化分析数据。使用限制 不支持访问Paimon和Iceberg的数据目录或表。前提条件 下载并安装Power BI。下载地址请参见 Microsoft Power BI。已创建Spark Thrift Server会话及其Token，...
EMR Serverless Spark提供了一个强大而可扩展的平台，它不仅简化了实时数据处理流程，还免去了服务器管理的烦恼，提升了效率。本文将指导您使用EMR Serverless Spark提交PySpark流式任务，展示其在流处理方面的易用性和可运维性。前提条件 ...
如果 扩容预检查 显示为 检查失败，原因是当前地域或可用区库存不足，请减少扩容数量或联系EMR Serverless StarRocks团队补充库存。进入EMR Serverless StarRocks实例详情页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless...
本文介绍在使用EMR Serverless StarRocks服务时的相关限制。付费类型：支持包年包月和按量付费方式。实例名、数据库名、表名、逻辑视图名、列名、分区名、用户名、角色名的命名规则：只能由数字(0-9)、字母(a-z或A-Z)，以及下划线(_)组成。...
在左侧导航栏，选择 EMR Serverless Spark。在 Spark 页面，单击目标工作空间名称。在 EMR Serverless Spark 页面，选择左侧导航栏中的 运维中心 资源管理。单击 资源观测 页签。您可以使用时间筛选器，筛选小时、天或自定义的时间段，图表...
使用EMR Serverless Spark提交PySpark流式任务 适用客户 全网用户 新增功能/规格 EMR Serverless Spark提供了一个强大而可扩展的平台，它不仅简化了实时数据处理流程，还免去了服务器管理的烦恼，提升了效率。本文将指导您使用EMR ...
进入EMR Serverless StarRocks实例详情页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless StarRocks。在顶部菜单栏处，根据实际情况选择地域。单击目标实例的名称。在 实例详情 页面的 基础信息 区域，单击 切换时区。在 ...
为了确保您能够顺利完成本教程，您需要准备教程所需的EMR Serverless Spark空间、DataWorks工作空间，并进行相关的环境配置。业务背景 为了更好地制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体的...
根据所选地域，在Serverless StarRocks实例的 内网白名单 中添加对应 DMS IP地址 的专有网络。详情请参见 网络访问与安全设置。操作步骤 登录 数据管理DMS 5.0。单击左上角的 图标，选择 数据资产 实例管理。说明 若您使用的是极简模式的...
因此如果您后续不再使用实例，请在 EMR Serverless StarRocks 页面释放实例，以免继续产生费用。此外，我们会在试用到期前通过手机短信提醒您，请务必留意相关通知，以便合理管理您的资源。支持新用户免费试用，免费试用提供的免费额度说明...
前提条件 已创建Serverless StarRocks实例，详情请参见 创建实例。已开通Quick BI，开通可前往 Quick BI产品首页。操作步骤 登录 Quick BI控制台。选择StarRocks数据源。在左侧导航栏，单击 数据源。在 数据源 页面，单击 新建数据源。搜索...
本章节重点介绍如何使用主流数据湖格式（如Paimon、Hudi、Iceberg）进行数据存储与管理，并结合流批一体技术实现...使用Paimon 使用Hudi 使用Iceberg 使用Delta Lake 使用DLF 基于Flink、EMR Serverless Spark与Paimon构建流批一体数据湖分析
EMR Serverless Spark是一款面向Data+AI的高性能Lakehouse产品。该产品为企业提供了一站式的数据平台服务，包括任务开发、调试、调度及运维等功能，显著简化了数据处理与模型训练的全流程。同时，它100%兼容开源Spark生态，能够无缝集成到...
实例管理 API 标题 API概述 CreateInstanceV1 创建实例 本接口用于创建 Serverless StarRocks 实例。RestartInstance 重启实例 本接口用于重启 Serverless StarRocks 实例。ReleaseInstance 释放实例 本接口仅用于释放 Serverless ...
会话是指EMR Serverless Spark工作空间中可用的Spark Session。您需要使用Notebook会话来进行Notebook开发。本文主要为您介绍如何创建Notebook会话。创建 Notebook 会话 Notebook会话创建完成后，您可以在进行Notebook开发时选择此会话。...
开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr-serverless-spark，支持的授权粒度为 操作级。权限策略通用结构 权限策略支持 JSON 格式，其通用结构如下：{"Version":"1","Statement":[{"Effect":"Effect","Action":"Action",...
操作步骤 步骤一：准备测试文件 在EMR Serverless Spark中，支持使用本地或独立的开发平台完成Python文件的开发，并将任务提交至EMR Serverless Spark中运行。本快速入门为了带您快速熟悉PySpark任务，为您提供了测试文件，您可以直接下载...