适用客户 全网用户 新增功能/规格 Serverless StarRocks支持日志查询功能,您可以将StarRocks的前端节点(FE)和后端节点(BE)的原始日志输出到日志服务中,便于集中管理和分析。同时,您还可以查询实例中产生的日志信息,快速定位问题并...
适用客户 全网用户 新增功能/规格 Serverless StarRocks支持在存算分离场景下为不同业务场景分配独立的网关,从而确保FE服务的隔离性与稳定性。在实例负载较高时,可以通过特定网关将关键业务查询路由至独立的FE节点,以保障服务的性能与...
Serverless Spark 支持补数功能。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持补数功能。工作流以及工作流节点使用的时间变量会根据补数选择的业务时间自动替换为对应的值。产品文档 变量管理
Serverless Spark在启动时将自动加载MySQL JDBC驱动(版本 8.0.33)。您可以通过SQL会话、批处理任务或Notebook等方式连接MySQL,从而实现数据的读取与写入操作。前提条件 已创建Serverless Spark工作空间,详情请参见 创建工作空间。已...
包年包月是一种预付费计费方式,在购买时需根据所选时长预先支付费用,EMR Serverless Spark 会按照您购买的时长,严格计算计费周期的价格。包年包月说明 特性 说明 适用场景 包年包月主要适用于以下业务场景:长期稳定使用:当您预计使用...
通过阅读本文,您可以快速了解EMR Serverless StarRocks的定价、计费项和计费方式等主要计费信息。信息 说明 相关文档 计费项 为您介绍EMR Serverless StarRocks的计费项、计费方式,以及相关计算公式,以便您对支付的费用组成有所了解。...
本接口仅用于释放 Serverless StarRocks 按量付费实例。包年包月实例请到用户中心退订管理页进行退订。接口说明 危险 释放实例后,实例所使用的物理资源都被回收,相关数据全部丢失且不可恢复。调试 您可以在OpenAPI Explorer中直接运行该...
StarRocks官方提供了Spark Connector用于Spark和StarRocks之间的数据读写,Serverless Spark可以在开发时添加对应的配置连接StarRocks。本文为您介绍在EMR Serverless Spark中实现StarRocks的读取和写入操作。前提条件 已创建Serverless ...
本文为您介绍EMR Serverless Spark的计费项和计费方式等信息。相关项 说明 计费项 为您介绍工作空间的资源估算、计费项及相关计算公式,以便您对支付的费用组成有所了解。计费方式 通过本部分内容,您可以了解各计费方式的特点。续费说明 ...
本文介绍EMR Serverless StarRocks产品中涉及的一些基本名词概念,使您能够更好地理解EMR Serverless StarRocks。地域(Region)购买EMR Serverless StarRocks的服务器所处地理位置。您需要在购买EMR Serverless StarRocks实例时指定Region...
基于HBase官方提供的Spark Connector,EMR Serverless Spark可以在开发时添加对应的配置来连接HBase。本文为您介绍在EMR Serverless Spark环境中实现HBase的数据读取和写入操作。前提条件 已创建Serverless Spark工作空间,详情请参见 创建...
变更范围 当前规格 可变更规格 标准规格 内存增强型 网络增强型 内存增强型 标准规格 网络增强型 网络增强型 标准规格 内存增强型 高性能存储 不可变更 大数据存储 不可变更 变更操作 进入EMR Serverless StarRocks实例详情页面。...
如何在Serverless Spark环境中使用Python三方库 适用客户 全网用户 新增功能/规格 PySpark作业往往需要借助Python第三方库来增强数据处理和分析能力。本文档详细介绍了如何利用Conda和PEX这两种方法,有效地将这些库集成到Serverless Spark...
EMR Serverless Spark可以满足企业级用户的多种数据处理与分析需求。本文介绍EMR Serverless Spark的应用场景以及相应的解决方案。建立数据平台 得益于其开放式架构设计,EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和...
通过JDBC连接到Serverless StarRocks实例,您可以享受到跨平台的统一数据接入体验,并显著简化应用程序的集成流程。本文为您介绍如何使用JDBC方式连接Serverless StarRocks实例。前提条件 已创建Serverless StarRocks实例,详情请参见 创建...
本接口用于升级 Serverless StarRocks 实例版本。Serverless StarRocks 有两层版本定义,一层是主版本,即集群详情页“版本”所显示的内容,另一层是小版本,即集群详情页“小版本”所显示的内容。本接口既可以用于升级小版本,也可以用于...
会话是指EMR Serverless Spark工作空间中可用的Spark Session。您需要访问SQL会话来运行SQL查询和进行数据科学分析。本文主要为您介绍如何创建SQL会话。创建SQL 会话 SQL会话创建完成后,您可以在创建SQL类型任务时选择此会话。进入会话...
本文为您介绍2024年12月11日发布的EMR Serverless Spark的功能变更。概述 2024年12月11日,我们正式对外发布Serverless Spark新版本,包括平台管理、性能优化以及引擎能力。平台侧 功能分类 功能更新说明 Gateway 支持Kyuubi Gateway(Beta...
本文为您介绍如何在EMR Serverless Spark中实现Iceberg表的读取与写入操作。前提条件 已创建工作空间,详情请参见 创建工作空间。操作流程 说明 SparkSQL与Notebook均支持对Iceberg表的读写操作。本文将以SparkSQL任务为例进行介绍。步骤一...
在左侧导航栏,选择 EMR Serverless StarRocks。单击目标实例名称。在 实例详情 页面的 安全配置 区域,单击 SSL 加密 后的 开启。在 开启SSL加密 对话框中,单击 确认 以使用默认证书。如果您需要自定义证书,可打开 自定义加密文件 开关...
本文为您介绍2025年07月31日发布的EMR Serverless Spark的功能变更。概述 2025年07月31日,我们正式对外发布 Serverless Spark 新版本,涵盖了平台管理能力。平台侧 功能分类 功能更新说明 相关文档 数据目录 支持同时添加多个 DLF(之前...
操作 访问级别 资源类型 条件关键字 关联操作 emr-serverless-spark:ListLogContents none*全部资源*无 无 请求语法 GET/api/v1/workspaces/{workspaceId}/action/listLogContents HTTP/1.1 请求参数 名称 类型 必填 描述 示例值 fileName ...
操作 访问级别 资源类型 条件关键字 关联操作 emr-serverless-spark:TerminateSqlStatement delete*全部资源*无 无 请求语法 POST/api/interactive/v1/workspace/{workspaceId}/statement/{statementId}/terminate HTTP/1.1 请求参数 名称 ...
包年包月配额 进入EMR Serverless Spark工作空间页面。登录 E-MapReduce控制台。在左侧导航栏,选择 EMR Serverless Spark。在 Spark 页面,选择目标工作空间对应 操作 列中的 删除。在 资源退订 页面,退订资源 普通云资源 菜单栏下单击待...
操作步骤 步骤一:开发JAR包 在EMR Serverless Spark中,不直接提供集成的JAR包开发环境,因此需要您在本地或独立的开发平台上完成Spark应用的编码和打包成JAR文件。本文提供两个示例供您参考。在Maven项目的 pom.xml 文件中,需添加与...
本文将为您介绍如何构建高效的与Serverless Spark交互的开发环境。背景信息 Apache Livy通过REST接口与Spark进行交互,极大地简化了Spark和应用程序服务器之间的通信复杂度。关于Livy API,请参见 REST API。在使用Jupyter Notebook进行...
通过本教程,您可以了解如何使用DataWorks和EMR Serverless Spark产品组合进行大数据开发和分析,并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略,现需要从...
本文为您介绍阿里云地域的概念、选择指导以及阿里云EMR Serverless Spark支持的地域列表。背景信息 地域(Region):指数据中心所在的地理区域,通常按照数据中心所在的城市划分。例如,华北2(北京)地域表示数据中心所在的城市是北京。...
本文为您介绍2025年03月03日发布的EMR Serverless Spark的功能变更。概述 2025年3月3日,我们正式对外发布Serverless Spark新版本,包括平台管理、性能优化以及引擎能力。平台侧 功能分类 功能更新说明 相关文档 售卖 新增按量付费下的计算...
本接口用于修改 Serverless StarRocks 实例的资源组。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM...
通过本教程,您可以了解如何使用DataWorks和EMR Serverless Spark产品组合进行大数据开发和分析,并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略,现需要从...
截至目前,阿里云EMR Serverless Spark已通过多项资质认证,能够满足您的多种合规要求。合规资质 说明 ISO27018 ISO27018建立了一套关于个人隐私保护的规范,涵盖了控制目标、控制内容及相应的实施指引。该标准依据ISO/IEC 27002识别的信息...
EMR Serverless StarRocks支持将数据以快照文件的形式备份至阿里云OSS,或将备份的数据从阿里云OSS恢复至新的实例中。该功能不仅保障了数据的安全性和业务的连续性,还能帮助用户轻松创建包括数据和元数据在内的数据副本,以测试新功能、...
本接口用于修改 Serverless StarRocks 实例计算组节点的 CU 数量。接口说明 请确保在使用该接口前,已充分了解 Serverless StarRocks 产品的收费方式和 计费项。调用该接口时,您需要注意:只有标准版实例支持修改计算组 CU 数量,入门版...
EMR Serverless StarRocks提供域名管理功能,通过自定义/etc/hosts 配置,解决云环境中的DNS解析问题,以确保任务能够正确、高效地访问外部服务或资源。本文将介绍如何在Serverless StarRocks控制台新增域名、修改域名以及删除域名。使用...
操作 访问级别 资源类型 条件关键字 关联操作 emr-serverless-spark:StartSessionCluster*全部资源*无 无 请求语法 POST/api/v1/workspaces/{workspaceId}/sessionClusters/action/startSessionCluster HTTP/1.1 路径参数 名称 类型 必填 ...
Serverless Spark的部分版本在启动时会自动加载PostgreSQL JDBC驱动,因此您可以直接通过Serverless Spark的SQL会话、Spark批处理任务或Notebook等方式进行连接,以便进行数据的读取与写入操作。前提条件 已创建Serverless Spark工作空间,...
EMR Serverless Spark的Python环境已默认安装matplotlib、numpy和pandas。如果您需要使用其他第三方库,可以创建运行环境。前提条件 已创建工作空间,详情请参见 管理工作空间。创建运行环境 进入运行环境管理页面。登录 E-MapReduce控制台...
开通Manager Agent 创建实例时开通 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏,选择 EMR Serverless StarRocks。在顶部菜单栏处,根据实际情况选择地域。在 实例列表 页,单击 创建实例。在 E-...
EMR Serverless Spark提供了多种计费方式,您可以根据需要选择合适的计费方式。合理选择计费方式将有助于您在成本控制与资源使用灵活性之间,找到符合自身业务的最佳平衡点。计费方式 描述 按量付费 按量付费是一种先使用后付费的计费方式...