产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
GDB Console是阿里云图数据库GDB自有开源组件，您可以根据自有业务需求对可视化界面进行二次开发。操作步骤 下载并安装GDB Console。下载Release版本，可以直接安装使用。更多信息，请参见 Release版本下载。说明 如果您使用的是ARM架构的...
安装第三方插件，可以在不修改Flume源码的情况下，以插件的方式定制您需要的功能。例如，添加数据源和存储组件等。通过添加JindoFS SDK的插件，可以支持通过Flume直接将数据写入OSS。本文为您介绍如何安装第三方插件。前提条件 已获取第三...
背景信息 随着StarRocks开源社区的持续发展，StarRocks通过发布新版本为您提供更多优势特性，例如更快的性能、更好的安全性以及更多的功能等。同时，StarRocks的旧版本也将会随着技术演进逐步停止使用。如果您继续使用较低版本的StarRocks...
新增 从源码、脚本和压缩包构建Python应用并部署至容器服务K8s集群 CloudAppFramework正式开源 一套集成了多种云服务（包括：消息、微服务、可观测性、搜索、OSS等）的统一封装框架正式开源，同时支持公共云与专有云服务的统一对接。...
内置版本管理功能，完整记录每次发布历史，支持源码与配置差异对比，确保变更可追溯。高效协作与稳定性保障：开发与生产环境严格隔离，保障业务稳定性，助力团队高效协作与稳定交付。Serverless的资源平台 开箱即用：无需手动管理和复杂的...
trace：程序执行路径跟踪信息。logger.size 日志文件的大小。当文件达到该参数设置的值时，ClickHouse会将其存档并重命名，并创建一个新的日志文件。默认值为 1000M。logger.count 存档的ClickHouse日志文件个数。当存档的日志文件个数达到...
EMR Serverless StarRocks兼容开源StarRocks的SQL语法和函数，您可以参考以下文档进行开发设计。StarRocks版本 参考文档 3.3系列 SQL参考 函数参考 3.2系列 SQL参考 函数参考 2.5系列 SQL参考 函数参考
集群中实例上的应用程序进程在调用其他阿里云服务时，将使用ECS应用角色进行权限验证。在创建集群时既可以使用默认ECS应用角色，也可以使用自定义的角色。注意事项 集群创建后，ECS应用角色不可更改。默认ECS应用角色 在创建集群时，如果...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
脚本 您自定义的Shell程序。资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理 页面，创建或者上传了相应的文件。选择所需文件后，您可以在任务脚本中通过完整路径引用它们。例如，path/to/test.txt。自定义参数 任务...
ECS应用角色使得在EMR集群上运行的应用程序能够与其他云服务进行交互。如果您想了解ECS应用角色的权限策略，请参见 ECS应用角色（EMR 3.32之后、EMR 4.5之后版本以及EMR 5.x系列版本）。如果您想自定义ECS应用角色，请参见 使用自定义ECS...
您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码均为admin，请您登录后及时修改密码。说明 首次登录后默认是英文界面。在Superset页面，单击右上角的 图标，选择 ...
AliyunEMRManagedCostRolePolicy ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本）AliyunEmrEcsDefaultRole 集群实例上运行的应用程序进程在调用其他阿里云服务时将使用该角色。在创建集群时既可以使用该服务角色，也可以使用自定义...
由于ACK控制台上 访问链接与端口 不可用，您可通过以下配置访问开源组件的Web UI。登录 容器服务管理控制台。在 集群列表 页面，单击EMR on ACK所关联集群的 集群名称。鼠标悬浮在左边菜单栏 网络，单击 服务，在服务页面更新YAML文件。...
技术合作伙伴 开源技术社区 开源项目布局 2018 年 4 月，蚂蚁集团宣布开源 SOFAStack 金融级分布式架构。得益于社区的信任和支持，目前已经累积超过 2.5 万的 Star 数和超过 100 家企业用户，并持续朝打造金融级云原生多个技术领域的标杆...
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理，您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 ...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 starrocks,sr，支持的授权粒度为 操作级。权限策略通用结构 ...
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
快速使用EMR Workflow 常见问题 如果您要使用开源的数据开发组件，可选择Hue和Superset。具体如下：组件类型 组件名称 组件说明 常用文档 开源 Hue Hue仅对存量用户开放。Hue是一个开源的Web界面，用于与Apache Hadoop生态系统进行交互。...
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr-serverless-spark，支持的授权粒度为 操作级。权限策略...
通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr，支持的授权粒度为 资源级。权限策略通用结构 权限策略...
高性能计算引擎：内置 Fusion Engine，性能可达开源 Spark 的 4 倍；支持 Remote Shuffle Service Celeborn，提供 PB 级 Shuffle 能力并降低计算成本。高扩展性与弹性：基于阿里云 Serverless 底座，提供秒级资源弹性伸缩，按实际计算资源...
脚本 您自定义的Shell程序。资源 任务执行时所需的资源文件。如果其他参数中引用了资源文件，需要选择在 资源中心 的 文件管理 页面，创建或者上传的文件。自定义参数 任务自定义参数，会替换脚本中${变量} 的内容。更多参数配置信息，请...
EMR on ECS 支持配置托管弹性伸缩策略。适用客户 全网用户 新增功能/规格 EMR on ECS 在创建集群时，或在创建后集群的弹性伸缩页面，支持配置托管弹性伸缩模式，只需指定集群Task节点的最大最小数量，系统将根据业务负载动态调整集群。...
例如，假设当前时间为20160427 12:08:01：如果在作业参数中写成${yyyyMMdd HH:mm:ss-1d}，那么这个参数通配符在真正执行的时候会被替换成20160426 12:08:01，即在当前日期上减了一天并精确到了秒。如果写成${yyyyMMdd-1d}，则执行时会替换...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 Web 界面...
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的 enableLDAP。...
SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文介绍SmartData（3.5.x）版本的更新内容。JindoFS OSS扩展和支持 ...
本文介绍ZooKeeper指标的详细信息。ZooKeeper指标包含以下部分：Important metrics zk count info Important metrics 参数 指标 描述 AvgLatency zk_avg_latency。Zookeeper平均请求延迟。单位：ms。MaxLatency zk_max_latency Zookeeper...
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已 开通日志服务。使用限制 ...
无 x√自动合并小文件 无 x√说明 以上信息是在2021年9月份，客观分析开源Iceberg和商业版Iceberg现状之后制定的表格。随着后续版本的不断迭代升级，对比项状态可能发生变化。适用场景 Iceberg作为通用数据湖解决方案中最核心的组件之一，...
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
HBase的快照功能可以获取表的轻量级备份，并且对性能的影响极小。您可以在包含HBase服务的集群上使用HBase Shell或通过命令行来创建、导入或导出快照，并使用快照克隆新表或恢复表数据。本文为您介绍如何使用HBase快照。创建快照 使用 ...
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 TrinoMaster 操作列的 enableLDAP。在弹出...
笔记本概述 笔记本是进行程序开发的载体，每个笔记本对应一个.ipynb文件。您可以在一个工作空间内创建一个或多个笔记本。每个笔记本由单元格（Cell）组成。目前EMR Notebook支持以下类型的单元格：SQL：用于编辑和运行SQL代码。Python：...
在执行任务前，可通过上传所需的文件、JAR包等资源，或加载文件目录至EMR Serverless Spark，以确保任务运行时可以无缝地访问所需资源。背景信息 托管文件目录：通过界面直接上传本地文件到指定的存储空间，并在任务运行时直接访问这些文件...