本文介绍JindoFS的namespace的存储模式（Block或Cache）支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式，JindoFS支持的系统权限如下：当您namespace的存储模式是Block模式时，支持Unix和...
本文介绍JindoFS的namespace的存储模式（Block或Cache）支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式，JindoFS支持的系统权限如下：当您namespace的存储模式是Block模式时，支持Unix和...
若需保持软件包最新、扫描或安装补丁、默认补丁基线安装优先级不高的补丁、补丁基线内定制化设置，可使用 OOS 提供的补丁管理功能，帮助您快速修复漏洞，保障系统安全与稳定。本文将指导您如何使用 OOS 的补丁管理服务，通过立即修复功能，...
本文介绍JindoFS的Block模式支持的文件系统权限功能，包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限，在JindoFS上开启Ranger插件后，就可以在Ranger上对JindoFS权限（和其它组件权限）进行一站式管理。...
本文介绍JindoFS的Block模式支持的文件系统权限功能，包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限，在JindoFS上开启Ranger插件后，就可以在Ranger上对JindoFS权限（和其它组件权限）进行一站式管理。...
本文介绍JindoFS的Block模式支持的文件系统权限功能，包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限，在JindoFS上开启Ranger插件后，就可以在Ranger上对JindoFS权限（和其它组件权限）进行一站式管理。...
本文介绍JindoFS的Block模式支持的文件系统权限功能，包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限，在JindoFS上开启Ranger插件后，就可以在Ranger上对JindoFS权限（和其它组件权限）进行一站式管理。...
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。Hive结构 名称 说明 HiveServer2 HiveQL查询服务器，可以配置为Thrift或者HTTP协议，接收来自JDBC客户端提交的SQL请求...
Apache Celeborn是阿里云开源的中间数据服务，旨在提升大数据计算引擎的性能、稳定性和灵活性。Celeborn设计独立于具体引擎，支持Spark、Flink、MapReduce(MR)和 Tez，并且是目前最流行的Remote Shuffle Service的实现。Celeborn架构 ...
关于Spark的更多介绍，可以参见开源文档 Quick Start，选择适合您的语言和版本。提交作业的详细信息请参见：提交Spark作业 使用CLI提交Presto作业 提交Flink作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过...
背景信息 云监控（CloudMonitor）是针对阿里云资源和互联网应用提供监控的服务，支持集中管理、监控各云服务的系统事件，为您提供各云服务系统事件的统一查询入口，使您及时了解各云服务的运行状态，并接收报警通知。关于云监控的更多信息...
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
该服务基于统一的元数据管理能力，完全兼容HDFS文件系统接口。此外，由于数据存储在OSS中，OSS-HDFS服务完美地继承了OSS的数据保护功能。在EMR集群中内置了JindoSDK，各相关组件已完全支持OSS-HDFS，详情请参见 数据湖生态接入。客户仅需...
管理SQL会话 管理Notebook会话 管理Spark Thrift Server会话 文件管理 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。管理Notebook会话 管理文件 任务编排 支持设置工作流、节点级别的自定义变量，可简化代码的维护和...
因为EMR表管理功能仅支持基于OSS文件系统创建数据库和表，所以 数据来源 设置为 OSS。数据库和表的文件路径不能选择整个OSS bucket，需要选择到OSS bucket的下级目录。单击 确定。您可以单击 任务列表，查看执行结果。当 状态 为 成功 时，...
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
工作空间是EMR Notebook管理数据库、外部集群和笔记本的基本单元。通过工作空间，您可以创建和编辑Notebook文件，方便地上传和下载文件，与其他用户共享Notebook和数据，并灵活地管理访问权限。前提条件 已完成系统角色授权，详情请参见 ...
与自建Hadoop集群相比，开源大数据开发平台EMR提供弹性资源管理和自动化运维，降低运维复杂度，通过用户管理、数据加密和权限管理等为数据安全保驾护航，同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态，便于快速搭建大数据处理和...
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
权限策略 支持的 系统策略 如下：AliyunEMRServerlessSparkFullAccess：EMR Serverless Spark管理员权限，包含创建、删除工作空间权限，具体策略详情请参见 AliyunEMRServerlessSparkFullAccess。AliyunEMRServerlessSparkDeveloperAccess...
由于ACK控制台上 访问链接与端口 不可用，您可通过以下配置访问开源组件的Web UI。登录 容器服务管理控制台。在 集群列表 页面，单击EMR on ACK所关联集群的 集群名称。鼠标悬浮在左边菜单栏 网络，单击 服务，在服务页面更新YAML文件。...
为了更好地融入开源生态，提供更加开放和多样...您可以通过使用开源Connector便捷地对接各种数据源和下游系统。说明 EMR-5.17.0、EMR-3.51.0版本开始使用Apache Flink 1.17.2版本，版本说明请参见 Apache Flink 1.17.2 Release Announcement。
EMR Serverless Spark不仅集成了任务调度系统，使得您能够便捷地构建与管理数据ETL流程，轻松实现自动化及周期性数据处理，而且还内置了先进的版本控制机制。这一机制确保了开发与生产环境的彻底隔离，确保符合企业级用户在研发和发布流程...
工作空间是Serverless Spark的基本单元，用于管理任务、成员、角色和权限。所有的任务开发都需要在具体的工作空间内进行。因此，在开始任务开发之前，您需要先创建工作空间。本文将为您介绍如何在EMR Serverless Spark页面快速创建工作空间...
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 E-MapReduce 版本号 说明 2021-03-20 推荐使用。EMR Workbench 版本号 说明 2024-04-30 推荐使用...
本文为您介绍如何通过EMR Workflow的可视化操作界面来管理工作流和任务。前提条件 已完成系统角色授权，详情请参见 EMR Workflow角色授权。已在EMR on ECS页面创建集群或集群模板，详情请参见 创建集群 或 创建集群模板。支持绑定的集群...
如果您有资源隔离和管理的需求，可以通过添加队列的方式实现。本文为您介绍队列的基本操作。前提条件 已创建工作空间，详情请参见 管理工作空间。添加队列 说明 您可以通过添加队列来实现对资源的隔离和管理。如果不添加新的资源队列，您...
您可以通过这一界面获取系统的整体查询情况，以便于进行深入分析和管理。但请注意，此功能可能受到以下限制。说明 仅显示最近30天内的前5000条结果。如果您需要查看所有的查询记录，请参见 审计日志。运行中任务：此功能模块着重展示当前...
全托管Spark 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。产品文档 管理Notebook会话
配置应用连接开源版 SOFA 注册中心 在应用启动参数中配置以下系统变量：Dcom.alipay.confreg.url=127.0.0.1-Dcom.alipay.env=normal-Dspring.cloud.sofa.ldc.zone=DEFAULT_ZONE 配置完成后启动应用，即可连接上开源版 SOFA 注册中心。开源...
在进行按量付费节点组的扩容时，系统将尽最大努力交付所有创建成功的节点。适用客户 全网用户 新增功能/规格 在进行按量付费节点组的扩容时，如果ECS库存不足或ECS服务部署失败，系统将尽最大努力交付所有创建成功的节点。产品文档 管理...
EMR 利用 ECS 的弹性实例将开源 Hadoop 生态安装部署到云服务器中，并提供集群创建、扩缩容、服务配置和监控等管理功能。主要特点 组件丰富：集成 Hadoop、Spark、Hive、Flink、Presto 等开源组件以及自研的 OSS‑HDFS、JindoCache、DLF‑...
通过日志查询功能，您可以将StarRocks的前端节点（FE）和后端节点（BE）的原始日志输出到日志服务中，便于集中管理和分析。同时，您还可以查询实例中产生的日志信息，快速定位问题并优化系统性能。本文为您介绍如何在EMR Serverless ...
使用限制 当前仅展示EMR on ECS中DataLake、DataFlow、OLAP、DataServing和Custom类型集群的事件，Hadoop类型集群的事件请参见 管理事件中心（Hadoop集群）。事件类型 健康事件 健康事件是系统检测到服务组件健康状态异常变化的事件，用于...
平台侧 功能分类 功能更新说明 工作空间管理 支持调整额配。支持RAM角色添加或删除工作空间。优化工作空间状态流转，支持返回错误信息。运行环境管理 您可以根据业务需求创建运行环境，并在该环境中添加所需的库。目前，系统支持在Notebook...
加密系统盘后，系统盘上的操作系统、程序文件及其他系统相关数据将会被加密。如果您的业务存在安全合规要求，则可以使用该功能。您无需自建和维护密钥管理基础设施，就能保护数据的隐私性和自主性，为业务数据提供安全边界。背景信息 系统...
广告投放分析 管理驾驶舱 探针分析APM（Application Performance Management）高并发查询 广告主报表分析 零售行业渠道人员分析 SaaS行业面向用户分析报表 Dashboard多页面分析 统一分析 通过使用一套系统解决多维分析、高并发查询、预计算...
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...