Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog：一个Catalog可以包含多个Schema，物理上指向一个外部数据源，可以通过Connector访问该数据源。一次查询可以访问一个或多个Catalog。Schema：相当于一个数据库实例，一个...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。...开源文档请参见 OpenLDAP。
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。...相关文档 如果您需要通过控制台的方式访问Web UI，详情请参见 通过控制台访问开源组件Web界面。服务使用问题，详情请参见 常见问题。
在进行按量付费节点组的扩容时，系统将尽最大努力交付所有创建成功的节点。适用客户 全网用户 新增功能/规格 在进行按量付费节点组的扩容时，如果ECS库存不足或ECS服务部署失败，系统将尽最大努力交付所有创建成功的...产品文档 管理尽力交付
本文为您介绍如何通过E-MapReduce（简称EMR）的用户管理功能，管理集群中的EMR用户。背景信息 EMR用户信息存储在集群自带的OpenLDAP中，主要用于E-MapReduce集群内的身份认证。EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中...相关文档 如果您对安全性要求较高或者在特定的网络环境下，您可以选择通过SSH方式访问Web界面，详情请参见 SSH隧道访问开源组件Web界面。服务使用问题，详情请参见 常见问题。
关于Spark的更多介绍，可以参见开源文档 Quick Start，选择适合您的语言和版本。提交作业的详细信息请参见：提交Spark作业 使用CLI提交Presto作业 提交Flink作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过...
E-MapReduce支持在集群成功创建后...相关文档 如果您需要访问服务的Web UI，详情请参见 通过控制台访问开源组件Web界面。如果您需要查看服务的状态，详情请参见 查看服务和组件健康状态。如果有服务相关的问题，详情请参见 集群管理常见问题。
AI训练加速 文档链接 视频链接 视频发布时间 描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的...
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
为了简化流行开源应用的部署流程并提升开发效率，EDAS 提供了一个集成化的开源应用市场。用户可以直接在控制台中浏览、搜索并一键部署主流开源应用（例如：AI 工具、微服务平台等），无需手动获取代码、构建镜像或配置监控系统。功能简介 ...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。Hive结构 名称 说明 HiveServer2 HiveQL查询服务器，可以配置为Thrift或者HTTP协议，接收来自JDBC客户端提交的SQL请求...
云渲染管理系统（Render Manager 简称渲管）是一个开源的 Web 应用，可以帮助用户轻松搭建阿里云上的私有渲染系统，直接调用海量计算资源，一键管控集群规模，在加速渲染任务的同时省去自建集群的烦恼。渲管建立在阿里云 BatchCompute、OSS...
权限管理 2021年5月 序号 说明 发布时间 发布地域 相关文档 1 更新系统搭建中绑定基站的步骤，用户可以自己进行基站绑定和激活 2021-05-12 中国站 系统搭建 2 更新价签基站管理章节，新增激活基站操作步骤 2021-05-12 中国站 价签基站管理 ...
Serverless Spark 支持补数功能。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持补数功能。工作流以及工作流节点使用的时间变量会根据补数选择的业务时间自动替换为对应的值。产品文档 变量管理
Serverless Spark支持创建多个配置模板，提交任务时可以指定配置模板。适用客户 全网用户 新增功能/规格 EMR Serverless Spark支持创建多个配置模板，提交任务时可以指定配置模板，按照配置模板生效配置信息。产品文档 配置管理
Serverless Spark SQL开发和批任务支持自定义变量管理，可简化代码的维护和调整。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 使用变量可以有效降低重复编写相同值的工作量，从而提升配置管理的效率。...产品文档 变量管理
本策略定义了管理系统运维管理（OOS）的权限。查看策略详情 AliyunOOSReadOnlyAccess 您可以将 AliyunOOSReadOnlyAccess 策略授权给RAM身份。本策略定义了只读访问系统运维管理（OOS）的权限。查看策略详情 服务角色策略 ...
推荐的做法是使用RAM身份（即RAM...RAM角色相关操作 RAM角色管理 扮演RAM角色 设置RAM角色最大会话时间 角色SSO管理 身份管理相关文档 阿里云身份与权限 RAM基本概念 RAM相关使用限制 文档智能系统权限策略参考 文档智能自定义权限策略参考
使用 系统运维管理 SDK之前，您需要：了解并开通阿里云 系统运维管理，详情请参见 什么是系统运维管理。创建AccessKey。系统运维管理 支持以下主流语言的SDK包。语言 参考文档 Python 简介 Java 简介 Go 简介 C#简介 相关链接 阿里云开发者...
Livy Gateway和Kyuubi Gateway提供了便捷的接口，您可以通过这两种类型的Gateway向Serverless Spark提交任务。Gateway 类型 Livy是一个提供REST接口的服务，用于简化与Spark的交互。...相关文档 管理Livy Gateway 管理Kyuubi Gateway
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
基本概念 名称 描述 NameNode 用于管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息，记录写入的每个数据块（Block）与其归属文件的对应关系。此信息以命名空间镜像（FSImage）和编辑日志（EditsLog）两种形式持久化在本地...
字段名称 字段说明 uid 用户名 region 地域 device 终端类型 pv 浏览量 gender 性别 age_range 年龄分段 Zodiac 星座 更多操作 操作 描述 文档 元数据管理 通过 数据地图概述 模块，对源端表数据进行元数据管理与查看。管理数据 消费数据 ...
本文描述文档智能支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品...
您可以通过两种类型的Gateway向Serverless Spark提交任务。适用客户 全网用户 新增功能/规格 Livy Gateway和Kyuubi Gateway提供了便捷的接口，您可以通过这两种类型的Gateway向Serverless Spark提交...产品文档 管理Kyuubi Gateway（Beta）
功能概览 文档智能控制台包含产品概览、监控统计、服务管理列表、能力广场、轻应用五大模块，其中：产品概览：包含服务管理与开通、操作指引、热门服务推荐以及新手指南和常见问题等内容。监控统计：提供各个服务的调用量统计和QPS统计，并...
开发环境/框架 qt-creator 8.0.2 开源组件 开发环境/框架 vscode 1.68.0 开源组件 数据库 阿里云PolarDB数据库管理软件 v2.0 阿里云计算有限公司 数据库 达梦数据库管理系统 V7 武汉达梦数据库有限公司 数据库 南大通用安全数据库管理系统 ...
推荐的做法是使用RAM身份（即RAM用户和RAM角色）来访问E-MapReduce。...对于RAM用户的使用，...RAM角色相关操作 RAM角色管理 扮演RAM角色 设置RAM角色最大会话时间 角色SSO管理 身份管理相关文档 阿里云身份与权限 RAM基本概念 RAM相关使用限制
推荐的做法是使用RAM身份（即RAM用户和RAM角色）来访问EMR on ECS集群。...RAM角色相关操作 RAM角色管理 扮演RAM角色 设置RAM角色最大会话时间 角色SSO管理 身份管理相关文档 阿里云身份与权限 RAM基本概念 RAM相关使用限制
推荐的做法是使用RAM身份（即RAM用户和RAM角色）来访问EMR Serverless StarRocks。...RAM角色相关操作 RAM角色管理 扮演RAM角色 设置RAM角色最大会话时间 角色SSO管理 身份管理相关文档 阿里云身份与权限 RAM基本概念 RAM相关使用限制
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
如下表所示：分类 风险名称 CVE漏洞 开源组件CVE漏洞检测 配置风险 系统弱密码检测 非必要软件检测 远程管理软件风险 阿里云IoT-LV_SDK传输加密配置 密钥安全 私钥安全检测 证书安全检测 敏感信息泄露 SVN信息泄露 Git信息泄露 vi/vim信息...
为避免主账号泄露AccessKey带来的安全风险，建议您创建RAM用户，授予RAM用户文档智能相关的访问权限，再使用RAM用户的AccessKey调用SDK，从而提高管理效率，降低信息泄露风险。本文介绍如何创建RAM用户并授予特定权限策略，从而控制对文档...
Alibaba Cloud Linux/CentOS/Fedora sudo yum install nginx-y Ubuntu/Debian sudo apt install nginx openSUSE sudo zypper install nginx MySQL MySQL是当前较流行的关系型数据库管理系统之一，由于其体积小、速度快、成本低等优势，许多...