JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
准备工作 创建EMR on ACK集群前，需要在 容器服务管理控制台，进行以下操作：创建Kubernetes集群，详情请参见 创建Kubernetes专有版集群 或 创建Kubernetes托管版集群。添加AliyunOSSFullAccess和AliyunDLFFullAccess权限，详情请参见 授予...
本文为您介绍阿里云实时计算Flink全托管产品的功能点和价值，以及和开源Flink的对比优势。类型 功能 描述 价值 性能与成本 兼容性 全面兼容开源Flink，包括各层API、参数配置及SQL语法等。更好的引擎性能和更细粒度资源配置使得整体TCO优于...
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
您可以在EMR on ACK控制台管理您的作业，也可以通过Kubernetes工具或API直接管理您的作业。本文为您介绍如何通过kubectl管理Spark作业。前提条件 已在E-MapReduce on ACK控制台创建Spark集群，详情请参见 快速入门。操作步骤 通过kubectl...
借助YARN分区管理能力，运维人员可以根据节点的特性（角色定位、处理能力），将其分为不同的分区，让作业运行在指定分区下的节点上，来满足业务多维度的使用需求，同时也可以更好地管理和调度混合类型的机器资源或应用程序。前提条件 已...
数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与阿里云其他计算产品（例如...
E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群...本文介绍如何查看健康检查项，并根据实际需求自定义配置默认的健康检查项。产品文档 管理健康检查项
日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请参见 快速入门。使用限制 本文操作仅适用于数据湖（DataLake）...
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
说明 本文图片和部分内容来源于开源StarRocks的 概述。Internal Catalog：内部数据目录，用于管理StarRocks所有内部数据。例如，执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由Internal Catalog管理。每个StarRocks...
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
本文介绍如何查看健康检查项，并根据实际需求自定义配置默认的健康检查项。说明 当前支持健康检查项管理的服务组件包括：YARN、HDFS、Hive、Kafka和Zookeeper。管理服务组件健康检查项 进入集群服务页面。登录 E-MapReduce控制台。在顶部...
阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
如果默认展示的指标图表不满足您的需求，您也可以自定义设置指标大盘。具体操作，请参见 管理自定义监控大盘中的监控图表。设置指标报警 您可以使用云监控服务的报警能力，对EMR同步到云监控的指标设置告警。例如，您可以在云监控中配置...
管理角色 创建角色并授权 当现有的角色权限无法满足您的实际业务需求时，您可以选择自行创建新的角色，并为新角色赋予所需的权限。在 访问控制 页面的 角色 页签，单击 创建角色。在弹出的对话框中，输入 角色名称 和 显示名称，然后单击 ...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 开源大数据平台E-MapReduce，产品明细为 EMR StarRocks Serverless按量 或 EMR StarRocks Serverless包年包月。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
管理审计日志 新购调度资源组 支持新购调度资源组，以满足不同业务需求。购买调度资源组 新增AliyunEMRWorkflowAdmin权限 支持RAM用户（子账号）进行创建、删除工作空间、购买调度资源组等操作。为RAM用户授权 相关文档 E-MapReduce的重要...
Sample增加了授权管理的多次撤销和同意协议的操作 Sample优化了购物车的体验 Storefront 商品 API 重新设计 其他已知bug修复 2022.6.8 V1.3 新功能 促销满赠和订单评论对 Storefront OpenAPI及 Sample支持 促销满赠管理功能发布 商品评论...
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致...
集群模板资源组：根据实际需求选择已有的资源组，或者单击 创建资源组 来新建资源组，以便对模板进行有效的分组管理。管理集群模板 面板中，为您展示了当前地域和资源组下的集群模板列表。参数 说明 模板ID 系统自动生成。模板名称 您...
SOFABoot 目前对外开放的有开源版和商业版，本文介绍这两个版本的特点及适用场景，您可以根据自身需求自由选择合适的版本。选型指南 各个版本的能力和适用场景信息见下表：版本 能力 场景 文档 开源版本 具有模块化开发、类隔离、日志隔离...
在 添加权限 面板，根据需求选择授权范围、授权主体和权限，为RAM用户添加权限。参数 描述 授权范围 整个云账号：权限在当前阿里云账号内生效。指定资源组：权限在指定的资源组内生效。授权主体 需要授权的RAM用户。选择权限 在 系统策略 ...
AliyunEMRFlowAdmin E-MapReduce数据开发的管理员权限 创建项目、开发和管理作业权限（不包含添加项目成员和管理集群权限）。AliyunEMRDlsFullAccess E-MapReduce DLS管理员权限 EMR DLS的所有数据管理权限。E-MapReduce使用的角色如下。...
在 添加权限 面板，根据需求选择授权范围、授权主体和权限，为RAM用户添加权限。参数 描述 授权范围 选择所需的应用范围：整个云账号：权限在当前阿里云账号内生效。指定资源组：权限在指定的资源组内生效。授权主体 被授权主体，即需要...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用RAM可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM中使用权限策略描述授权的具体内容。本文为您介绍 开源大数据平台 E-MapReduce（EMR...
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
SmartData组件主要包括JindoFS，JindoTable和相关工具集。本文介绍SmartData（3.0.x）版本的更新内容。JindoFS存储优化 改进Jindo Namespace服务单机配置，单机情况下也可以更新并异步写入元数据至Tablestore。移除Jindo Namespace服务的...