企业im开源-企业im开源文档介绍内容-移动阿里云

OpenLDAP 用户管理

EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...

HDFS Web UI介绍

访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见通过SSH隧道方式访问开源组件Web UI 和访问链接与端口。NameNode服务地址版本访问地址说明 hadoop 3.x http://${namenode_hostname}:9870${...

什么是EMR Workflow

EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...

OSS/OSS-HDFS

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...

EMR Serverless StarRocks商业化发布

EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多...

扩容集群

EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见迁移StarRocks数据至EMR Serverless StarRocks。操作步骤重要集群扩容操作不会重启存量...

授权信息

本文为您介绍开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr，支持的授权粒度为资源级。权限策略通用结构权限策略...

EMR Workflow商业化公告

EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...

管理LDAP认证

EMR-5.11.0及之前版本，EMR-3.45.0及之前版本重要如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在组件列表区域，选择 SparkThriftServer 操作列的 enableLDAP。...

EMR集群的合规性

ISO29151 ISO29151为企业在保障个人隐私安全及降低合规风险方面提供了众多实用指南，以满足与保护个人身份信息（PII）相关的风险和影响评估所确定的要求。ISO9001 ISO9001质量管理体系是用于验证组织具备提供满足用户需求和相关法规要求的...

E-MapReduce合规性

ISO29151 ISO29151为企业在保障个人隐私安全及降低合规风险方面提供了众多实用指南，以满足与保护个人身份信息（PII）相关的风险和影响评估所确定的要求。ISO9001 ISO9001质量管理体系是用于验证组织具备提供满足用户需求和相关法规要求的...

EMR Serverless Spark合规性

ISO29151 ISO29151为企业在保障个人隐私安全及降低合规风险方面提供了众多实用指南，以满足与保护个人身份信息（PII）相关的风险和影响评估所确定的要求。ISO9001 ISO9001质量管理体系是用于验证组织具备提供满足用户需求和相关法规要求的...

开源大数据平台E-MapReduce系统权限策略参考

本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...

EMR元数据迁移公告

数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...

查看开源组件 Web 界面

在EMR集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web界面端口均未对外开放。如果您想直接访问开源组件的Web界面，可根据实际场景选择原生UI地址、Knox代理地址、SSH本地端口转发或 SSH动态端口转发方式进行访问。快速...

Fusion引擎

Fusion引擎是EMR Serverless Spark内置的高性能向量化SQL执行引擎，相比开源Spark在TPC-DS基准测试上有3倍性能提升。Fusion引擎与开源Spark完全兼容，您无需对现有代码做任何修改。在EMR Serverless Spark中，只需在创建会话时开启使用...

EMR Spark功能增强

阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...

使用Delta Lake

Delta Lake是一个开源存储框架，旨在数据湖之上构建LakeHouse架构。Delta Lake提供了ACID事务支持、可扩展的元数据处理功能，并能够在现有的数据湖（如OSS、Amazon S3和HDFS）上整合流处理与批处理。此外，Delta Lake还支持多种引擎，如...

SmartData（仅对存量用户开放）

JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...

E-MapReduce支持倚天云服务器

阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...

EMR Serverless StarRocks出账粒度变更说明

为了优化用户的账单管理体验，EMR Serverless StarRocks现调整出账粒度，满足用户企业内部管理需求。变更概览账单详情字段优化前优化后实例ID（出账粒度）RegionID+Instance/nodeGroupID+Time InstanceID/nodeGroupID 地域 RegionID ...

EMR旧版数据开发迁移公告

EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...

EMR Serverless StarRocks合规性

ISO29151 ISO29151为企业在保障个人隐私安全及降低合规风险方面提供了众多实用指南，以满足与保护个人身份信息（PII）相关的风险和影响评估所确定的要求。ISO9001 ISO9001质量管理体系是用于验证组织具备提供满足用户需求和相关法规要求的...

使用老版DataWorks

案例介绍为了更好地制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体的地理属性、社会属性等，实现定时定点进行画像分析，进而实现网站流量精细化运营操作。您可以通过DataWorks和EMR Serverless ...

EMR数据开发停止更新公告

EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...

新增服务

E-MapReduce支持在集群成功创建后...相关文档如果您需要访问服务的Web UI，详情请参见通过控制台访问开源组件Web界面。如果您需要查看服务的状态，详情请参见查看服务和组件健康状态。如果有服务相关的问题，详情请参见集群管理常见问题。

SmartData 3.1.x版本简介

功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...

创建集群

Flink on Ack基于EMR on Ack底座与社区Flink Kubernetes Operator 1.0.1版本开发，默认使用Flink官方团队推出的企业版内核，旨在为用户提供开箱即用的Flink on K8s体验。Data Science：请参见创建Data Science集群。产品版本默认最新的...

JindoFS块存储模式

应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点开源OSS E-...

使用新版DataWorks

案例介绍为了更好地制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体的地理属性、社会属性等，实现定时定点进行画像分析，进而实现网站流量精细化运营操作。您可以通过DataWorks和EMR Serverless ...

身份管理

满足条件时对RAM用户设置SSO单点登录功能，实现直接使用企业自有的身份登录并访问阿里云资源。RAM用户相关操作 RAM用户管理 AK安全方案 RAM用户SSO管理 RAM用户组当您的阿里云账号下有多个RAM用户时，可以通过创建用户组对职责相同的RAM...

应用场景

StarRocks可以满足企业级用户的多种分析需求。本文介绍StarRocks的应用场景及其解决方案。适用场景 OLAP多维分析用户行为分析用户画像、标签分析、圈人高维业务指标报表自助式报表平台业务问题探查分析跨主题业务分析财务报表系统...

Hive

Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。相关文档如何使用Hive客户端连接Hive，请参见 Hive连接方式。Hive服务...