阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
通过与集群主节点建立SSH连接，您可以使用终端上的Linux命令来管理和与集群进行交互操作。此外，您还可以使用SSH连接创建隧道，以便通过Web浏览器查看开源组件的Web页面。本文为您介绍如何在Windows和Linux环境中使用SSH方式（SSH密钥对或...
Terraform 支持 Terraform是一种开源工具，用于安全高效地预览，配置和管理云基础架构和资源。EMR支持的资源类型为 alicloud_emrv2_cluster。若以上方案均无法满足您的业务需要，可自行封装请求调用OpenAPI（不推荐），更多信息请参见 ...
查询的数据库名称：tpcds3 SQL Time(ms)Query01 34 Query02 36 Query03 26 Query04 57 Query05 40 Query06 29 Query07 35 Query08 33 Query09 31 Query10 33 Query11 45 Query12 26 Query13 31 Query14 91 Query15 29 Query16 50 Query17 ...
Helm是Kubernetes服务编排领域的开源子项目，是Kubernetes应用的一个包管理工具，Helm通过软件打包的形式，支持发布的版本管理和控制，简化了Kubernetes应用部署和管理的复杂性。概述 应用市场的软件应用包括应用目录，应用目录中的软件是...
背景信息 开源Alertmanager作为一款优秀的告警通知组件，在Prometheus开源监控解决方案中是必不可失的一环。它灵活的路由、静默、分组能力可以更合理地发送告警通知。但开源Alertmanager同时也存在一些缺陷。例如默认缺少短信、电话的通知...
丰富的生态：倚天云服务器支持主流开源软件以及多款阿里云主流PaaS产品。最新网络架构：基于2*50 GB网络架构提供大带宽以及超强转发能力，对比上一代CIPU架构，网络带宽提升1倍。安全增强：支持vTPM特性，依托TPM/TCM芯片，实现从服务器到...
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
自定义集群环境：您可以通过引导操作和集群脚本灵活配置集群环境，将第三方优化和集群管理工具部署到EMR环境，详情请参见 管理引导操作 和 集群脚本。自主运维：您可以登录Master节点，查看集群日志和部署环境，优化和部署配置，详情请参见...
物联网络管理平台提供Java SDK，方便开发者使用Java程序操作物联网络管理平台。开发者可以使用Maven依赖添加SDK。安装 Java 开发环境。您可以从 Java 官方网站 下载，并按说明安装Java开发环境。安装物联网络管理平台Java SDK。访问 Apache...
OpenLDAP是一种开源软件，您可以使用OpenLDAP提供的命令行工具ldapadd、ldapdelete、ldapmodify等来管理用户，使用ldif文件进行用户管理。这种方式需要参考OpenLDAP开源社区的文档来进行操作。开源文档请参见 OpenLDAP。
需要购买服务器搭建负载均衡分布式架构，需要花费大量人力物力开发“接入+计算+存储”，自建复杂网络管理系统。D2D通信技术 D2D通信技术是Link WAN提供的通信模式，通过实现长前导码唤醒和本地数据控制功能，可很好满足功耗低、响应时间快...
部分支持 支持Istio资源的历史版本管理 支持多集群模式下使用数据面K8s集群通过KubeAPI访问Istio资源 数据面组件管理 功能 开源社区 标准版 企业版 旗舰版 多维度（全局、命名空间、Workload级）的Sidecar代理的配置管理 部分支持 基于UI...
Kafka Manager是专为Kafka设计的集群管理工具，提供了WebUI界面，允许用户通过图形化界面便捷地管理Kafka集群。本文为您介绍如何访问Kafka Manager的WebUI，并将集群添加至Kafka Manager的WebUI界面。前提条件 已创建选择了Kafka服务的...
如果是本地的元数据库，您可以使用集群上的Hue工具来管理。E-MapReduce后台RDS统一管理元数据的方式，仅限小容量的用户使用。对于大容量场景，建议您自建RDS作为统一元数据。默认限制为：总容量：200MiB。小时query数量限制：720000/h。...
前提条件 已在目标地域创建一个专有网络和交换机，详情请参见 创建和管理专有网络 和 创建和管理交换机。操作步骤 进入创建集群页面。登录EMR on ECS控制台。可选：在顶部菜单栏处，根据实际情况选择地域和资源组。地域：创建的集群将会在...
通过创建阿里云向量检索Milvus实例，能够迅速搭建起具备高性能、弹性伸缩特性的AI向量检索数据库，并借助内置可视化管理工具Attu实现高效运维与监控。本文为您介绍如何快速创建Milvus实例。前提条件 已拥有阿里云账号。如果您还没有阿里云...
如需创建新的专有网络，请在专有网络控制台新创建一个，详情请参见 创建和管理专有网络。交换机 选择在对应VPC下可用区的交换机，如果在这个可用区没有可用的交换机，则需要在专有网络控制台新创建一个，详情请参见 创建和管理交换机。默认...
选择已有的专有网络，或者单击 创建VPC 前往专有网络控制台即时创建专有网络，详情请参见 创建和管理专有网络。交换机 交换机（vSwitch）是组成专有网络VPC的基础网络模块，用来连接不同的云资源。选择已有的交换机，或者单击 创建交换机 ...
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
您可以通过不同场景，对比 SAE 与开源自建产品在系统搭建、成本、功能管理、弹性效率和监控诊断等方面的优势。基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE ...
专有网络VPC 专有网络VPC可以为开源大数据平台E-MapReduce提供隔离、稳定、安全、快速交付、自主可控的网络环境。您可以自定义这个专有网络的拓扑和IP地址，适用于对网络安全性要求较高的用户。弹性公网IP 弹性公网IP位于阿里云的公网网关...
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致...
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
主要工具：网络通信框架 SOFABolt、生产级高性能 Java 实现 SOFAJRaft、自动化测试框架 SOFAActs、轻量级类隔离容器 SOFAArk。生态项目：高性能可扩展安全网络代理 MOSN、简单可扩展自治事务框架 Seata。同时，SOFAStack 也积极参与了多个...
工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种Connectors：包括Hadoop connector、Flink connector和TensorFlow connector，支持Kite SDK、Apache Beams、Flume、Sqoop和Kafka。SmartData目前通过JindoFS和...
专有网络拓扑包括资源拓扑与路由拓扑，为您展示 专有网络 VPC（Virtual Private Cloud）下各类资源之间的关联关系与路由转发路径，并支持查看相关网络实例的基本信息，进行实例诊断，路径分析等操作。资源拓扑 资源拓扑通过拓扑组网，展示...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
配套组件开源 对于K歌的配套组件，如：歌词显示、演唱打分、歌单管理等组件，组件化后开源，对客户的UI和业务逻辑更加包容，方便客户打造产品差异化的亮点。音频算法 专业团队提供的3A、美声、混响等音频算法，保留演唱者完美声线的同时也...
TPC-DS官方工具只包含SQL生成器以及单机版数据生成工具，并不适合大数据场景，所以本文教程中使用的工具和集群信息如下：Hive TPC-DS Benchmark测试工具。该工具是业界最常用的测试工具，是由Hortonworks公司开发，支持使用Hive和Spark运行...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...