SOFAStack 目前涵盖的开源项目有：主要项目 通过平台来解决大规模运维中发布、监控和审计的难题，并集成云原生的各种功能（例如容器、Serverless 和 Mesh 等），来提高运维效率。孵化项目 一站式管控平台 SOFADashboard。主要工具 网络通信...
（数据统计截止时间为 2021 月 7 月 22 日）SOFAStack 目前涵盖的开源项目有：主要项目：基于 Spring Boot 的研发框架 SOFABoot、生产级 Java RPC 框架 SOFARPC、分布式链路跟踪系统 SOFATracer、高可用服务注册中心 SOFARegistry。...
阿里云的AI及大数据开源项目包括用于全自动分布式深度学习系统的TePDist和NLP开发与应用工具包EasyNLP，您可以根据需要选择合适的项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
以下是开源版注册中心与商业版的简要功能比较：功能 开源版 商业版 服务注册 支持 支持 服务订阅 支持 支持 数据多副本（高可用）支持 支持 推送开关（平稳运维）支持 支持 连接心跳 支持 支持 hessian 序列化 支持 支持 protobuf 序列化 ...
产品优势 E-MapReduce（简称EMR）中的Trino与开源Trino比较，还具备如下优势：即买即用，快速完成上百节点的Trino集群搭建。弹性扩容简单操作。与EMR软件栈完美结合，支持处理存储在OSS的数据。无需运维，EMR提供一站式服务。基本概念 数据...
为了简化流行开源应用的部署流程并提升开发效率，EDAS 提供了一个集成化的开源应用市场。用户可以直接在控制台中浏览、搜索并一键部署主流开源应用（例如：AI 工具、微服务平台等），无需手动获取代码、构建镜像或配置监控系统。功能简介 ...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
支持的开源组件有限。说明 该方式目前支持的服务如下：YARN、HDFS、SPARK2、SPARK3、FLINK、HBASE、IMPALA、TRINO、PRESTO、TEZ、RANGER。【外网访问】优点：开启端口少，只需开启Knox的端口8443。提供外部访问的能力，适合需要远程访问的...
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
与自建Hadoop集群相比，开源大数据开发平台EMR提供弹性资源管理和自动化运维，降低运维复杂度，通过用户管理、数据加密和权限管理等为数据安全保驾护航，同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态，便于快速搭建大数据处理和...
阿里云CLI 支持 阿里云命令行工具（Alibaba Cloud Command Line Interface）是在Alibaba Cloud SDK for Go之上构建的开源工具。阿里云CLI提供了对阿里云云产品OpenAPI的直接访问。您可以在命令行Shell中，使用 aliyun 命令与阿里云服务进行...
本文介绍的项目都是完整的可编译可运行的项目，包括MapReduce、Pig、Hive和Spark。示例项目 示例名称如下所示，详情代码示例请参见 集群运行。MapReduce WordCount：单词统计 Hive sample.hive：表的简单查询 Pig sample.pig：Pig处理OSS...
如果您想直接导入IDE就可以运行的项目工程，您可以下载下面的示例项目工程代码，导入您的IDE环境即可运行。注意 您需要将项目里面的AccessKey信息和安全组信息，修改为您自己账户的AccessKey信息和安全组信息，具体说明请参见项目代码前的...
创建E-MapReduce集群后，您可以在数据开发中创建项目，并在项目中进行作业的编辑和工作流的调度。新建项目之后，您可以对项目进行管理，为项目关联集群资源、添加项目成员以及设置全局变量。前提条件 已创建集群，详情请参见 创建集群。...
Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储...
EMR Workflow支持配置内置时间参数、任务级别参数（本地参数）、工作流级别参数（全局参数）和项目级别参数，同时还支持参数传递功能。参数配置 内置时间参数 参数定义 内置时间参数无需定义，可以直接在任务中使用。参数使用 EMR Workflow...
EMR Workflow 新增工作空间管理 适用客户 全网用户 新增功能/规格 工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以添加成员至工作空间，并...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
与Hive On MR（MapReduce）相比，Hive On Tez具有更好的查询性能和稳定性。Hive基于MapReduce提交任务和基于Tez提交任务流程图如下所示：Tez的详细信息，请参见 Apache TEZ。开启Tez引擎 Hive支持使用Tez引擎执行SQL任务，在执行任务前您...
资源组会对您拥有的云资源从用途、权限和归属等维度上进行分组，实现企业内部多用户、多项目的资源分级管理。一个云资源只能属于一个资源组，云资源之间的关联关系不会因加入资源组而发生变化。E-MapReduce目前支持资源组的云资源为集群和...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以加入成员至工作空间，并赋予工作角色，以实现多角色协同工作。EMR Workflow默认为您提供了...
无 有 无 支持数据源的方式 Spark SQL支持数据源的方式包括以下两种：命令行方式 下载预编译好的 数据源JAR包。您只需要使用该JAR包，就可以完成Loghub、TableStore、HBase、JDBC和Redis数据源的实现以及相关的依赖包。Kafka和Druid数据源...
背景信息 本文为您介绍运维中心的相关操作，具体如下：查看项目任务概览 管理工作流记录 查看审计日志 前提条件 已创建项目，具体请参见 项目管理。查看项目任务概览 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce...
进程名为Impalad，负责读取和写入数据文件，接收从 impala-shell 命令、Hue、JDBC或ODBC等接口发送的查询语句，并行查询语句和分发工作任务到集群的各个Impala节点上，同时负责将本地计算好的查询结果发送回协调器节点（Coordinator Node）...
环境准备 在Eclipse项目中使用阿里云E-MapReduce OpenAPI Java SDK。请确保代码运行环境设置了环境变量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体配置方法，请参见 配置方案。创建一个Maven工程，添加Maven依赖...
ProjectId String 是 FP-C62EEC30F773*克隆的目标作业所属项目。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。Name String 否 test 克隆的...
操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。在 项目列表 页面，单击右上角的 集群模板。在集群模板列表页面，您可以...
ProjectId String 是 FP-53C4D36FC731*待克隆工作流所属的项目ID。您可以调用 ListFlowProject 查看项目的ID。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。返回数据 名称 类型 示例值 ...
适用客户 全网用户 新增功能/规格 资源组会对您拥有的云资源从用途、权限和归属等维度上进行分组，实现企业内部多用户、多项目的资源分级管理。一个云资源只能属于一个资源组，云资源之间的关联关系不会因加入资源组而发生变化。EMR ...
概念 说明 工作空间 工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以加入成员至工作空间，并赋予工作角色，以实现多角色协同工作。调度资源...
前提条件 已创建项目，详情请参见 项目管理。已获取作业所需的资源和数据文件。例如，JAR包、数据文件名称以及两者的保存路径。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据...
在 项目列表 页面，单击目标项目所在行的 作业编辑。进行作业设置。在 作业编辑 页面，选择需要操作的作业名称，单击右上角的 作业设置。在 配置参数 区域，单击 图标，新增参数，并按照上文介绍的变量通配符格式填写参数。配置完成后就...
调用DeleteFlowProjectUser接口，删除项目用户。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
调用ModifyFlowProject接口，修改数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
调用DeleteFlowProject接口，删除数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
调用CreateFlowProjectUser接口，添加项目用户。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Presto SQL类型作业。在页面左侧...