阿里云E-MapReduce SDK...下载地址 aliyun-java-sdk-core：访问 阿里云开发工具包（SDK）获取阿里云的SDK核心库。aliyun-java-sdk-emr：访问 aliyun-java-sdk-emr 获取E-MapReduce的部分依赖。说明 SDK包更新频繁，建议您获取最新版本的SDK。
背景信息 Quick BI是由阿里云提供的一款全场景数据消费式的BI平台，无缝对接各类云上数据库和自建数据库，大幅提升数据分析和报表开发效率。您只需在Quick BI中添加StarRocks数据源并成功连接，然后可以在Quick BI上进行数据的分析和展示。...
开发小助手：DevHelper 提供了常用的辅助开发工具和 mPaaS 专用辅助工具，该工具集通过 mPaaS 插件提供给开发者。在将开发小助手接入开发工程后，您就可以使用开发小助手进行调试、帮助开发。公有云答疑小助手：公有云答疑小助手是 mPaaS ...
阿里云CLI 支持 阿里云命令行工具（Alibaba Cloud Command Line Interface）是在Alibaba Cloud SDK for Go之上构建的开源工具。阿里云CLI提供了对阿里云云产品OpenAPI的直接访问。您可以在命令行Shell中，使用 aliyun 命令与阿里云服务进行...
针对数据仓库和BI分析场景，通过SQL编辑器提供低门槛的数据查询与报表开发功能，同时兼容传统数据仓库的使用习惯场景。在人工智能与数据科学领域，集成了支持Python环境管理和交互式机器学习开发的Notebook功能。其设计理念是打造一个统一...
概览：利用开源工具CLOC结合云效流水线Flow，可以轻松统计并监控特定分支上的代码行数，帮助管理者更好地理解项目的开发进度。创建流水线：在目标代码库内单击“流水线”标签页，选择“创建流水线”，然后选择“空模板·空模板”进行创建。...
生态 开源生态，打通依赖工具或程序开发。支持开源生态和阿里云生态，与MySQL、Spark、OSS、MaxCompute等深度产品化集成。使用成本 高，取决于产品维护的研发投入。低 如果您需要将Cassandra数据导入至Lindorm宽表，具体操作请参见 导入...
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
简单来说，企业自建测试自动化体系，分为三种形式：形式一：基于开源测试自动化工具 很多企业自建测试自动化，都是从选择一个开源测试自动化工具开始的。一个开源测试自动化工具，往往包含以下几部分（以 RobotFramework 为例）：1.测试...
适用场景 OLAP 多维分析：支持灵活的多维分析与即席查询（Ad Hoc），广泛应用于运营报表、用户画像、指标中台、BI 分析等场景，助力数据驱动决策。实时数据仓库：秒级数据摄入与更新，适用于实时库存监控、订单追踪、用户行为分析、实时风...
产品名词解释 名词 描述 IoT Studio 物联网应用开发（IoT Studio）是阿里云物联网平台的一部分，提供了Web可视化开发、移动可视化开发、业务逻辑开发与物联网数据分析等一系列便捷的物联网开发工具。Web可视化开发 IoT Studio提供的开发...
说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
云应用开发平台 CAP 内置丰富的 Serverless&AI 应用模板、开源的开发者工具链及企业级应用管理功能，无论您是个人开发者还是企业级开发者，都能让您聚焦于业务场景，快速构建云上应用并且持续迭代，大幅提升研发、部署和运维效能。
本文介绍阿里云IDaaS在开发过程中所依赖或引用的开源组件、框架及工具，帮助开发者了解系统的技术背景、合规性要求及潜在的开源协议限制。适用场景 企业应用需对接阿里云IDaaS实现身份认证、单点登录（SSO）或身份管理集成。开源代码库 ...
阿里云的AI及大数据开源项目包括用于全自动分布式深度学习系统的TePDist和NLP开发与应用工具包EasyNLP，您可以根据需要选择合适的项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
本文介绍在开发过程中可能会使用到的相关工具，包括Cloud Toolkit、toolkit-maven-plugin、Terraform、Jenkins、云效等，帮助您提升开发和部署效率。工具 功能 相关文档 Cloud Toolkit Cloud Toolkit是阿里云为开发者在IDE中提供的一款插件...
开发环境/框架 qt-creator 8.0.2 开源组件 开发环境/框架 vscode 1.68.0 开源组件 数据库 阿里云PolarDB数据库管理软件 v2.0 阿里云计算有限公司 数据库 达梦数据库管理系统 V7 武汉达梦数据库有限公司 数据库 南大通用安全数据库管理系统 ...
背景说明 阿里云JindoSDK是一种开发工具包，旨在帮助开发者更方便地与阿里云的 Jindo 系列产品（如 JindoCache 和 JindoData）进行交互。JindoSDK提供了丰富的API和功能，简化了在应用程序中集成和使用这些数据服务的过程。JindoSDK 查询...
Data Collector是MaxCompute主要开源数据采集工具的集合，包括：Flume插件 OGG插件 Sqoop Kettle插件 Hive Data Transfer UDTF Flume和OGG插件是基于DataHub的SDK实现，而Sqoop、Kettle以及Hive Data Transfer UDTF是基于Tunnel的SDK实现。...
Quick BI电子表格具有与Excel同样的操作和效果，支持多级表头、表头合并，多级浮动、分组、斜线表头、多表体等自由、复杂的报表样式，让业务人员亦可轻松制作格式复杂，信息量大的监管报表，可实现包括但不限于各类业务明细表、分组报表、...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
与自建Hadoop集群相比，开源大数据开发平台EMR提供弹性资源管理和自动化运维，降低运维复杂度，通过用户管理、数据加密和权限管理等为数据安全保驾护航，同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态，便于快速搭建大数据处理和...
开源组件 集成Apache社区开源大数据组件，涵盖数据集成、数据存储、资源管理、计算引擎、数据开发、数据服务等多个领域，方便快速搭建高效可靠的数据处理和管理平台。自研组件 为了让开源大数据组件和服务更好地运行在阿里云基础设施上，...
本文从核心功能、性能、成本等方面，将 云原生多模数据库 Lindorm 与开源HBase、开源Cassandra、OpenTSDB、开源ElasticSearch、开源Solr和开源HDFS进行了对比，帮助您进一步了解Lindorm与其他数据库产品的区别以及Lindorm在各方面的优势。...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
广告主报表分析 零售行业渠道人员分析 SaaS行业面向用户分析报表 Dashboard多页面分析 统一分析 通过使用一套系统解决多维分析、高并发查询、预计算、实时分析查询等场景，降低系统复杂度和多技术栈开发与维护成本。使用StarRocks统一管理...
应用场景 Presto是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应用场景：ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Presto是一个数仓类产品，因为其对事务支持有限，所以不适合在线...
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态。如果您还在使用旧版控制台的数据开发功能，请尽快迁移至EMR Worflow。本文为您介绍数据开发模块迁移至EMR Workflow的流程。EMR Workflow是一个全托管的...
对比项 Data Warehouse Data Lake Delta Lake 架构 计算存储一体或分离 计算存储分离 计算存储分离 存储管理 严格、非通用 原生格式 通用格式、轻量级 场景 报表、分析 报表、分析、数据科学 报表、分析、数据科学 灵活性 低 高 较高 数据...
工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种Connectors：包括Hadoop connector、Flink connector和TensorFlow connector，支持Kite SDK、Apache Beams、Flume、Sqoop和Kafka。SmartData目前通过JindoFS和...
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
连接宽表引擎前，您需要根据...相关文档 您还可以通过Lindorm提供的HBase客户端工具Lindorm Shell来访问宽表引擎，具体操作，请参见 通过Lindorm Shell访问宽表引擎。通过HBase API创建的表支持通过SQL访问，详情请参见 使用SQL访问HBase表。
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
本文以ECS连接EMR Serverless Spark为例，介绍如何通过EMR Serverless spark-submit命令行工具进行Spark任务开发。前提条件 已安装Java 1.8或以上版本。如果使用RAM用户（子账号）提交Spark任务，需要将RAM用户（子账号）添加至Serverless ...
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
稳定性与支撑规模 功能 Sidecar模式/Ambient模式 开源社区 标准版 企业版 旗舰版 数据面支撑规模 建议仅供开发测试用 50 Pod 1000 Pod 10000 Pod 控制面Istiod组件托管化-单个副本 多个副本 多个副本 说明 标准版 的数据面支撑规模功能说明...
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...