OpenJDK OpenJDK是一个开源的Java软件开发工具包，提供了Java运行时环境（JRE）和Java开发工具（JDK）。扩展程序安装OpenJDK：使用扩展程序在您的Linux系统上快速部署OpenJDK环境，以节省时间。手动部署OpenJDK：指导您如何手动安装OpenJDK...
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 E-MapReduce 版本号 说明 2021-03-20 推荐使用。EMR Workbench 版本号 说明 2024-04-30 推荐使用...
Kettle（Tunnel通道系列）Kettle是一款开源的ETL工具，纯Java实现，可以在Windows、Unix和Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。详情请参见 基于Kettle的MaxCompute插件实现数据上云。...
edas busy-threads-current 使用开源工具诊断 show-busy-java-threads 在非ECS集群的环境中，可以使用show-busy-java-threads开源脚本来找到占用指定进程中排名前几位CPU高的线程。执行以下命令，下载并使用show-busy-java-threads脚本。...
Tomcat作为一个开源且免费的Java Web服务器，常用来作为Web开发的工具。它可以托管由Servlet、JSP页面（动态内容）、HTML页面、JavaScript、样式表、图片（静态内容）组成的Java Web应用程序。您可根据实际需要，选择合适的方式进行部署。...
在企业级应用中，常常需要执行数据定时处理、文件处理、报表生成等定时任务，并且对任务配置和执行率有较高要求。阿里云的分布式任务调度SchedulerX和开源解决方案XXL-JOB都提供强大的调度能力，本文为您介绍任务调度SchedulerX版和XXL-JOB...
针对数据仓库和BI分析场景，通过SQL编辑器提供低门槛的数据查询与报表开发功能，同时兼容传统数据仓库的使用习惯场景。在人工智能与数据科学领域，集成了支持Python环境管理和交互式机器学习开发的Notebook功能。其设计理念是打造一个统一...
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
PyMongo4x Python 3.10 Custom.Debian10 一款开源的科学计算库 PyMongo=4.6.1 README.md Python3x-Pandas2x Python 3.9 Custom.Debian10 一个基于NumPy的开源的数据分析和处理工具 pandas=2.2.1 README.md Python310-PyTorch2x Python 3.10...
Data Collector是MaxCompute主要开源数据采集工具的集合，包括：Flume插件 OGG插件 Sqoop Kettle插件 Hive Data Transfer UDTF Flume和OGG插件是基于DataHub的SDK实现，而Sqoop、Kettle以及Hive Data Transfer UDTF是基于Tunnel的SDK实现。...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
为了更好地融入开源生态，提供更加开放和多样化的计算服务，阿里云E-MapReduce（简称EMR）从EMR-5.17.0和EMR-3.51.0版本开始，将Flink引擎版本从Flink企业版Ververica Runtime（简称VVR）调整为Flink社区开源版本，同时引入RocksDB作为存储...
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
在EMR集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web界面端口均未对外开放。如果您想直接访问开源组件的Web界面，可根据实际场景选择 原生UI地址、Knox代理地址、SSH本地端口转发 或 SSH动态端口转发 方式进行访问。快速...
本文为您介绍Java Web环境的基本概念及主要构成，您也可以根据场景选择适合的Java Web环境部署方式，环境部署完成后，可以根据需求基于Java Web环境完成Java Web应用程序的开发、部署及运行。Java Web环境是什么 用Java技术栈进行Web开发...
Eclipse MAT是一款优秀的Java内存分析工具，被广泛适用于开发人员的本地环境。但是随着应用复杂性的增加，许多内存问题往往仅发生在生产环境中，且生产环境中通常配置了较大的堆内存，使得生成的Heap Dump文件通常较大，导致MAT无法派上...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
与自建Hadoop集群相比，开源大数据开发平台EMR提供弹性资源管理和自动化运维，降低运维复杂度，通过用户管理、数据加密和权限管理等为数据安全保驾护航，同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态，便于快速搭建大数据处理和...
本章节提供基础工具的操作指南，帮助用户高效完成数据存储、管理和运维相关任务。在Notebook中使用Hadoop命令操作OSS/OSS-HDFS
PelicanDT（Pelican Distributed Test），是阿里云提供的一款针对 Linux 系统的测试环境模拟工具，是主要针对分布式应用提供的集成测试解决方案，用于帮助开发者简单、高效地测试分布式应用。PelicanDT 现已 开源。PelicanDT 具有以下特点...
背景信息 EMR Kudu支持社区1.10以及1.11版本，可以使用社区提供的Backup和Restore的工具进行数据的迁移。基本流程示意图如下所示。操作步骤 执行以下命令，查看待迁移Kudu表的名称列表。Kudu table list {YourKuduMasterAddress} 说明 本文...
快速使用EMR Workflow 常见问题 如果您要使用开源的数据开发组件，可选择Hue和Superset。具体如下：组件类型 组件名称 组件说明 常用文档 开源 Hue Hue仅对存量用户开放。Hue是一个开源的Web界面，用于与Apache Hadoop生态系统进行交互。...
本文介绍阿里云IDaaS在开发过程中所依赖或引用的开源组件、框架及工具，帮助开发者了解系统的技术背景、合规性要求及潜在的开源协议限制。适用场景 企业应用需对接阿里云IDaaS实现身份认证、单点登录（SSO）或身份管理集成。开源代码库 ...
SmartData组件是EMR Jindo...JindoTools工具集 改进Jindo DistCp工具的分发机制，针对EMR集群内使用场景和非EMR集群环境使用场景，分别使用不同的发行包。Jindo DistCp提供轻量版本（lite），主要适用于非标准环境，例如用户的IDC集群环境。
cat/etc/krb5.conf 根据实际情况获取的配置项 default_realm 会在后续的Java代码中使用。其中，获取到的配置信息示例如下：[logging]default=FILE:/mnt/disk1/log/kerberos/krb5libs.log kdc=FILE:/mnt/disk1/log/kerberos/krb5kdc.log ...
Lindorm支持通过HBase Java API和HBase非Java API进行访问。本文介绍如何安装HBase SDK。安装HBase Java SDK 使用阿里云发行的HBase客户端可以使用Lindorm宽表引擎的所有功能，并享受Lindorm带来的优秀体验。安装HBase Java SDK后，您可以...
Spark应用在标准的Java虚拟机（JVM）上运行，所有Spark任务都是通过Java或Scala代码执行。引擎版本号及其含义 引擎版本的格式为 esr-*(Spark*,Scala*)。说明 您可以使用阿里云Fusion Engine提供的运行时环境，利用向量化和原生库等技术来...
主要工具：网络通信框架 SOFABolt、生产级高性能 Java 实现 SOFAJRaft、自动化测试框架 SOFAActs、轻量级类隔离容器 SOFAArk。生态项目：高性能可扩展安全网络代理 MOSN、简单可扩展自治事务框架 Seata。同时，SOFAStack 也积极参与了多个...
本文介绍如何将基于x86平台的Java应用程序迁移到倚天云服务器。背景信息 由于Java应用会存在依赖的Java包，并且经常通过JNI调用C编译的本地库，如果直接迁移，可能会带来兼容性问题。迁移时可通过以下方法解决兼容性问题：升级必要的依赖包...
主要工具 网络通信框架 SOFABolt、生产级高性能 Java 实现 SOFAJRaft、自动化测试框架 SOFAActs、轻量级类隔离容器 SOFAArk。生态项目 高性能可扩展安全网络代理 MOSN、简单可扩展自治事务框架 Seata。同时，SOFAStack 也积极参与了多个...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
本文从核心功能、性能、成本等方面，将 云原生多模数据库 Lindorm 与开源HBase、开源Cassandra、OpenTSDB、开源ElasticSearch、开源Solr和开源HDFS进行了对比，帮助您进一步了解Lindorm与其他数据库产品的区别以及Lindorm在各方面的优势。...
通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...
适用场景 OLAP 多维分析：支持灵活的多维分析与即席查询（Ad Hoc），广泛应用于运营报表、用户画像、指标中台、BI 分析等场景，助力数据驱动决策。实时数据仓库：秒级数据摄入与更新，适用于实时库存监控、订单追踪、用户行为分析、实时风...
DataFlow集群在配置文件中默认使用企业版状态后端（即GeminiStateBackend），您如果想针对单个作业使用开源的状态后端（例如rocksdb），可以通过-D指定，例如：flink run-application-t yarn-application-D state.backend=rocksdb/opt/apps...
在微服务架构中，通常会引入多个性能监控或治理工具（如APM、链路追踪、安全扫描等），每个工具可能依赖各自的 Java 探针（Agent）。然而，多探针共存时，兼容性问题主要源于字节码注入冲突和资源竞争，本文介绍针对MSE Java 探针与几种...
应用场景 StarRocks可以满足企业级用户的多种分析需求，具体的业务场景如下所示：OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 ...