DolphinScheduler是一款分布式、易扩展的可视化DAG工作流任务调度开源系统，能高效地执行和管理大数据流程。本文为您介绍如何通过DolphinScheduler Web界面轻松创建、编辑、调度Spark作业。背景信息 当前，Apache DolphinScheduler的...
本文介绍在 函数计算 中使用Java框架编写函数的运行环境信息。背景信息 Java语言和Python、Node.js这类脚本型语言不同，该语言需要编译后才能在JVM虚拟机中运行。针对Java语言，函数计算 当前具有以下限制：不支持代码编译：仅支持上传已经...
日志服务通过MVNRepository和GitHub来管理开放的下载源码路径和源代码参考。来源 描述 MVNRepository 用于下载日志服务源码包的路径。您可以在MVNRepository中获取Maven项目注入日志服务Java SDK依赖的准确版本。说明 建议您获取日志服务...
解释型语言：以Java/Python为代表的解释型语言，这些语言源代码编译文件与架构无关，理论上可以跨架构运行。但是，如果解释型语言引入了本地库，比如Java应用通过JNI调用了C开发的动态链接库，那么此应用就与架构相关，必须重新编译。更多...
更多示例代码，请查看SDK源代码。示例文件名称 说明 AdvanceGenerateDataKeySample.java 生成及解密数据密钥。AdvanceEncryptAdvanceDecryptSample.java 对数据进行加密、解密（密文数据采用信封格式）。AesEncryptDecryptSample.java 对...
SMQ 通过MVNRepository管理开放的下载源码路径并提供GitHub的源代码参考。来源 描述 MVNRepository 用于下载 SMQ 源码包的路径。您可以在MVNRepository中获取Maven项目注入 SMQ Java SDK依赖的准确版本。更多信息，请参见 Aliyun SMQ Java ...
本文介绍 Serverless 应用引擎 SAE（Serverless App Engine）源码部署的工作原理、环境配置、构建流程、源代码导入等信息。整体工作原理 作为 Serverless 应用引擎 SAE（Serverless App Engine）中，降低用户运维负担的重要一环，源码部署...
MaxCompute是阿里巴巴自研的一站式的快速、完全托管的TB/PB/EB级数据仓库...源代码请参见GitHub Aliyun MaxCompute Data Collectors。插件说明请参见 wiki。服务支持方式：在GitHub Aliyun MaxCompute Data Collectors 中留言或新建Issue。
yarn logs-applicationId application_xxx_xxx-appOwner userName 内存问题引起的报错 Container内存不足引起的OOM 报错日志：java.lang.OutOfMemoryError:GC overhead limit exceeded 或者 java.lang.OutOfMemoryError:Java heap space。...
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
本文以Java SDK为例介绍开源MQTT客户端首次连接服务端时如何初始化客户端和配置自动重连功能。开源客户端Java SDK下载地址 paho.mqtt.java SDK版本 SDK依赖如下，建议使用最新版本。dependency groupId org.eclipse.paho/groupId ...
本文以Java SDK为例介绍开源MQTT客户端首次连接服务端时如何初始化客户端和配置自动重连功能。开源客户端Java SDK下载地址 paho.mqtt.java SDK版本 SDK依赖如下，建议使用最新版本。dependency groupId org.eclipse.paho/groupId ...
OpenJDK OpenJDK是一个开源的Java软件开发工具包，提供了Java运行时环境（JRE）和Java开发工具（JDK）。扩展程序安装OpenJDK：使用扩展程序在您的Linux系统上快速部署OpenJDK环境，以节省时间。手动部署OpenJDK：指导您如何手动安装OpenJDK...
安全水印：支持在源代码浏览页面添加访问者水印，提高代码页面展示的安全性，辅助溯源追责。代码安全 云效 Codeup 通过提供代码检测、仓库加密、备份恢复等能力，为组织代码资产安全保驾护航。代码检测 云效 Codeup 支持多语言代码检测规则...
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
（数据统计截止时间为 2021 月 7 月 22 日）SOFAStack 目前涵盖的开源项目有：主要项目：基于 Spring Boot 的研发框架 SOFABoot、生产级 Java RPC 框架 SOFARPC、分布式链路跟踪系统 SOFATracer、高可用服务注册中心 SOFARegistry。...
如下图所示，每一次内部方法的执行耗时都会以注释的方式显示在源代码中。右侧 方法执行结果 区域显示方法执行的参数值、返回值、异常、成员变量以及此次方法执行的TraceID。右侧 设置执行条件 区域执行以下步骤，可以设置方法执行条件来...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
本文介绍阿里云IDaaS在开发过程中所依赖或引用的开源组件、框架及工具，帮助开发者了解系统的技术背景、合规性要求及潜在的开源协议限制。适用场景 企业应用需对接阿里云IDaaS实现身份认证、单点登录（SSO）或身份管理集成。开源代码库 ...
OSS通过MVNRepository管理开放的下载源码路径并提供GitHub的源代码参考。来源 描述 MVNRepository 用于下载OSS源码包的路径。您可以在MVNRepository中获取Gradle项目注入OSS Android SDK依赖的准确版本。说明 建议您获取OSS Android SDK的...
edas busy-threads-current 使用开源工具诊断 show-busy-java-threads 在非ECS集群的环境中，可以使用show-busy-java-threads开源脚本来找到占用指定进程中排名前几位CPU高的线程。执行以下命令，下载并使用show-busy-java-threads脚本。...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
基本特性 Presto使用Java语言进行开发，具备易用、高性能和强扩展能力等特点，具体如下：完全支持ANSI SQL。支持丰富的数据源，例如，Hive、Hudi、Iceberg、Delta Lake、MySQL和PostgreSQL。支持高级数据结构，具体如下：数组和Map数据 ...
Fat JAR Fat JAR Fat JAR 是一种可执行的 JAR 包（Executable JAR），包含编译后的类及代码运行所需依赖 jar 的存档，可以使用 java-jar 命令运行该应用程序。Fat JAR 和普通的 JAR 不同在于它包含了依赖的 JAR 包。Gradle Gradle ...
本文介绍MSE流量防护与开源Sentinel、Hystrix两个限流相关组件的对比。MSE提供了能力完善、配套齐全、开箱即用的流量防护能力。阿里巴巴中间件团队在多年的双十一大促活动中积累了丰富的流量防护经验和方法论，并将其体系化应用到MSE中，...
生态无缝兼容 全面兼容开源Spark：无需修改代码即可直接运行，提供用法兼容的 spark-submit 和 spark-sql 工具，降低迁移门槛。深度集成主流湖仓格式：全面支持Apache Paimon、Iceberg、Delta、Hudi等主流湖仓格式，满足多样化数据存储需求...
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
只要为部署在容器服务Kubernetes版中的Java应用安装ARMS应用监控组件，您无需修改任何代码，就能借助ARMS对Java应用进行全方位监控，以便您更快速地定位出错接口和慢接口、重新调用参数、检测内存泄漏、发现系统瓶颈，从而大幅提升线上问题...
阿里云的 云消息队列 RabbitMQ 版 支持AMQP 0-9-1协议，兼容开源的RabbitMQ客户端，您可以使用开源的客户端SDK接入 云消息队列 RabbitMQ 版 服务端进行消息收发。前提条件 创建实例 创建Vhost 背景信息 借助访问控制RAM的RAM用户，您可以...
多网卡或配置了虚拟网卡的情况下，请在启动脚本中修改 JAVA_OPTS 变量，添加-Dnetwork_interface_binding=XX 指定物理网卡。检查以下端口是否被占用，如被占用请关闭相关进程：9600、9601、9603、9610、9611、9612、9614、9615、9620、9621...
Java 针对Java应用，依赖Java SDK接入，运行Java应用中的某个方法。更多信息，请参见 Java任务。脚本任务 在线编写脚本运行，支持Shell、Python等脚本。更多信息，请参见 脚本任务。Golang 针对Go应用依赖Go SDK接入，运行Go应用中的某个...
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
Serverless Spark 提供了类 Hadoop DistCp 的分布式数据拷贝能力，支持跨存储系统（如 HDFS、OSS、OSS-HDFS）高效迁移海量文件。通过纯 SQL 接口简化操作流程，用户无需编写复杂代码即可完成大规模数据复制任务。支持版本 esr-4.6.0及之后...
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
本文档主要介绍 系统运维管理 OOS（CloudOps Orchestration Service）Java SDK的安装和使用，适用于1.0版本。请确保您已经开通了阿里云 系统运维管理 OOS（CloudOps Orchestration Service），并创建了AccessKeyId和AccessKeySecret。如果...
开源项目 2018 年 4 月，蚂蚁集团宣布开源 SOFAStack 金融级分布式架构。得益于社区的信任和支持，目前已经累积超过 3.4 万的 Star 数和超过 100 家企业用户，并持续向打造金融级云原生多个技术领域的标杆努力（数据统计截止时间为 2020 月...
背景信息 DataFlow集群的Flink Python API完全兼容开源的Flink版本，关于Flink Python API的详细信息，请参见 Python API。使用Python依赖 通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三方Python包 使用...
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
外部数据源问题引起的报错 java.sql.SQLException:No suitable driver found for jdbc:mysql:xxx mysql-connector-java版本过低，请替换为较新版本（例如5.1.48以上版本）。连接RDS报错Invalid authorization specification,message from ...