您在本地完成应用的开发、调试和测试后，可以在IntelliJ IDEA中安装Cloud Toolkit插件将应用快速部署到EDAS中。本文介绍如何在IntelliJ IDEA中安装Cloud Toolkit，并快速部署应用到EDAS。前提条件 已下载并安装 JDK 1.8或更高版本。已下载...
部署方式（Deploy File）Maven Build 选择Maven Build方式来构建应用时，系统会默认添加一个Maven任务来构建部署包。如果您需要部署多模块工程中的一个子模块，请参见 部署多模块工程中的子模块。Upload File 选择Upload File方式来构建...
Data Studio支持可视化创建并管理EMR Jar和File资源，创建的资源可用于创建自定义函数或在数据开发。本文将为您介绍如何创建并使用资源与函数。前提条件 已 注册EMR集群至DataWorks，创建资源与函数均基于EMR计算资源进行相关操作。已完成...
客户端测试 单击IDEA左上角 Project Explorer，选择 添加资源。根据MaxCompute实例信息，添加file_resource.txt文件。在MaxCompute项目中创建示例数据表wc_in1和wc_in2，并插入数据。CREATE TABLE wc_in1(col1 STRING,col2 STRING,col3 ...
hadoop jar/opt/apps/ecm/service/hadoop/2.8.5-1.5.3/package/hadoop-2.8.5-1.5.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar randomtextwriter-D mapred uce.randomtextwriter.totalbytes=134217728-D mapreduce.job....
OSS附加依赖文件读取 因为Flink JAR作业不支持在Main函数中读取本地配置，您可以将配置文件上传到Flink工作空间下的OSS Bucket，在部署JAR作业时，通过添加附加配置文件的方式进行读取。示例如下。创建配置文件config.properties，避免在...
步骤 步骤描述 支持的工具平台 注意事项/相关文档 ① 可选 当您使用Maven编写代码时，需要先在Pom文件中添加代码相关SDK依赖，确保后续编写的代码可编译成功。例如开发自定义函数需要添加的SDK依赖为：dependency groupId ...
部署方式（Deploy File）Maven Build 选择Maven Build方式来构建应用时，系统会默认添加一个Maven任务来构建部署包。如果您需要部署多模块工程中的一个子模块，请参见 部署多模块工程中的子模块。Upload File 选择Upload File方式来构建...
步骤 步骤描述 支持的工具平台 注意事项/相关文档 ① 可选 当您使用Maven编写代码时，需要先在Pom文件中添加代码相关SDK依赖，确保后续编写的代码可编译成功。例如开发自定义函数需要添加的SDK依赖为：dependency groupId ...
您在本地完成应用的开发、调试和测试后，可以在IntelliJ IDEA中安装Cloud Toolkit插件实现EDAS应用的快速部署。本文档将介绍如何在IntelliJ IDEA中安装Cloud Toolkit，并快速部署应用到容器服务K8s集群。前提条件 下载并安装 JDK 1.8或更高...
Upload File：在本地选择并上传新版本应用的部署包（WAR包或者JAR包）进行部署。Version 新版本应用的版本号。默认使用时间戳作为版本号，例如2020-11-17 17:17:17。Description 此次分批发布的描述信息。Batch 应用分批发布的批次。默认为...
您在本地完成新版本应用的开发和测试后，可以在IntelliJ IDEA中使用Cloud Toolkit插件将新版本应用部署到EDAS的ECS集群中。前提条件 下载并安装 JDK 1.8或更高版本。下载并安装 IntelliJ IDEA（2018.3或更高版本）。说明 因JetBrains插件...
本文Python应用程序需调用Scala，因此需要在Spark Jar作业代码中添加 jars 参数，并指向Maven依赖所在的OSS路径。参数说明：参数 是否必填 说明 name 否 Spark应用名称。file 是 Scala：步骤二中编写的Scala程序所在的OSS路径。Python：...
Windows 系统配置方法 新建环境变量文件，添加环境变量 SOFA_AK_ENV 和 SOFA_SK_ENV，并写入已准备好的AccessKey ID 和 AccessKey Secret。重启 Windows 系统。重要 禁止使用阿里云账号 AccessKey，因为阿里云账号 AccessKey 泄露会威胁您...
在 pom.xml 文件中，添加以下依赖，安装阿里云SDK Credentials工具。说明 阿里云SDK Credentials工具的版本会持续更新，建议您可以访问 版本更新日志 获取最新版本。dependency groupId ...
依赖其他JAR包：在 pom.xml 文件中添加您所需依赖的JAR包信息。Flink 1.11版依赖的主要JAR包如下。dependencies dependency groupId org.apache.flink/groupId artifactId flink-streaming-java_2.12/artifactId version 1.11.0/version!...
步骤 步骤描述 支持的工具平台 注意事项/相关文档 ① 可选 当您使用Maven编写代码时，需要先在Pom文件中添加代码相关SDK依赖，确保后续编写的代码可编译成功。例如开发自定义函数需要添加的SDK依赖为：dependency groupId ...
示例：#以下配置必须在DataWorks配置项/spark-defaults.conf文件中添加#同时引用多个资源：同时引用public.python-python-2.7-ucs4.zip和public.myjar.jar spark.hadoop.odps.cupid.resources=public.python-python-2.7-ucs4.zip,public....
说明 本文中使用的Maven版本为 3.9.2，使用的开发工具为 IntelliJ IDEA Community Edition 2022.3.2。操作步骤 下载 EncDB SDK库包 及依赖配置 EncDB SDK库包 EncDB SDK 支持任何兼容MySQL协议的客户端（例如 社区版MySQL JDBC）。EncDB ...
(3)编译打包 运行命令编译打包：mvn package 即可在 target 得到下面 3 个 jar 包：batchcompute-job-log-count-1.0-SNAPSHOT-Split.jar batchcompute-job-log-count-1.0-SNAPSHOT-Count.jar batchcompute-job-log-count-1.0-SNAPSHOT-...
Java（通用Jar包）：如您的应用为Java语言，使用Spring Cloud或Dubbo微服务框架，打包类型为JAR包，可选择此类型。Tomcat（通用War包）：如您的应用为Java语言，使用Dubbo或Spring Cloud微服务框架，打包类型为WAR包，可选择此类型。HSF-...
使用Cloud Toolkit可以快速创建Dubbo工程，然后您可以将Dubbo工程部署到EDAS...后续操作 在完成Apache Dubbo样例工程的创建和调用验证后，可以将该样例工程打包（JAR包）并部署到EDAS的不同集群（主要为ECS集群和容器服务Kubernetes集群）中。
Java（通用Jar包）：如您的应用为Java语言，使用Spring Cloud或Dubbo微服务框架，打包类型为JAR包，可选择此类型。Tomcat（通用War包）：如您的应用为Java语言，使用Dubbo或Spring Cloud微服务框架，打包类型为WAR包，可选择此类型。HSF-...
Java（通用Jar包）：如您的应用为Java语言，使用Spring Cloud或Dubbo微服务框架，打包类型为JAR包，可选择此类型。Tomcat（通用War包）：如您的应用为Java语言，使用Dubbo或Spring Cloud微服务框架，打包类型为WAR包，可选择此类型。HSF-...
步骤三：部署到SAE 在 pom.xml 文件中，添加应用编译配置，并执行 mvn clean package 命令将本地程序编译成可执行的JAR包。Provider build plugins plugin groupId org.springframework.boot/groupId artifactId spring-boot-maven-plugin/...
依赖其他JAR包：在 pom.xml 文件中添加您所需依赖的JAR包信息。Flink 1.11版依赖的主要JAR包如下。dependencies dependency groupId org.apache.flink/groupId artifactId flink-streaming-java_2.12/artifactId version 1.11.0/version!...
方式三：在IntelliJ IDEA项目中导入JAR包。以0.6.120版本为例，步骤如下：下载Java SDK开发包。在IntelliJ IDEA中选择您的工程，选择 File Project Structure。在 Project Structure 对话框，左侧单击 Modules。在 Dependencies 页签，选择...
配置Spark-2.x的依赖 通过MaxCompute提供的Spark客户端提交应用时，需要在 pom.xml 文件中添加以下依赖。pom.xml 文件请参见 pom.xml。properties spark.version 2.3.0/spark.version cupid.sdk.version 3.3.8-public/cupid.sdk.version ...
方式二：先将自定义函数JAR包上传至Flink 数据开发 ETL 右侧的 更多配置 的 附加依赖文件 选项，再在作业的SQL语句中添加创建临时函数的语句，并使用该函数。上传自定义函数JAR包到附加依赖文件中后，只能在本作业中使用该自定义函数，其他...
当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文提供的开发流程，使用开发工具（例如IntelliJ IDEA（Maven）或 MaxCompute Studio）自行编写代码逻辑创建自定义函数（UDF），并在MaxCompute中进行调用，以满足多样化...
本文为您介绍如何解决在DataWorks上执行MapReduce作业时，大于10 MB的JAR和资源文件不能上传至DataWorks的问题，方便您使用调度功能定期执行MapReduce作业。前提条件 请下载并安装MaxCompute客户端，详情请参见 安装并配置MaxCompute客户端...
如果您选择 OSS，在 选择文件 下拉框中选择OSS文件，或者单击 前往OSS创建 即可创建OSS文件 名称 新建的EMR资源的名称，如果您上传的是jar资源，您需要添加后缀名.jar。在 新建资源 对话框中，单击 新建。单击工具栏中的 和 图标，保存并...
Spark配置#添加hologres-connector jar spark.emr.serverless.user.defined.jars oss:/shulang-emr/test_script/hologres-connector-spark-3.x-1.5.6-jar-with-dependencies.jar#配置holo catalog spark.sql.catalog.hologres_external_...
但是，新增的UDF包、手动替换的JAR包、手动升级的组件（例如JindoSDK）、自行添加的Event Listener等无法在扩容时同步到新节点上。为避免在扩容后某些查询失败或结果不符合预期，建议将这些操作都编写成脚本，在新节点创建过程中脚本会自动...
更多添加资源信息，请参见 添加资源。ADD jar esri-geometry-api.jar;ADD jar spatial-sdk-hive.jar;执行如下命令注册函数。CREATE FUNCTION ST_Aggr_ConvexHull AS '...
resource_reference{"spark-examples_2.11-2.4.0.jar"} spark-examples_2.11-2.4.0.jar 如果成功自动添加上述引用代码，表明资源引用成功。其中，spark-examples_2.11-2.4.0.jar 为您实际上传的EMR JAR资源名称。改写Serverless Spark ...
执行如下命令添加相关的.jar包。{youpath} 为各个.jar包所在路径，请根据实际情况替换。java-Xbootclasspath/p:${youpath}/netty-tcnative-boringssl-static-2.0.25.Final.jar-javaagent:${youpath}/opentelemetry-javaagent-all.jar-jar${...
解压在 控制台下载 的SDK，复制文件夹下的.aar和.jar所有文件到工程的libs目录下，在build.gradle文件中添加如下配置：添加本地libs地址，以便可以找到放置在libs中的aar文件：repositories { flatDir { dirs 'libs' } } 添加本地依赖（x.x...
将使用的JAR及其他文件添加到class cache resource，对应于JAR命令中-libjars中指定的资源。job.addCacheResourcesToClassPath(resource);job.setGraphLoaderClass(PageRankVertexReader.class);job.setVertexClass(PageRankVertex.class);...
openssl x509-in client.crt-noout-dates 排查netty-tcnative包是否冲突，netty和netty-tcnative包需要是以下配套版本，命令如下：io.netty:netty-all:jar:4.1.29.Final io.netty:netty-tcnative-boringssl-static:jar:2.0.17.Final 重要 ...