JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
通过Livy，您可以利用Airflow中的livy_operator以及spark_magic等开源项目，向Serverless Spark提交任务、查询任务状态并获取计算结果。Kyuubi提供了JDBC/ODBC接口，支持通过SQL查询或BI工具（如Tableau、Power BI）直接连接Serverless ...
通过Livy，您可以利用Airflow中的livy_operator以及spark_magic等开源项目，向Serverless Spark提交任务、查询任务状态并获取计算结果。Kyuubi提供了JDBC/ODBC接口，支持通过SQL查询或BI工具（如Tableau、Power BI）直接连接Serverless ...
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
yarn logs-applicationId application_xxx_xxx-appOwner userName 内存问题引起的报错 Container内存不足引起的OOM 报错日志：java.lang.OutOfMemoryError:GC overhead limit exceeded 或者 java.lang.OutOfMemoryError:Java heap space。...
多网卡或配置了虚拟网卡的情况下，请在启动脚本中修改 JAVA_OPTS 变量，添加-Dnetwork_interface_binding=XX 指定物理网卡。检查以下端口是否被占用，如被占用请关闭相关进程：9600、9601、9603、9610、9611、9612、9614、9615、9620、9621...
背景信息 DataFlow集群的Flink Python API完全兼容开源的Flink版本，关于Flink Python API的详细信息，请参见 Python API。使用Python依赖 通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三方Python包 使用...
本文演示如何通过ATP的Java堆分析，寻找应用出现内存不足错误的原因。1.生成数据源并上传至ATP 假设我们观察到生产环境中的应用出现如下内存不足的报错：java.lang.OutOfMemoryError:Java heap space Exception in thread"Thread-3...
本文以Java SDK为例介绍开源MQTT客户端首次连接服务端时如何初始化客户端和配置自动重连功能。开源客户端Java SDK下载地址 paho.mqtt.java SDK版本 SDK依赖如下，建议使用最新版本。dependency groupId org.eclipse.paho/groupId ...
本文以Java SDK为例介绍开源MQTT客户端首次连接服务端时如何初始化客户端和配置自动重连功能。开源客户端Java SDK下载地址 paho.mqtt.java SDK版本 SDK依赖如下，建议使用最新版本。dependency groupId org.eclipse.paho/groupId ...
使用Beeline连接Kyuubi 您可以用Hive Beeline或者Kyuubi Beeline工具（EMR集群上的工具名称为 kyuubi-beeline）连接Kyuubi Server。以下示例使用Kyuubi Beeline工具连接Kyuubi。普通集群 方式一：使用Zookeeper连接Kyuubi服务（推荐）...
Kafka Manager是专为Kafka设计的集群管理工具，提供了WebUI界面，允许用户通过图形化界面便捷地管理Kafka集群。本文为您介绍如何访问Kafka Manager的WebUI，并将集群添加至Kafka Manager的WebUI界面。前提条件 已创建选择了Kafka服务的...
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
提交作业的详细信息请参见：提交Spark作业 使用CLI提交Presto作业 提交Flink作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过kubectl工具连接集群。新建 spark-pi.yaml 文件，文件内容如下。apiVersion:...
您可以从 阿里云开发工具包（SDK）了解更多阿里云SDK的信息。步骤一：构造规范化请求字符串 排序参数。排序规则以首字母顺序排序，排序参数包括 公共参数 和接口自定义参数，不包括公共请求参数中的 Signature 参数。说明 当使用GET方法...
Ranger Plugins Plugin嵌入在各个集群组件的进程里，是一个轻量级的Java程序。例如，Ranger对Hive的组件，就被嵌入在Hiveserver2里。这些Plugin从Ranger Admin服务端拉取策略，并把它们存储在本地文件中。当接收到来自组件的用户请求时，...
背景信息 EMR Flink完全兼容开源Flink，相关内容请参见社区文档。例如：DataStream API Table API&SQ Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink...
Delta Lake是一个开源存储框架，旨在数据湖之上构建LakeHouse架构。Delta Lake提供了ACID事务支持、可扩展的元数据处理功能，并能够在现有的数据湖（如OSS、Amazon S3和HDFS）上整合流处理与批处理。此外，Delta Lake还支持多种引擎，如...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
适用场景 OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的运单分析 金融行业...
您可以通过SSH方式或者Workbench等其他连接...相关文档 为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放，您可以通过以下方式访问开源组件的Web界面：SSH隧道访问开源组件Web界面 通过控制台访问开源组件Web界面
2021-07-16 14:44:27,620(conf-file-poller-0)[INFO-org.apache.flume.node.Application.startAllComponents(Application.java:169)]Starting Channel c1 2021-07-16 14:44:27,700(lifecycleSupervisor-1-0)[INFO-org.apache.flume....
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
YARN mapred-site.xml 配置项名称：yarn.app.mapreduce.am.command-opts、mapreduce.map.java.opts、mapreduce.reduce.java.opts 配置项的值：noverify-javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr yanr-...
操作便捷：无需额外配置客户端环境，可以直接使用预装的命令行工具（例如spark-submit）来提交作业。缺点：成本增加：增加了Gateway节点ECS实例的成本。企业生产环境作业提交。跨VPC与混合云架构。通过阿里云DataWorks提交作业（推荐）优点...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
E-MapReduce除了支持Scala或者Java类型作业外，还支持Python类型Spark作业。新建一个Python脚本的Spark作业，作业名称为Python-Kmeans，应用参数填写示例如下：master yarn-client-driver-memory 7g-num-executors 10-executor-memory 5g-...
511)at java.util.concurrent.FutureTask.run(FutureTask.java:266)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java...
临时查询主要针对即席查询（Ad Hoc）的场景，面向数据科学家和数据分析师，其主要使用工具为SQL。运行临时查询作业时，将会在页面下方显示日志和查询结果。本文为您介绍如何在临时查询页面新建作业、设置作业、运行作业和编辑锁操作。背景...
背景说明 阿里云JindoSDK是一种开发工具包，旨在帮助开发者更方便地与阿里云的 Jindo 系列产品（如 JindoCache 和 JindoData）进行交互。JindoSDK提供了丰富的API和功能，简化了在应用程序中集成和使用这些数据服务的过程。JindoSDK 查询...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。前置概念 阅读本文前，您可能需要了解如下概念：什么...
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
外部数据源问题引起的报错 java.sql.SQLException:No suitable driver found for jdbc:mysql:xxx mysql-connector-java版本过低，请替换为较新版本（例如5.1.48以上版本）。连接RDS报错Invalid authorization specification,message from ...
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理，您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 ...
EMR on ECS发布基于大模型构建的新版监控诊断功能 适用客户 全网用户 新增功能/规格 EMR on ECS新版监控诊断是基于大模型构建的智能运维辅助功能，结合了阿里云EMR团队在开源大数据领域的知识经验、阿里云EMR可观测能力和技术专家的诊断...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 Web 界面...
如果您是使用root用户，登录KDC（Kerberos的服务端程序）所在的master-1-1节点，则可以执行以下命令，直接进入admin工具。kadmin.local 当返回信息中包含如下信息时，表示已进入admin.local命令行。Authenticating as principal hadoop/...
current/emr-agent/btrace-agent.jar=libs=mr mapreduce.map.java.opts mapreduce.reduce.java.opts Tez tez.task.launch.cmd-opts 新版本集群-javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr...
Java/Scala UDF 本示例提供了一个预编译的 Java UDF 示例 JAR 包，您无需自行开发代码或进行项目构建，即可完成函数的注册与调用。Scala UDF 的流程与本文相似。步骤一：下载并上传文件 为便于快速测试与验证，我们提供示例所需的JAR包。请...
使用Hive UDF 使用文件传输工具，上传生成的JAR包至集群任意目录（本文以test目录为例）。上传JAR包至HDFS或OSS（本文以HDFS为例）。通过SSH方式登录集群，详情请参见 登录集群。执行以下命令，上传JAR包到HDFS。hadoop fs-put/test/...