StarRocks自2.3版本起支持Catalog（数据目录）功能，实现在一套系统内同时维护内、外部数据，方便您轻松访问并查询存储在各类外部源的数据。本文为您介绍什么是Catalog，以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据：...
公共请求参数 是系统规定的公共参数。服务地址 API的常用服务接入地址，如下所示。地域 服务地址 cn-hangzhou：杭州 emr.aliyuncs.com cn-beijing：北京 emr.aliyuncs.com cn-shanghai：上海 emr.aliyuncs.com cn-shenzhen：深圳 emr....
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
本文以OSS为例，介绍如何将Hadoop文件系统上的数据迁移至JindoFS。迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs...
本章节介绍如何通过多种方式读写不同的数据存储系统，支持结构化、半结构化和非结构化数据的高效存储与访问。涵盖主流大数据存储引擎的集成，满足多样化的业务需求。读写Doris 读写StarRocks 读写MaxCompute 读写HBase 读写MongoDB 读写...
rm-f/usr/lib/zeppelin-current/interpreter/zeppelin-interpreter-shaded-0.10.2-SNAPSHOT.jar rm-f/opt/apps/ecm/service/zeppelin/0.10.1-0.0.2/package/zeppelin-0.10.1-0.0.2/interpreter/spark/spark-interpreter-0.10.2-SNAPSHOT....
E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查，及时对异常或风险点进行处理。当健康检查发现异常时，对应节点或者组件...
标准集群（非高安全集群），如果需要设置执行用户，请确保YARN服务包含如下配置项：yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.linux-container-...
适用客户 全网用户 新增功能/规格 Serverless StarRocks支持在存算分离场景下为不同业务场景分配独立的网关，从而确保FE服务的隔离性与稳定性。在实例负载较高时，可以通过特定网关将关键业务查询路由至独立的FE节点，以保障服务的性能与...
EMR Serverless Spark 开启公测，公测期间可免费使用 适用客户 全网用户 新增功能/规格 EMR Serverless Spark是一款云原生，专为大规模数据处理和分析而设计的全托管Serverless产品。它为企业提供了一站式的数据平台服务，包括任务开发、...
opt/apps/hue/build/env/bin/hue shell 说明 代码中的/opt/apps/hue/build/env/bin/hue 为 步骤2 中获取的Hue路径。执行以下命令，重置用户密码。from django.contrib.auth.models import User user=User.objects.get(username=' your_...
标准集群（非高安全集群），如果需要设置执行用户，请确保YARN服务包含如下配置项：yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.linux-container-...
EMR on ECS 对集群克隆能力进行大幅优化和提升 适用客户 全网用户 新增功能/规格 集群克隆支持恢复集群创建及使用过程中修改的服务配置、增加的节点组、弹性伸缩规则，支持客户基于已有集群快速创建一个相同配置的新集群。产品文档 克隆...
Livy是一个通过REST接口或RPC client库与Spark服务进行交互的服务。Livy支持提交Spark作业或者Spark代码片段，同步或者异步的进行结果检索以及Spark Context上下文管理，Livy简化了Spark和应用程序服务器之间的交互，从而使Spark能够用于...
全托管 StarRocks 支持SSL加密 适用客户 全网用户 新增功能/规格 全托管 StarRocks 支持SSL加密，您可以启用SSL（Secure Sockets Layer）加密，并将SSL CA证书安装到所需的应用服务中。SSL在传输层对网络连接进行加密，提供端点验证和数据...
标准集群（非高安全集群），如果需要设置执行用户，请确保YARN服务包含如下配置项：yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.linux-container-...
查看Zookeeper服务和ClickHouse服务的监控数据。在Dashboard中选择 ZOOKEEPER 服务。在Dashboard中选择 CLICKHOUSE 服务。ClickHouse的监控指标分为3组，分别来自ClickHouse的三个系统表metrics、events和asynchronous_metrics。查看节点...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
标准集群（非高安全集群），如果需要设置执行用户，请确保YARN服务包含如下配置项：yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.linux-container-...
开源DistCp会把要复制的Path列表存储在客户端内存，如果文件量超过一定阈值或者文件名较长，例如文件量达到一百万条，会出现Out of Memory异常，此时可通过以下命令在客户端设置更多内存。export HADOOP_CLIENT_OPTS="-Xmx1024m"hadoop ...
标准集群（非高安全集群），如果需要设置执行用户，请确保YARN服务包含如下配置项：yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor yarn.nodemanager.linux-container-...
FE（Frontend）FE是StarRocks的前端节点，负责管理元数据，管理客户端连接，进行查询规划，查询调度等工作。每个FE节点都会在内存保留一份完整的元数据，这样每个FE节点都能够提供无差别的服务。BE（Backend）BE是StarRocks的后端节点，...
在对E-MapReduce（简称EMR）集群进行节点扩容时，如果启用了尽力交付功能，那么即使遇到如ECS资源库存不足或ECS部署失败等问题，系统也会尽可能地将所有成功创建的节点加入到集群中，来保证业务的连续性和稳定性。前提条件 已创建数据湖...
Kudu是一个分布式的，具有可扩展性的列式存储管理器，可以对快速变化的数据进行...Raft 一致性协议，可以保证Kudu Master服务的高可用以及Tablet多副本之间数据一致性。Catalog Table Kudu的MetaData的中心位置，存储Table和Tablet的信息。
日志目录 EMR HBase进程日志目录地址为/var/log/taihao-apps/hbase。日志文件分类 EMR HBase进程日志文件分类：*.gc日志文件：记录进程GC日志，可以用于GC导致的问题分析。log日志文件：记录进程log4j打印的日志。out日志文件：记录标准...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
在SIMPLE认证方式下，客户端访问Alluxio服务时，会从操作系统获取当前的登录用户，一起发送请求到服务端，供服务端进行身份标识。如果客户端设置了 alluxio.security.login.username 参数，客户端将使用对应的配置作为请求服务端的用户。...
您可以在EMR控制台完成对集群ECS及服务的运维操作。您需要将其大数据任务提交至EMR集群。EMR on ACK 您需要先完成ACK集群的安装部署。当ACK集群准备就绪后，EMR将基于ACK的资源安装部署大数据服务组件，并在容器内运行。EMR on ACK优势 ...
与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
在Kafka服务的 配置 页面，单击 部署客户端配置。在弹出的对话框中，输入 执行原因，单击 确定。在 确认 对话框中，单击 确定。重启Kafka服务。在Kafka服务的 状态 页面的 组件列表 区域，单击 KafkaBroker 组件操作列的 重启。在弹出的...
Apache Kyuubi是一个分布式和多租户网关，为数据湖查询引擎（例如Spark、Flink或Trino等）提供SQL等查询服务。功能特性 多租户：Kyuubi通过统一的身份验证授权层为资源获取，数据和元数据访问提供端到端的多租户支持。高可用：Kyuubi基于...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
适用客户 全网用户 新增功能/规格 集群管理新增报警管理功能，基于云监控服务，支持用户在EMR控制台创建和查看集群报警规则。如果资源的监控指标达到报警条件，云监控自动发送报警通知，帮助您及时得知异群的异常情况，并快速处理。产品...
丰富YARN、HDFS、Hive、Kafka和Zookeeper健康检查 适用客户 全网用户 新增功能/规格 丰富YARN、HDFS、Hive、Kafka和Zookeeper的健康检查项，以提升组件健康状态的准确度。产品文档 查看服务和组件健康状态
版本说明 MSE Nacos 版本 开源控制台默认状态 是否支持鉴权 描述 1.x及2.2.3.1之前的2.x版本 开启 不支持 默认开启开源控制台，且不支持鉴权，开源控制台的URL可被任何人访问，建议使用商业化控制台。若确实需要使用，建议 设置白名单 来...
在E-MapReduce控制台Flume服务的 配置 页面，在搜索框中输入参数 FLUME_CLASSPATH。给 FLUME_CLASSPATH 的参数值添加获取的JAR包，多个CLASSPATH使用英文冒号（:）隔开。保存配置。单击下方的 保存。在弹出的对话框中，输入 执行原因，单击...
本服务等级协议（Service Level Agreement，简称“SLA”）规定了阿里云向客户提供的E-MapReduce（简称“EMR”）的服务可用性等级指标及赔偿方案。服务等级协议详情请参见 E-MapReduce服务等级协议。
sudo ln-s/mnt/disk1/ranger/ranger_audit_server solr-8.11.4/ranger_audit_server sudo chown-R solr:solr solr-8.11.4 sudo rm-f solr-current sudo ln-s/opt/apps/RANGER/solr-8.11.4/solr-current 在EMR控制台Ranger服务的 状态 页签...
本文为您介绍EMR控制台指标监控中SNAPSHOT指标的详细信息。SNAPSHOT指标包含以下部分：SNAPSHOT-HOST SNAPSHOT-YARN SNAPSHOT-HOST snapshotKey 描述 快照采集频率 TOP_CPU_KEY 主机CPU使用最高的TOP 20。...YARN_APPS YARN应用信息。
本文为您介绍ClickHouse服务的日志配置。前提条件 已创建OLAP集群，且选择了ClickHouse服务，详情请参见 创建ClickHouse集群。Clickhouse控制台日志配置 您可以在ClickHouse服务 配置 页面的 服务配置 区域，单击 server-config 页签，在...