说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
ACK管控控制台中，“有状态”界面下的shuffleservice-worker容器组数量"3/1000"是什么含义？3/1000"表示当前ShuffleService-Worker的实例数量为3个，而集群的最大可扩展容量上限为1000个。如果还有类似的告警信息，可以直接忽略。0/18 ...
Optimize执行时间很长是什么原因？为什么Optimize失败了？应该如何处理？执行了Optimize，为什么还有很多小文件？执行了Vacuum，为什么还有很多小文件？如果想删除最近产生的小文件（这些小文件已经被合并），应该如何处理？执行了Vacuum，...
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它...快速入门 EMR Notebook 快速使用EMR Notebook EMR Workflow 手动任务快速入门 工作流快速入门 相关文档 什么是EMR Notebook 什么是EMR Workflow
操作（Action）下表是 开源大数据平台 E-MapReduce（EMR）定义的操作，这些操作可以在RAM权限策略语句的 Action 元素中使用，用来授予执行该操作的权限。下面对表中的具体项提供说明：操作：是指具体的权限点。API：是指操作对应的API接口...
操作（Action）下表是 开源大数据平台 E-MapReduce（EMR）定义的操作，这些操作可以在RAM权限策略语句的 Action 元素中使用，用来授予执行该操作的权限。下面对表中的具体项提供说明：操作：是指具体的权限点。API：是指操作对应的API接口...
如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行数据开发，详情请参见 什么是EMR Workflow。如果您在2022年2月21日21点前使用过数据开发功能，需要继续在EMR上使用数据开发功能，建议您尽快迁移到EMR ...
什么是滚动窗口 滚动窗口（TUMBLING）将每个元素分配到一个指定大小的窗口中。通常滚动窗口有一个固定的大小，并且不会出现重叠。例如，如果指定了一个5分钟大小的滚动窗口，无限流的数据会根据时间划分成[0:00-0:05)、[0:05,0:10)和[0:10,...
什么是滑动窗口 滑动窗口（HOPPING），也被称作Sliding Window。不同于滚动窗口，滑动窗口的窗口可以重叠。滑动窗口有windowDuration和slideDuration两个参数。windowDuration为窗口的大小，slideDuration为每次滑动的步长，两者关系如下：...
请注意，EMR on ECS形态已下线Spark Native引擎。目前，仅在EMR Serverless Spark形态提供Fusion Engine（Spark Native Engine）。更多信息，请参见 什么是EMR Serverless Spark。
VVR提供企业版StateBackend，性能是开源版本的3~5倍。在EMR Hadoop集群中，您可使用VVR引擎和EMR数据开发功能提交作业。VVR支持开源Flink 1.10版本，默认使用商业GeminiStateBackend，具备以下特性：采用创新的数据结构，提高随机查询、...
本文为您介绍什么是内表数据源（Default Catalog），以及如何使用Default Catalog查询StarRocks内部数据。Default Catalog StarRocks 2.3及以上版本提供了Internal Catalog（内部数据目录），用于管理StarRocks的内部数据。每个StarRocks...
介绍EMR Workflow公测说明。公测时间说明 EMR Workflow公测已于2023年6月29日开启，预计于2024年01月10日结束。公测面向所有用户开放，您可以在 E-MapReduce控制台，选择 EMR ...什么是EMR Workflow EMR Workflow角色授权 工作流快速入门
如果客户端是开源HBase 1.x版本，您可以在Maven项目的 pom.xml 文件中添加以下依赖来安装HBase Java SDK。groupId>...
介绍EMR Serverless Spark的免费公测说明。免费公测时间说明 EMR Serverless Spark免费公测已于2024年04月25日开启，预计于2024年06月25日结束。公测阶段面向所有用户开放，您可以...什么是EMR Serverless Spark 创建工作空间 SQL任务快速入门
本文为您介绍EMR Notebook公测说明。公测时间说明 EMR Notebook将于2024年03月29日逐步按地域开启公测，公测面向所有用户开放。您可以在 E-MapReduce控制台，选择 EMR ...什么是EMR Notebook EMR Notebook角色授权 快速使用EMR Notebook
StarRocks是开源MPP（Massively Parallel Processing）架构的OLAP分析引擎，支持亚秒级的数据查询和多表JOIN功能。ClickHouse、StarRocks、Zookeeper DataServing 数据服务场景，提供更灵活、可靠、高效的数据服务集群。提供HBase服务，...
介绍EMR Serverless Milvus的免费公测说明。公测说明 EMR Serverless Milvus已开启免费...什么是EMR Serverless Milvus 快速创建Milvus实例 联系我们 如果在使用EMR Serverless Milvus的过程中遇到任何疑问，可加入钉钉群 59530004993 咨询。
背景信息 访问控制RAM是阿里云提供的资源访问控制服务，详情请参见 什么是访问控制。在EMR Serverless StarRocks中，RAM的典型使用场景如下：用户：如果您购买了EMR Serverless StarRocks实例，您的组织里有多个用户（例如运维、开发或数据...
Lindorm宽表引擎支持千万级高并发吞吐，支持百PB级存储，吞吐性能是开源HBase（Apache HBase）的3~7倍，P99时延为开源HBase（Apache HBase）的1/10，平均故障恢复时间相比开源HBase（Apache HBase）提升10倍，支持冷热分离，压缩率比开源...
更多信息，请参见 什么是云监控。开启一键告警 您可以开启云监控的一键告警功能，快速自动建立Serverless StarRocks指定监控项的报警体系，以便及时获取关键监控指标的异常信息。重要 开启此功能后，会创建磁盘IO使用率、CPU空闲率和磁盘...
支持中英双语和多种插件的开源对话语言模型 moss-moon-003-sft ChatGLM2开源双语对话语言模型 chatglm-6b-v2 ChatGLM2是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等诸多优秀特性的基础之上，...
背景信息 访问控制RAM是阿里云提供的资源访问控制服务，详情请参见 什么是访问控制。在E-MapReduce中，RAM的典型使用场景如下：用户：如果您购买了多台E-MapReduce集群实例，您的组织里有多个用户（如运维、开发或数据分析）需要使用这些...
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog ...
说明 仅EMR-3.43.0~EMR-3.44.1版本（均包含），EMR-5.9.0~EMR-5.10.1版本（均包含）的集群支持该功能，如果您要使用StarRocks Manager的功能，可以使用EMR Serverless StarRocks，详情请参见 什么是EMR Serverless StarRocks。访问查询页面...
功能介绍 EMR Doctor是开源大数据集群的管家，提供了一站式的智能诊断和优化服务。通过EMR Doctor，您可以高效地运维大数据集群和服务，持续的优化集群的资源使用率，使集群处于健康稳定的状态，更好的为上层业务提供计算服务。EMR Doctor...
背景信息 关于存储的类型、性能和相关的限制信息，请参见 什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/GB/月 OSS归档型存储为0.033 元/GB/月 OSS深度归档型存储为0.015 元/GB/月 高效云盘存储...
EMR Serverless StarRocks EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致的...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
模型简介 Qwen1.5 Qwen1.5是Qwen开源系列的下一个版本。与之前的版本相比，Qwen1.5显著提升了聊天模型与人类偏好的一致性，改善了它们的多语言能力，并具备了强大的链接外部系统能力。灵积上提供API服务的是新版本qwen模型的chat版本，在...
2023-05-19 什么是EMR Workflow 2023年4月 功能名称 功能概述 发布时间 相关文档 版本升级 EMR-5.x系列：升级至EMR-5.11.1 EMR-3.x系列：升级至EMR-3.45.1 2023-04-03 EMR-5.11.x版本说明 EMR-3.45.x版本说明 湖仓一体新能力 EMR支持Spark...
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
更多信息，请参见 什么是EMR Workflow。控制台入口：立即前往。支持地域 EMR Workflow支持以下地域。中国地区 地域名称 地域ID 华北2（北京）cn-beijing 华东1（杭州）cn-hangzhou 华东2（上海）cn-shanghai 华南1（深圳）cn-shenzhen 西南...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致...
EMR Workflow更多信息，请参见 什么是EMR Workflow。如果您想将数据开发模块迁移至DataWorks，请参见 EMR数据开发停止更新公告。迁移流程 通过使用EMR Workflow，您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache ...
EMR Workflow更多信息，请参见 什么是EMR Workflow。停止更新时间 2022年2月21日21点 影响 您在停更时间点前创建的数据开发项目不会受到影响，可正常使用EMR数据开发模块，包括运行作业和工作流调度。如果您后续需要更丰富的数据开发功能，...