导出其它开源引擎任务 DataWorks为您提供标准模板便于导出除Oozie、Azkaban、Airflow、DolphinScheduler外的开源引擎任务。导出任务前，您需要下载 标准格式模板 并参考模板的文件结构修改内容。下载模板及目录结构的介绍请进入 开源引擎...
本文为您介绍如何导入从开源引擎导出的任务至DataWorks。操作步骤 进入 开源引擎导入 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击...
本文档介绍消息引擎与开源Kafka客户端兼容性信息，帮助您选择合适的Kafka客户端版本以实现高效且稳定的数据读写操作。兼容 Kafka客户端 版本 消息引擎支持Kafka客户端0.11版本及以上版本的生产或消费接口，您可以根据实际的业务场景选择...
本文介绍通过开源Solr API（Java）访问Lindorm搜索引擎的步骤和示例说明。前提条件 安装Java环境，使用JDK1.6或更高版本。已将本机IP添加至白名单，具体操作，请参见 设置白名单。注意事项 不支持通过 公网 访问。步骤一：下载solr-solrj ...
Lindorm流引擎完全兼容开源Kafka API，您可以通过Kafka脚本工具连接Lindorm流引擎，本文介绍如何通过开源Kafka脚本工具连接Lindorm流引擎。前提条件 已安装Java环境，要求安装JDK 1.7及以上版本。已将脚本部署实例IP地址添加至Lindorm实例...
Lindorm流引擎完全兼容开源Kafka API，您可以通过Kafka API编写程序写入Lindorm流引擎数据，也可以通过开源的三方工具采集并写入Lindorm流引擎数据，例如FluentD、Debezium等。本文介绍通过开源Kafka客户端连接Lindorm流引擎并写入Lindorm...
Lindorm消息引擎完全兼容开源Kafka API，您可以通过Kafka API编写程序向Lindorm消息引擎写入数据，也可以通过开源的三方工具采集并写入Lindorm消息引擎数据，例如FluentD、Debezium等。本文介绍通过开源Kafka客户端连接Lindorm消息引擎并...
本文介绍如何使用开源HDFS客户端访问文件引擎。前提条件 已安装Java环境，JDK版本不能低于1.7。已将客户端IP地址添加至Lindorm白名单。如何添加，请参见 设置白名单。注意事项 如果应用部署在ECS，您需要确保 云原生多模数据库 Lindorm ...
本文介绍通过开源Solr API（Java）访问Lindorm搜索引擎的步骤和示例说明。前提条件 安装Java环境，使用JDK1.6或更高版本。已将本机IP添加至白名单，具体操作，请参见 设置白名单。注意事项 不支持通过 公网 访问。步骤一：下载solr-solrj ...
Lindorm消息引擎完全兼容开源Kafka API，您可以通过开源Kafka命令行工具，实现基础的Topic或Group的信息查看与运维管理。本文介绍如何通过开源Kafka命令行工具访问消息引擎。前提条件 已安装Java环境，要求JDK为1.8及以上版本。已将客户端...
同时打通自研和开源引擎之间的互相访问，提供更一体化的体验。存储层：只需一份全量数据，满足离线在线场景。在线分析场景需要数据尽量在高性能存储介质上提高性能，离线场景需要数据尽量在低成本存储介质上降低存储成本。为满足不同场景...
开源引擎优化 相比于开源Apache Kafka，强大的处理引擎支持数万级Topic高并发读写、秒级弹缩和可靠云存储，提供一个超高性价比的选择；同时提供健康巡检组件、业务监控和告警功能，帮助您及时有效的发现并处理问题。更多信息，请参见 开源...
特性 Lindorm文件引擎 开源HDFS 功能定位 分布式文件系统 分布式文件系统 HDFS兼容性 HDFS通信协议 支持 支持 基础读写接口 完整支持 完整支持 高级管理接口 完整支持 完整支持 成本 存储单价（实际费用以购买页面为准）最低0.12元/GB/月 ...
Nacos引擎提供一个默认的控制台操作页面，即 开源控制台。由于此控制台安全能力较弱，MSE Nacos从 2.2.3.1 版本开始，将 默认关闭 开源控制台。本文介绍如何重新开启开源控制台的使用。前提条件 已 开通MSE。已创建Nacos引擎。具体操作，请...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
阿里云性能测试服务支持阿里云自研PTS压测引擎以及开源JMeter引擎。2种引擎均可以借助PTS平台的能力，实现以下优势。免运维、开箱即用SaaS化施压、最大支持百万级并发、千万级TPS流量自助发起能力。支持全球施压地域流量定制、IPv6流量定制...
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与阿里云其他计算产品（例如...
Lindorm搜索引擎支持SQL JDBC访问，本文介绍如何使用开源的Solr JDBC访问Lindorm搜索引擎。前提条件 已开通Lindorm搜索引擎，具体操作请参见 开通指南。已将客户端的IP地址加入到Lindorm实例的白名单中，具体操作，请参见 设置白名单。已...
搜索引擎 通过solr Shell连接搜索引擎 通过Search Shell连接并使用搜索引擎 通过SQL连接搜索引擎 通过SQL连接并使用搜索引擎 文件引擎 通过HDFS Shell连接文件引擎 通过HDFS Shell连接并使用文件引擎 通过开源HDFS客户端连接文件引擎 通过...
开源核心版本：Nacos引擎的开源版本，会随着开源版本一起更新。MSE优化版本：MSE基于开源核心版本进行优化后，提供的能力更强并且可以实现快速迭代的版本。版本类型 开源核心版本 MSE优化版本 描述 专业版/开发版 2.2.3 2.2.3.1 默认关闭...
本文介绍了如何免费体验Lindorm宽表引擎和开源社区版HBase的性能&价格力对比。背景 云原生多模数据库Lindorm面向海量泛时序数据、半结构化数据和非结构化数据提供低成本存储、在线查询和检索、离线分析、AI 推理等一站式数据服务，支持...
本文介绍如何解决MSE Nacos开源控制台无法使用问题。问题现象 开源控制台上提示 caused:No AuthenticationProvider found for org.springframework.security.authentication.UsernamePasswordAuthenticationToken;开源控制台上单击登录，...
本文从运维、性能、安全性、高可用、监控告警等维度进行分析，介绍MSE云原生网关和开源Higress的差异。对比项 MSE云原生网关 开源Higress 系统搭建及运维成本 资源全托管免运维。需自行购买各种资源搭建系统，运维升级需投入精力，人工成本...
Nacos社区自2.2.2版本开始，如果没有开启社区默认鉴权，开源控制台的登录页将不再出现。MSE Nacos 2.2.3.0版本以后开启开源控制台，也会关闭此登录页。Nacos社区提供的开源控制台在2.2.2版本前，无论是否开启 鉴权 功能，开源控制台都会...
本文为您介绍Kyuubi支持的引擎及共享级别，并通过示例为您介绍如何启动计算引擎和向计算引擎提交任务。支持引擎 EMR集群安装Kyuubi时会依赖安装YARN和Spark3引擎。EMR Kyuubi支持Spark3 on YARN部署（暂未支持Flink、Trino以及Spark2引擎）...
本文介绍MSE流量防护与开源Sentinel、Hystrix两个限流相关组件的对比。MSE提供了能力完善、配套齐全、开箱即用的流量防护能力。阿里巴巴中间件团队在多年的双十一大促活动中积累了丰富的流量防护经验和方法论，并将其体系化应用到MSE中，...
您可以基于CDH6和Lindorm文件引擎构建云原生存储计算分离的开源大数据系统。前提条件 请保证您的Lindorm实例和CDH6集群所在同一VPC内。请保证您的CDH6节点在Lindorm白名单中，如何添加白名单请参见 设置白名单。说明 本文中所涉及范例使用...
本章介绍如何将在开源HDFS的数据平滑地迁移到Lindorm的文件引擎中。背景介绍 在某些场景下面，我们需要从自建的Hadoop中存储的数据迁移到Lindorm的文件引擎当中。适用范围 阿里云ECS自建Hadoop集群中的数据迁移到文件引擎。准备工作 开通...
在分布式任务调度领域中，Quartz、ElasticJob和XXL-JOB是广受欢迎的开源解决方案。为了更深入地理解分布式任务调度技术并全面评估SchedulerX在此领域的优势与特点，本文将对比SchedulerX与这些主流开源产品的特性与功能。项目 Quartz ...
借助MSE微服务治理，您无需修改任何代码就可以为开源K8s环境中的Spring Cloud和Dubbo应用提供无侵入的微服务治理能力，包含无损下线、离群实例摘除、服务查询、服务鉴权、服务测试和金丝雀发布，大幅提升线上微服务的稳定性和开发效率。...
Hue作为一个数据开发平台，支持连接各种执行引擎，例如Hive、Spark、Impala和Presto。当这些执行引擎开启LDAP认证后，Hue需要进行相应的配置后才能成功连接。本文介绍如何配置Hue连接开启LDAP认证的执行引擎。前提条件 已创建E-MapReduce的...
开启Nacos实例的引擎鉴权功能，并在客户端配置对应的身份信息（例如AccessKey或RoleName等）。具体操作，请参见 Nacos Client访问鉴权。移除应用程序中关于开源鉴权插件的 username 和 password 相关配置，避免频繁打印 login failed 错误...
Serverless 应用引擎 SAE（Serverless App Engine）是面向应用的Serverless PaaS平台，提供成本更优、效率更高的一站式应用托管方案，容器新手也可以体验Serverless、K8s和微服务。您可以通过不同场景，对比 SAE 与开源自建产品在系统搭建...
本文为您介绍Spark Native引擎在使用过程中的限制，以及如何在Spark3服务中开启Native引擎。背景信息 Spark Native引擎存在部分使用上的限制，在遇到限制场景时，Spark Native引擎会在对应的Spark Stage进行回退（fallback，表示回退到原生...
背景信息 Milvus是一款云原生开源向量检索引擎，基于Faiss、Annoy、HNSW等知名库构建，并进行了优化，实现了高可用、高性能、易扩展的特性，适于处理海量向量数据的实时召回。它包含了数据分区分片、持久化、增量摄取、混合查询等高级功能...
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
DataWorks V3.0核心特性 支持多种计算引擎 DataWorks V3.0全新升级了多引擎插件化架构，在DataWorks V2.0版本仅支持MaxCompute计算引擎的基础上，新增开源大数据引擎E-MapReduce、交互式分析和图计算服务（Graph Compute）等引擎服务。...