软件迁移主要包含以下两种场景：自研软件：指开发者开发的或者基于开源软件增强开发的软件。自研软件使用的编程语言主要包含以下两类：编译型语言：以C++/Go为代表的编译型语言，这些语言会将源代码编译成架构相关的二进制文件，因此迁移后...
其中，软件迁移支持迁移自研软件和开源软件：自研软件：指开发者开发的或者基于开源软件增强开发的软件。具体操作，请参见 源码迁移。开源软件：指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。更多...
迁移前评估 技术评估 云消息队列 RabbitMQ 版 和开源RabbitMQ在功能、服务和性能、Exchange和Queue等几个方面存在差异，在迁移至 云消息队列 RabbitMQ 版 之前，请查看差异项并评估 云消息队列 RabbitMQ 版 的功能是否符合您的预期。...
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
本文介绍了如何免费体验Lindorm宽表引擎和开源社区版HBase的性能&价格力对比。背景 云原生多模数据库Lindorm面向海量泛时序数据、半结构化数据和非结构化数据提供低成本存储、在线查询和检索、离线分析、AI 推理等一站式数据服务，支持...
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。重要 已经创建好的EMR集群不支持组件升级。...
背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用方法可参见官方相应文档。Spark官方文档：streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo：github地址。访问...
基础信息 页面为您展示集群的详细信息，包括集群信息、软件信息、网络硬件和安全四部分。说明 该页面展示的信息与您创建集群时设置的参数有关，所以具体展示的参数请以控制台实际展示为准。信息分类 描述 集群信息 该区域为您展示集群的...
丰富的生态：倚天云服务器支持主流开源软件以及多款阿里云主流PaaS产品。最新网络架构：基于2*50 GB网络架构提供大带宽以及超强转发能力，对比上一代CIPU架构，网络带宽提升1倍。安全增强：支持vTPM特性，依托TPM/TCM芯片，实现从服务器到...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
创建集群时，您需要对集群进行软件配置、硬件配置和基础配置。重要 集群创建完成后，除了集群名称以外，其他配置均无法修改，所以在创建时请仔细确认各项配置。软件配置。配置项 描述 地域 创建的集群将会在对应的地域内，一旦创建不能修改...
说明 这些命令和软件包的具体使用方式可能因系统版本和配置而有所不同，建议您根据实际情况使用。单击 保存。在弹出的对话框中，输入 执行原因，单击 保存。重启Presto服务。单击上方的 服务详情 页签。在 组件列表 区域，单击 ...
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
SOFABoot 目前对外开放的有开源版和商业版，本文介绍这两个版本的特点及适用场景，您可以根据自身需求自由选择合适的版本。选型指南 各个版本的能力和适用场景信息见下表：版本 能力 场景 文档 开源版本 具有模块化开发、类隔离、日志隔离...
创建集群时，您需要对集群进行软件配置、硬件配置和基础配置。重要 集群创建完成后，除了集群名称以外，其他配置均无法修改，所以在创建时请仔细确认各项配置。软件配置。配置项 描述 集群类型 选择EMR Studio。产品版本 默认最新的软件...
手动执行类似引导操作，在集群创建完成后，您可以通过手动执行功能来安装集群尚未支持的软件和服务，例如：使用YUM安装已经提供的软件。直接下载公网上公开的软件。读取您OSS中的自有数据。安装并运行服务（例如，Flink或者Impala），但...
除了需要重点关注的软件配置和硬件配置信息外，其余配置新旧集群可使用相同配置。在EMR on ECS的旧集群的 基础信息 和 节点管理 页面，查看集群和节点组的配置信息，并重点关注以下信息。配置类型 配置名称 需要梳理的内容 软件配置 集群...
重要 对于DataStream作业来说，开源Flink和VVR的state是完全兼容的，但是对于SQL作业来说，VVR相比社区Flink，做了大量的优化工作，不能保证state完全兼容。对于state不能兼容的作业，无法从开源Flink生成的Checkpoint中恢复。对于这部分...
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
在 重启生效参数 区域，编辑 ConsoleUIEnabled 开启和关闭开源控制台。说明 开启开源控制台将会重启Nacos集群，重启Nacos集群不会影响您正在运行的业务，但可能会出现少量Nacos客户端请求Nacos引擎失败和重连的日志，属于正常现象。开源...
Hive：使用LDAP认证 Spark：管理LDAP认证 Impala：管理LDAP认证 Trino：管理LDAP认证 Presto：管理LDAP认证 Kafka：使用LDAP用户鉴权 如果某个服务没有提供一键开启LDAP认证的功能，则需要参考开源软件的社区文档来配置开启LDAP认证。...
完善集群的监控和告警体系，覆盖硬件和Hadoop服务，您可以配置告警模板。弹性 计算存储分离：解耦了计算与存储之间的绑定关系，实现了资源的弹性利用。自定义集群环境：您可以通过引导操作和集群脚本灵活配置集群环境，将第三方优化和集群...
开源兼容性 100%兼容开源Milvus全托管服务，提供与原生软件交互性一致的产品使用体验，并默认提供开源可视化工具Attu。高安全性 基于阿里云专有网络（VPC）部署，提供专有网络访问，同时提供更细力度访问控制及更高安全等级保护。实例可...
加密数据盘后，数据盘上的动态数据传输以及静态数据都会被加密。如果您的业务存在安全合规要求，则可以使用该功能。...创建集群时，您还需要对集群进行软件配置、硬件配置、基础配置和确认订单，配置详情请参见 创建集群。
开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区提供。使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问...
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
在开源大数据社区蓬勃发展的今天，新版本带来了更丰富、强大和易用的产品特性。随着引擎重构、计费计量、云原生部署等多种形态的不断涌现，已经投入使用的产品版本和形态会逐渐老化，无法满足不断增长的业务需求。从应用稳定性、资源弹性、...
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
在开源大数据社区蓬勃发展的今天，新版本带来了更丰富、强大和易用的产品特性。随着引擎重构、计费计量、云原生部署等多种形态的不断涌现，已经投入使用的产品版本和形态会逐渐老化，无法满足不断增长的业务需求。从应用稳定性、资源弹性、...
开源应用的调试过程中需要使用开源UI，MaxCompute Spark提供原生的开源实时UI和查询历史日志的功能。其中，对于部分开源应用还支持交互式体验，在后台引擎运行后即可进行实时交互。系统结构 MaxCompute Spark是阿里云通过Spark on ...
您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。100%采用社区开源组件，适配并优化开源组件，性能远高于开源版本。基于时间的弹性伸缩能力，抢占式实例可进一步降低成本。解耦了计算与存储之间的绑定关系，...
可调一致性（无需repair数据）服务模式 自建 集群托管或者Serverless可选 可靠性 无SLA保障，开源软件BUG需要自行修复。SLA保障，并具备主备双活、备份、异地容灾等能力。冷热分离 不支持 透明冷热分离降低成本 全文检索 不支持 兼容CQL...
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的>enableLDAP。...
本文从核心功能、性能、成本等方面，将 云原生多模数据库 Lindorm 与开源HBase、开源Cassandra、OpenTSDB、开源ElasticSearch、开源Solr和开源HDFS进行了对比，帮助您进一步了解Lindorm与其他数据库产品的区别以及Lindorm在各方面的优势。...
JindoFS软件模块解耦，分为Bigboot（管控层）、Smartdata（分布式服务）和JindoFS SDK。每块独立升级维护。更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini...
获取集群资源的使用和分配状况，合理配置硬件资源，提升集群资源的利用效率。辅助调优各个组件以及运行任务，提出可操作的优化建议，保证整体数据和计算链路的高效与稳定。EMR Doctor的主要特点如下：提供集群的实时检测功能，实时地对集群...
在E-MapReduce（简称EMR）集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。鉴于此安全机制，您无法直接访问这些组件的管理界面。EMR提供了控制台和SSH隧道两种方式进行安全访问。本文为您介绍如何...
测试环境和规格 PolarDB for PostgreSQL 14和开源 PostgreSQL 14的环境和规格如下表所示，本次测试的开源PostgreSQL 14在阿里云ECS机器上进行部署：参数 PolarDB for PostgreSQL 14 开源 PostgreSQL 14 核数+内存 8核 64 GB 8核 64 GB 发压...
与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本概念 数据模型 数据模型即数据的组织形式。Presto使用Catalog、Schema和Table三层结构来管理数据。Catalog：一个Catalog可以包含多个Schema，物理上指向...