阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
object 项目。FeedbackRemark string 验收反馈。验收完成 FeedbackFlag boolean 反馈标记。false DataId string 日期 ID。175296157992643*State string 状态：INIT：初始状态。TOPUBLISH：待发布。CREATED：已创建。HANDLING：处理中。...
OpenLLMConnection：开源模型连接。MilvusConnection：Milvus 连接。OpenSearchConnection：OpenSearch 连接。LindormConnection：Lindorm 连接。ElasticsearchConnection：Elasticsearch 连接。HologresConnection：Hologres 连接。...
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理，您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 ...
EMR Serverless StarRocks兼容开源StarRocks的SQL语法和函数，您可以参考以下文档进行开发设计。StarRocks版本 参考文档 3.3系列 SQL参考 函数参考 3.2系列 SQL参考 函数参考 2.5系列 SQL参考 函数参考
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
在账单详情页签中，设置 账单月份，并在列表中筛选产品为 开源大数据平台 E-MapReduce，然后基于您的实际需求选择产品明细。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细内容，可参见费用与成本的 账单管理。相关文档 ...
Spark Thrift Server会话：Spark Thrift Server是Apache Spark提供的一种服务，支持通过JDBC或ODBC连接并执行SQL查询，从而便捷地将Spark环境与现有的商业智能（BI）工具、数据可视化工具及其他数据分析工具集成。相关文档 管理SQL会话 ...
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 E-MapReduce 版本号 说明 2021-03-20 推荐使用。EMR Workbench 版本号 说明 2024-04-30 推荐使用...
QueueStrategy string 该 Quota 上的排队策略，支持：PaiStrategyIntelligent：智能策略。PaiStrategyBalance：均衡策略。PaiStrategyRoundRobin：资源优先策略。PaiStrategyStrictFIFO：FIFO 策略。PaiStrategyIntelligent
如果您想直接导入IDE就可以运行的项目工程，您可以下载下面的示例项目工程代码，导入您的IDE环境即可运行。注意 您需要将项目里面的AccessKey信息和安全组信息，修改为您自己账户的AccessKey信息和安全组信息，具体说明请参见项目代码前的...
删除特征平台项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，...
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
进入智能标注（iTAG）。登录 PAI控制台。在左侧导航栏单击 工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间。在左侧导航栏，选择 数据准备 智能标注（iTAG）。单击 前往标注页面，跳转至 标注大厅 未完成...
准备好智能圈选数据后，您可以使用阿里云对象存储OSS或DataWorks两种传输方案上传数据。使用阿里云对象存储OSS（推荐）重要 使用OSS前，请在网页端授权OSS访问权限，并为需要访问的OSS Bucket添加 pai=plugin 标签，具体操作，请参见 管理...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
iTAG可以开启智能标注，使用离线标注的结果预标注数据，然后在正式标注时，仅需要对预标注结果进行校验和修正，从而提升标注效率。步骤一：创建具有离线预标注结果的数据集 准备离线预标注文件。方式一：从标注任务中获取标注结果 进入智能...
读数据表组件用于读取MaxCompute表数据，默认读取本项目的表数据。如果跨项目读取表数据，则需要在表名前添加项目名。说明 目前 Designer 算法组件支持读取的数据类型为DOUBLE、BIGINT、STRING、BOOLEAN、DATETIME。读数据表组件支持读取...
您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码均为admin，请您登录后及时修改密码。说明 首次登录后默认是英文界面。在Superset页面，单击右上角的 图标，选择 ...
本文为您介绍开源组件常用端口。服务 端口 描述 Hadoop 2.X 50070 HDFS Web UI的端口。配置参数为 dfs.namenode.http-address 或 dfs.http.address 。说明 dfs.http.address 已过期但仍能使用。50075 DataNode Web UI的端口。50010 ...
前提条件 已创建实验项目，详情请参见 新建实验项目。创建实验域 登录 PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击 进入ABTest。在 A/B实验（ABTest）页面的左侧导航栏，选择 项目管理 实验域。在 实验域 页面...
更新项目信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来...
用户增长插件内置高性能营销场景化算法，您可以根据自己的运营目标，叠加使用不同类型的模型，对海量用户进行智能圈选，高效的圈选出待运营的目标用户。同时支持通过智能短信的方式触达被算法智能圈选出的用户。本文为您介绍用户增长插件的...
启动失败 包年包月集群环境部署遇到问题，需要人工介入。您可以通过以下方式处理：在集群的 操作历史 查看报错信息，修改后单击操作列的 重试，可再次进入创建流程。在ECS控制台手动退订集群内所有ECS实例，并在EMR控制台上释放该集群。...
您可以使用PAI内置的 流失预测 等智能算法，对海量用户进行智能圈选，高效地圈选出待运营的目标用户。您也可以通过 人群管理 功能，对智能圈选出的人群信息进行扩展维护。如果您已有明确的待运营的目标用户，您也可以通过 人群管理 功能...
在 A/B实验（ABTest）页面的左侧导航栏，选择 项目管理 人群管理。在 人群管理 页面，单击 新建人群，并配置以下参数。参数 描述 名称 自定义人群名称。描述 为该人群添加一些详细说明。用户 您可以手动配置单个用户或多个用户，输入完成后...
EMR Workflow 新增工作空间管理 适用客户 全网用户 新增功能/规格 工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以添加成员至工作空间，并...
创建特征平台项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 ...
RAG 大模型RAG对话系统 RAG集成联网搜索搭建AI智能问答最佳实践 RAG集成OpenAI兼容界面最佳实践 基于EAS&Elasticsearch搭建RAG检索增强对话系统 基于EAS&Milvus搭建RAG检索增强对话系统 基于EAS&OpenSearch搭建RAG检索增强对话系统 基于EAS...
数据存储安全 PAI提供数据集管理模块，支持导入公共数据集、阿里云云产品中的数据等创建为数据集，也支持扫描OSS文件夹生成索引数据集，为智能标注、模型训练做准备。读取和存储数据至OSS及NAS，实现数据集、模型等数据文件的存储安全。...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 Web 界面...
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
前提条件 已创建好项目，详情请参见 项目管理。使用限制 EMR-1.3.0及后续版本支持Sqoop作业类型。在低版本集群上运行Sqoop作业会失败，errlog会报不支持的错误。参数详情请参见 Sqoop。操作步骤 进入数据开发的项目列表页面。通过阿里云...
个性化触达时间即智能发送，是智能圈选功能的延伸。通过分析用户的行为和偏好，确定最佳的发送时间，提高短信触达效果并提升用户体验。目前，只有使用规定的数据进行智能圈选生成的算法人群才能设置个性化触达时间。本文为您介绍设置个性化...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
您可以在训练成功的模型中启动模型可视化功能，在可视化界面更直观地查看模型训练结果分析报告，进一步了解智能圈选过程中，哪些特征会起到重要作用。操作步骤 登录 PAI控制台，在左侧导航栏选择 场景化解决方案 用户增长。按照下图操作...