背景 云原生多模数据库Lindorm面向海量泛时序数据、半结构化数据和非结构化数据提供低成本存储、在线查询和检索、离线分析、AI 推理等一站式数据服务，支持MySQL协议，兼容HBase、Elasticsearch、Hive、Spark、HDFS 等开源标准。...
导入任务 统计信息 您可以选择展示 导入总时长，或者 导入数据量。以下为 导入总时长 展示的参数：DATA LOAD任务数：当前时间范围内DATA LOAD导入任务的数量。DATA LOAD导入总时长：P50：导入总时长的50%分位数。P70：导入总时长的70%分...
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
Delta Lake是一个开源存储框架，旨在数据湖之上构建LakeHouse架构。Delta Lake提供了ACID事务支持、可扩展的元数据处理功能，并能够在现有的数据湖（如OSS、Amazon S3和HDFS）上整合流处理与批处理。此外，Delta Lake还支持多种引擎，如...
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理，您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 ...
对于单个节点组的成本统计，采用估算值，因此与真实账单可能存在一定的数据偏差。集群实际费用以账单支付金额为准。不支持对使用成本节省计划的节点组进行成本分析。操作步骤 进入弹性伸缩页面。登录 EMR on ECS。在顶部菜单栏处，根据实际...
为了更好地融入开源生态，提供更加开放和多样...您可以通过使用开源Connector便捷地对接各种数据源和下游系统。说明 EMR-5.17.0、EMR-3.51.0版本开始使用Apache Flink 1.17.2版本，版本说明请参见 Apache Flink 1.17.2 Release Announcement。
EMR Trino提供了独立的Delta连接器，在E-MapReduce集群上支持了较为完整的数据湖特性并进行了特性扩展。背景信息 Delta Lake是DataBricks公司推出的一种数据湖方案，以数据为中心，围绕数据流走向推出了一系列功能特性，详情请参见 Delta ...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
您可以直接在控制台上编写、运行和管理SQL查询语句，无需下载或安装任何本地客户端软件，极大地方便了数据分析师和开发人员对数据进行实时查询与分析。前提条件 已创建StarRocks实例，详情请参见 创建实例。进入SQL Editor 进入EMR ...
本文介绍 Ganos 时空服务与开源GeoMesa（HBase）、云数据库MongoDB分片集群在处理时空轨迹数据时的性能测试对比。测试环境 本次性能测试中需要准备以下测试数据库，具体配置如下表：数据库 配置说明 云原生多模数据库 Lindorm 宽表引擎（已...
statistics 统计信息（包括行数、数据量等）。reasonOfStateChanged 状态改变原因。errorLogUrls 错误日志链接。otherMsg 其他信息。trackingSQL 查询错误日志的SQL。trackingLogs 详细错误日志。Stream Load 字段名 说明 errorMessage ...
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...
高级设置 软件自定义配置：可指定JSON文件对集群中的基础软件（例如Hadoop、Spark和Hive等）进行配置。默认不开启。硬件配置。配置项 描述 付费类型 默认包年包月。当前支持的付费类型如下：按量付费：一种后付费模式，即先使用再付费。...
本教程以用户画像分析为例，演示如何使用DataWorks完成数据同步、数据加工和质量监控的全流程操作。为了确保您能够顺利完成本教程，您需要准备教程所需的EMR集群、DataWorks工作空间，并做好相关的环境配置。业务背景 为了更好地制定企业...
查看Query统计详情 单击Query的 Run ID，在Streaming Query Statistics页面可以查看当前Query的运行统计信息，包括Input Rate、Process Rate、Input Rows的时序变化，以及每个批次的Duration堆栈图，包括WalCommit、QueryPlanning、...
同时，它100%兼容开源Spark生态，能够无缝集成到客户现有的数据平台。通过使用EMR Serverless Spark，企业可以更加专注于数据处理分析及模型训练的优化，从而提升工作效率。前置概念 阅读本文前，您可能需要了解如下概念：什么是云原生？...
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
ots:ComputeSplitPointsBySize 将全表的数据在逻辑上划分成接近指定大小的若干分片，返回这些分片之间的分割点以及分片所在机器的提示。ots:StartLocalTransaction 为分区键值创建一个局部事务，并获取局部事务ID。ots:CommitTransaction ...
背景信息 当前MetaService服务仅支持免AccessKey访问OSS、LogService和MNS数据。权限内容 默认服务角色 AliyunEmrEcsDefaultRole 包含系统权限策略为 AliyunEmrECSRolePolicy，OSS相关权限内容如下。权限名称（Action）权限说明 oss:...
在EMR集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web界面端口均未对外开放。如果您想直接访问开源组件的Web界面，可根据实际场景选择 原生UI地址、Knox代理地址、SSH本地端口转发 或 SSH动态端口转发 方式进行访问。快速...
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
DLF-Auth组件是数据湖构建DLF（Data Lake Formation）产品提供的，通过该组件可以开启数据湖构建DLF的数据权限功能，可以对数据库、数据表、数据列、函数进行细粒度权限控制，实现数据湖上统一的数据权限管理。本文为您介绍如何开启DLF-...
Status命令 Status命令可以查看任务进度信息，默认会统计该路径需要执行分层存储的文件数目以及已经完成的数据。jindo jfs-status-detail/-sync path-detail 参数可以查看文件进度信息。sync 参数表示该命令需要同步等待分层存储任务结束才...
Status命令 Status命令可以查看任务进度信息，默认会统计该路径需要执行分层存储的文件数目以及已经完成的数据。jindo jfs-status-detail/-sync path-detail 参数可以查看文件进度信息。sync 参数表示该命令需要同步等待分层存储任务结束才...
Status命令 Status命令可以查看任务进度信息，默认会统计该路径需要执行分层存储的文件数目以及已经完成的数据。jindo jfs-status-detail/-sync path-detail 参数可以查看文件进度信息。sync 参数表示该命令需要同步等待分层存储任务结束才...
Status命令 Status命令可以查看任务进度信息，默认会统计该路径需要执行分层存储的文件数目以及已经完成的数据。jindo jfs-status-detail/-sync path-detail 参数可以查看文件进度信息。sync 参数表示该命令需要同步等待分层存储任务结束才...
Status命令 Status命令可以查看任务进度信息，默认会统计该路径需要执行分层存储的文件数目以及已经完成的数据。jindo jfs-status-detail/-sync path-detail 参数可以查看文件进度信息。sync 参数表示该命令需要同步等待分层存储任务结束才...
Status命令 Status命令可以查看任务进度信息，默认会统计该路径需要执行分层存储的文件数目以及已经完成的数据。jindo jfs-status-detail/-sync path 指定以下参数时：detail：表示可以查看文件进度信息。sync：表示该命令需要同步等待分层...
Status命令 Status命令可以查看任务进度信息，默认会统计该路径需要执行分层存储的文件数目以及已经完成的数据。jindo jfs-status-detail/-sync path 指定以下参数时：detail：表示可以查看文件进度信息。sync：表示该命令需要同步等待分层...
Status命令 Status命令可以查看任务进度信息，默认会统计该路径需要执行分层存储的文件数目以及已经完成的数据。jindo jfs-status-detail/-sync path-detail 参数可以查看文件进度信息。sync 参数表示该命令需要同步等待分层存储任务结束才...
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...
阿里云EMR凭借弹性扩展的计算集群、多源异构数据融合治理以及实时流批一体处理等卓越能力，已经广泛应用于金融风控、电商精准营销、物联网时序数据处理等多个领域。本文为您介绍EMR在数据湖、数据分析、实时数据流、数据服务四个场景的典型...
加密数据盘后，数据盘上的动态数据传输以及静态数据都会被加密。如果您的业务存在安全合规要求，则可以使用该功能。您无需自建和维护密钥管理基础设施，就能保护数据的隐私性和自主性，为业务数据提供安全边界。背景信息 数据盘加密的详细...
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
产品优势如下：云原生极速计算引擎 内置Fusion Engine(Spark Native Engine)，相对开源版本性能提升300%。内置Celeborn（Remote Shuffle Service），支持PB级Shuffle数据，计算资源总成本最高下降30%。开放化的数据湖架构 支持计算存储分离...
Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。背景信息 EMR Flink完全兼容开源Flink，相关内容请参见...
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...