OSS对象存储环境准备 本教程需要您创建一个OSS Bucket，后续会将用户信息和网站访问日志信息同步到OSS Bucket中，用于数据建模和数据分析。登录 OSS控制台。在左侧导航栏，单击 Bucket列表，在Bucket列表页面，单击 创建Bucket。在 创建...
工作空间管理员可以加入成员至工作空间，并赋予工作空间管理员、数据分析、数据开发或访客角色，以实现多角色协同工作。本文为您介绍工作空间的基本操作。前提条件 已注册阿里云账号并完成实名认证。具体操作请参见 账号注册（PC端）。已...
Paimon：高性能数据湖场景 Iceberg：大规模数据分析场景 用户信息 系统自动显示当前用户和关联的RAM用户。如果没有关联的RAM用户，创建DLF Catalog后将无法访问DLF数据目录。确认配置信息无误，单击 确定 按钮完成DLF Catalog创建。创建...
适用场景 数据湖架构 冷数据分析 低延迟读写场景 数据可靠性 OSS支持本地冗余存储和同城冗余存储，提供了跨可用区的高可靠性保障。由云存储底层保障，数据丢失风险极低。依赖副本机制（本地盘默认3副本，云盘默认2副本），局限于集群内部，...
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。添加开源Elastic Search数据源 登录 ...
Flume最终会将数据落地到实时计算平台（例如Flink、Spark Streaming和Storm）、离线计算平台上（例如MR、Hive和Presto），也可仅落地到数据存储系统中（例如HDFS、OSS、Kafka和Elasticsearch），为后续分析数据和清洗数据做准备。...
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。使用限制 仅支持企业版及以上版本。...
无 x√自动合并小文件 无 x√说明 以上信息是在2021年9月份，客观分析开源Iceberg和商业版Iceberg现状之后制定的表格。随着后续版本的不断迭代升级，对比项状态可能发生变化。适用场景 Iceberg作为通用数据湖解决方案中最核心的组件之一，...
网络增强型：1CU=1核 CPU+4 GiB 内存，网络带宽为标准规格的2倍以上，适用于外表分析数据扫描量较大的场景，使用ESSD云盘作为StarRocks存储。高性能存储：需要您选择详细规格。该规格类型使用本地SSD数据盘作为StarRocks存储，适用于对存储...
Power BI是一个统一、可扩展的自助服务和企业商业智能（BI）平台，支持用户对数据进行建模与可视化分析，并能够创建个性化的报表。本文介绍如何通过Power BI连接EMR Serverless Spark并可视化分析数据。使用限制 不支持访问Paimon和Iceberg...
StarRocks将所有审计日志存储在本地文件 fe/log/fe.audit.log 中，并且这些日志无法通过系统内部数据库访问。审计日志功能默认启用，并将安装AuditLoader插件，该插件能够从本地文件中读取日志，并通过HTTP PUT方法将其导入StarRocks数据库...
功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 DQL操作 DQL操作 DQL操作 函数开发 内建函数 MaxCompute提供丰富的内建函数，方便用户进行数据分析和数据加工。内建函数 自定义函数 MaxCompute支持...
案例人群 本案例适合开发工程师、数据分析师、产品运营人员等需要从数据仓库中获取数据并进行分析与洞察的人员。案例设计 为制定企业经营策略，需从用户网站行为数据中提取用户群体基本画像。例如，获取用户群体地理属性、社会属性等信息，...
使用 图表分析，进行数据可视化，提升数据分析结果的可理解性。使用 地理分析，进行地理空间数据分析，探查地理数据规律。使用 文档交互式分析，允许用户与数据进行交互，如调整参数、选择不同的过滤条件。使用 自然语言交互分析，允许用户...
Python SDK PyODPS是MaxCompute的Python版本的SDK，提供对MaxCompute对象的基本操作和DataFrame框架，让您可以轻松地在MaxCompute上进行数据分析。更多详情请参见GitHub项目 aliyun-odps-python-sdk 和包括所有接口、类的细节等详细内容的 ...
PolarDB-X开源项目 轻量化管控 基于K8s Operator提供生产部署的能力。PolarDB-X Operator 多云 ECS自建 基于IDC物理机或者云ECS，部署 PolarDB-X 开源版。快速部署 MyBase多云 MyBase基于ECS托管 PolarDB-X 开源，支持多云ECS统一管理。...
2 案例模板 使用产品提供的案例模板构建数据分析地图，快速体验可视化设计功能，详情请参见 创建及管理项目。3 全部项目 自定义创建项目和管理项目，详情请参见 创建及管理项目。编辑项目可以对数据源、图层、图层交互、项目信息、交互分析...
设置Dataphin实例的计算引擎为GaussDB（DWS）Databricks Databricks是一个基于Apache Spark的统一数据分析平台，提供托管的Spark集群、交互式笔记本环境，以及与云存储的无缝集成，支持高清数据处理和大规模分析。设置Dataphin实例的计算...
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 Spark on MaxCompute支持如下场景：离线计算场景，例如GraphX、Mllib、RDD、Spark-...
什么是AnalyticDB AnalyticDB是阿里云自研的云原生实时数据仓库，支持从OLTP数据库和日志文件中实时写入数据，并秒级完成PB级数据分析。AnalyticDB采用云原生存算分离的架构，存储按量付费，计算弹性伸缩，同时具备离线处理与在线分析资源...
查看作业列表 EMR Serverless 功能集 功能 功能描述 参考文档 Serverless StarRocks 实例管理 通过创建StarRocks实例，您可以快速获取一个托管的且高性能的环境，无需自行搭建和维护基础设施，轻松进行大规模数据分析和查询。创建实例 扩缩...
云原生数据湖分析（Data Lake Analytics，简称DLA）是无服务器（Serverless）化的数据湖分析服务，支持按需与保留资源使用，打造最具性价比的数据湖分析平台；提供一站式的数据湖分析与计算服务，支持 ETL、机器学习、流、交互式分析，可以...
停止全面支持时间 2023年9月30日0点 影响 您在停止全面支持时间点前创建的数据开发（旧版）项目不会受到影响，可正常使用EMR数据开发（旧版）模块，包括运行作业和工作流调度，但阿里云不再提供EMR数据开发（旧版）的用户答疑、问题解决和...
近些年来，随着业务数据量的增多，企业需要能够对数据进行分析，助力商业决策，更好地发挥数据价值，而传统开源及商业关系型数据库通常为单机版，在海量数据分析场景下扩展能力有限，性能无法满足需求。以Teradata，Oracle Exadata为代表的...
数据入仓适用于对后续数据分析性能有较高要求的业务场景。数据入湖：将原始数据以开源的Iceberg、Paimon等表格式导入至数据湖中。数据湖可以是 AnalyticDB for MySQL 提供的 湖存储，也可以是您自有的OSS Bucket。数据湖具有开源开放的特点...
可以借助开源的能力为您提供更丰富的数据分析场景。同时打通自研和开源引擎之间的互相访问，提供更一体化的体验。存储层：只需一份全量数据，满足离线和在线场景。在线分析场景需要数据尽量在高性能存储介质上提高性能，离线场景需要数据...
云数据库ClickHouse是开源列式数据库ClickHouse的云上托管服务，数据库内核...阿里云提供了一套企业级数据库管理平台，增强了数据安全、集群动态扩容、监控运维等企业级功能，与云上其他数据产品打通，可以便捷地构建云上海量数据分析平台。
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
创建E-MapReduce集群后，您可以在数据开发中创建项目，并在项目中进行作业的编辑和工作流的调度。新建项目之后，您可以对项目进行管理，为项目关联集群资源、添加项目成员以及设置全局变量。前提条件 已创建集群，详情请参见 创建集群。...
实验用户信息数据结构 MySQL用户信息数据结构（ods_user_info_d）字段名称 字段说明 uid 用户名 gender 性别 age_range 年龄分段 zodiac 星座 实验目标数据结构 根据原始数据分析可获得的有效数据，并基于业务需求确认最终数据表结构。...
用户可以创建Relational Cache对数据进行预计算，在执行用户查询时，Spark Optimizer自动发现合适的Cache，并改写SQL执行计划，基于Cache的数据继续计算，从而提升查询速度，适用于报表、Dashboard、数据同步和多维分析等场景。通过DDL，...
相关文档 EMR支持数据湖场景、数据分析场景、实时数据流场景、数据服务场景，具体请参见 应用场景。想了解EMR各版本支持的组件情况，请参见 各版本支持的组件。想了解EMR集群的运维与监控能力，请参见 集群运维 和 集群监控。
覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 优势 描述 兼容开源 EMR Studio提供深度优化的开源组件使用体验，100%兼容开源大数据生态。您无需修改任务代码，即可平滑迁移上云。通过EMR ...
本章节重点介绍如何使用主流数据湖格式（如Paimon、Hudi、Iceberg）进行数据存储与管理，并结合流批一体技术实现...使用Paimon 使用Hudi 使用Iceberg 使用Delta Lake 使用DLF 基于Flink、EMR Serverless Spark与Paimon构建流批一体数据湖分析
开源Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，是遵从Apache开源条款的一款开源产品，是当前主流的企业级搜索引擎。作为一款基于RESTful API的分布式服务，Elasticsearch可以快速地、近乎于准实时地存储、查询和分析...
适用客户 全网用户 新增功能/规格 添加StarRocks数据源用于连通StarRocks数据库与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何通过Quick BI连接StarRocks实例。产品文档 通过Quick BI连接StarRocks...
开源大数据开发平台EMR提供弹性资源管理和自动化运维，降低运维复杂度，通过用户管理、数据加密和权限管理等为数据安全保驾护航，同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态，便于快速搭建大数据处理和分析场景。对比项 阿里...
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
调用ModifyFlowProject接口，修改数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...