2025年10月30日-SQL分析新版功能发布 尊敬的MaxCompute用户：为适应云原生技术演进、满足日益复杂的数据分析需求，阿里云MaxCompute控制台SQL分析功能全新升级，与DataWorks新版数据开发（DataStudio）深度融合，为用户提供更高效、更智能...
对于刚开始上云的企业，建议先开通按量计费，然后将数据进行POC测试（即针对客户具体应用的验证性测试），计算任务大概需要消耗多少CU时，通过CU时预估CU数量，这样就能大概估算出最终需要购买资源的数量。统计CU时可以通过作业元数据...
避免使用小文件 处理小文件并非Hadoop的设计目标，Hadoop分析引擎处理大量小文件的速度远远小于处理同等数据量的大文件的速度。每一个小文件都会占用一个task，而task启动将耗费大量时间，造成作业的大部分时间都耗费在启动task和释放task...
SelectDB SelectDB是基于Apache Doris打造的新一代多云原生实时数据仓库，聚焦于满足企业级大数据实时分析需求，为您提供极致性价比、简单易用的数据分析服务。更多介绍，请参见 SelectDB。Redshift Amazon Redshift是云平台的一种完全托管...
本文介绍基因分析平台中的应用定义，如何在工作空间中创建、编辑和运行...借助统一的流程语言标准，用户可以导入研究社区里公开的WDL流程，也能够使用平台开发者提供的公共应用，极大降低生信分析的门槛，简单高效地完成基因数据分析任务。
Spark分析 产品化深度集成，支持Spark SQL分析HBase，HBase数据到Spark（HDFS/OSS）的增量归档，离线分析结果回流到HBase等。无优化，数据集成需要较大开发。MaxCompute 产品化集成，请参见 全量导出MaxCompute。数据集成需要较大开发。...
码表定义基于圈选的数据表通过大模型结合语义分析，识别核心字段，针对核心字段进行数据探查，从而智能抽取码表定义，您可对码表执行编辑、应用、弃用等操作。本文为您介绍如何配置智能抽取码表定义。前提条件 需购买数据标准功能和X-数据...
X-数据标准基于圈选的资产通过大模型，结合语义分析，识别核心字段，可抽取码表定义、智能推荐标准映射以及智能生成标准定义。前提条件 需购买数据标准功能和X-数据标准功能才能使用X-数据标准。已配置并开启X-数据标准，详情请参见 智能...
本文介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
本文介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
本文为您介绍 DataV-Note（智能分析）的功能特性，包括 大模型驱动的智能分析、多元化的分析方法、多用户协同分析、一键生成分析报告/应用等。大模型驱动的智能分析 DataV-Note拥有独特的数据分析智能体，能够帮助您自动规划数据分析任务，...
东软集团围绕运营商、政务云和汽车等行业新一代数字信息系统IT运维场景海量监控数据存储分析痛点，将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据，应用运行代码...
目前，智能洞察支持以下6种巡检模块：错误率突增巡检模块：使用系统内置的异常检测算法基于历史数据来自动判断应用错误率是否存在异常，如果发现异常则会产生相应的异常事件并进行根因分析。平均响应时间突增巡检模块：使用系统内置的异常...
您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。创建 文件存储 HDFS 版 实例后，即可在ECS及容器服务等计算资源内通过标准的HDFS协议接口访问文件...
栅格化GIS应用及航天航空遥感应用 HBase Ganos提供了针对栅格数据管理的通用化模型支持，能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力，包括ETL工具支持遥感影像重投影、拼接、切片、入库，支持OGC WMS...
本文以某互联网公司为例，介绍如何将DB...客户价值 1小时短平快即可实现实时数据分析平台建设，无需掌握Hadoop\Spark\Flink\Presto\Impala等复杂的大数据技术。操作简单快捷，全程拖拽式配置，无需编码。业务实时指标数据延时在1分钟以内。
基于大模型的NL2SQL零代码空间数据建模 共享单车地理数据分析项目 文旅项目规划 领取步骤 登录 权益中心，完成学生认证后领取活动代金券。选取大数据智能产品：DataV-Board：个人版包年兑换。DataV-Atlas：基础版产品兑换。
大数据型实例规格（d系列）处理器与内存配比为1:4（部分规格不为1:4），适用于Hadoop MapReduce、HDFS、Hive、HBase等大数据计算和存储业务场景，以及Elasticsearch、Kafka等搜索和日志数据处理场景。说明 查看实例可购买地域：不同地域的...
AnalyticDB PostgreSQL版 向量检索分析基于MPP查询架构构建，帮助用户实现基于SQL接口进行非结构化数据检索，并支持同结构化数据的关联分析。典型应用场景 通过 AnalyticDB PostgreSQL版 向量分析，您可以非常容易地搭建各种智能化应用。以...
本文介绍了基于 云原生数据仓库 AnalyticDB Spark的分布式基因分析方案。通过分布式计算和GPU加速，显著提升大规模基因组数据分析效率，适用于基因筛选、疾病预测等场景，助力生命科学研究和精准医疗发展。背景 生命科学方兴未艾，从食品...
云原生大数据计算服务MaxCompute（原名ODPS）是阿里云自主研发的集 高性价比、多模计算、企业级安全 和 AI驱动 于一体的 企业级SaaS化智能云数据仓库（AI-Native Datawarehouse）。视频简介 产品简介 MaxCompute是面向分析的 企业级 SaaS ...
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
Notebook可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有工具可以替您...
您无需做任何设置，智能洞察将会基于应用历史数据并结合智能算法完成巡检，同时您可以订阅不同的异常事件类型。目前智能洞察支持巡检以下类型的事件。事件类型 事件描述 应用服务整体平均响应时间突增 基于服务历史3小时数据，判断最近5...
用户无需编写底层模型调用代码，即可通过标准SQL或MaxFrame（分布式Python引擎）直接调用大模型或机器学习模型，显著降低用户在数据处理、大数据分析等场景的AI使用门槛。场景概述 随着大模型对于数据的理解能力显著增强，具备了从多模态...
MaxCompute Hologres EMR Spark 数据分析 大数据AI公共数据集分析 本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，...
您无需做任何设置，智能洞察将会基于应用历史数据并结合智能算法完成巡检，同时您可以订阅不同的异常事件类型。目前智能洞察支持巡检以下类型的事件。事件类型 事件描述 应用服务整体平均响应时间突增 基于服务历史3小时数据，判断最近5...
数据处理 在很多领域，如股市走向分析、气象数据测控、网站用户行为分析，由于数据产生快、实时性强且量大，您很难统一采集这些数据并将其入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。与传统架构不同，云消息队列 Kafka ...
企业版实例：通过 数据服务 数据应用 自定义服务API 中添加的自定义数据服务。详细内容，请参见 自定义服务API。重要 只有关联到项目的数据服务资产，才能在项目内的应用和业务逻辑开发中访问和使用。关联数据资产的具体操作，请参见 数据...
基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过Lindorm存储，在数据的存储和索引性能方面得到极大的提升，同时也极大地降低整个系统的运维成本。客户价值 支持多个100G数据流量采集点的数据包元数据存储...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。前置概念 阅读本文前，您可能需要了解如下概念：什么...
外表存储 除内部存储外，AnalyticDB PostgreSQL版 支持通过外表方式访问OSS和Hadoop的存储数据。对象存储（OSS）是阿里云推出的存储服务，具备数据量大、成本低、安全性高、可靠性高的特点，能够满足多种场景的存储需求，存储成本低至 0.12...
云原生数据湖分析（Data Lake Analytics，简称DLA）是无服务器（Serverless）化的数据湖分析服务，支持按需与保留资源使用，打造最具性价比的数据湖分析平台；提供一站式的数据湖分析与计算服务，支持 ETL、机器学习、流、交互式分析，可以...
数据资源平台覆盖数据同步、数据标准建模及数据质量检查、数据开发、数据标签体系构建，基于标签数据的群体分析、专家业务模型构建、全流程任务监控告警、数据服务化、数据资产管理等核心能力，提供标准化程度高、易用性强的一站式大数据...
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据，这些数据有助于进行设备监控、业务分析预测和故障诊断。背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算...
相比现有基于大数据平台的历史数据离线分析方案，沙箱功能提供原始数据库SQL接口，不需要开发人员编写离线分析脚本，并由于使用快照存储机制，存储成本也更低。费用说明 更多信息，请参见 沙箱费用。相关操作 RDS MySQL应急恢复 自建MySQL...
最终目标是支撑商家增长、行业增量分析与精细化运营等多类数据应用场景。数据采集层 数据采集层采用DataWorks数据集成 作为统一的数据入口，用于接入三类核心数据源：业务系统数据库（如商品中心、交易中心、品牌库）。埋点数据。日志数据...
产品基于DataV团队在可视化领域多年来的积累和沉淀，并在大模型加持下，旨在为您提供一款易上手、可视化表达准确、能轻松产出数据分析报告的产品，为数据分析工作带来全新体验。适用角色 数据分析师 业务分析师 数据科学家 产品价值 大模型...
创建数据投递任务 2024年10月 模块 功能名称 变更类型 功能描述 相关文档 应用监控 调用链分析 优化 调用链分析新增单链路异常检测和分析能力，基于AI能力并通过Copilot的形式提供单链路异常分析及优化建议。调用链分析 优化 调用链分析...