交易订单是整个交易过程最为关键的信息，由于可能涉及到交易纠纷处理，需要随时提供用户查询，必须永久记录在数据库中。淘宝成立至今，与订单相关的数据库记录总量达到了万亿级别，所占用磁盘空间也早已超过PB级。下文将为您详细介绍淘宝是...
其次，在仓内使用实时物化视图对数据进行增量实时处理和加工，完成字段清洗转换、JOIN 加维、多维度 GROUP BY 聚合、多链路 UNION ALL 汇总等数据处理，按照实际需求生成基于实时物化视图的ETL实时处理数据结果集。最后，支持在实时物化...
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
它将传统的数据同步从简单的“搬运”升级为智能的“加工”，允许用户在数据从源到端的传输过程中，实时调用AI模型对流经的数据进行内容分析、处理与增强，在数据流转的过程中释放非结构化数据的隐藏价值。功能介绍 适用客户：适用于需要在...
在您完成离线数据集的创建或行为关系的定义后，您可为所创建的离线数据集或行为关系创建对应的离线标签，以便后续的资产应用创建。如标签服务、画像服务的创建。功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建...
在您完成离线数据集的创建或行为关系的定义后，您可为所创建的离线数据集或行为关系创建对应的离线标签，以便后续的资产应用创建。如标签服务、画像服务的创建。功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建...
资源统计项目 统计口径 描述 数据处理单元 同步&集成任务：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。计算任务：每1个离线计算任务计算1个数据处理单元。维度逻辑表：每1个维度逻辑表计算1个数据处理单元...
在您完成离线数据集的创建或行为关系的定义后，您可为所创建的离线数据集或行为关系创建对应的离线标签，以便后续的资产应用创建。如标签服务、画像服务的创建。功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建...
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
单击 逻辑节点，添加两个串行数据处理节点。连接节点。设置串行数据处理节点处理方法。数字翻牌器 return[{ value:data[0].number }]通用标题 return[{ value:data[0].text }]预览展示结果。单击画布编辑器右上角的 预览，验证设置结果。...
节点数量 AnalyticDB MySQL版 使用了分布式数据处理架构，一条查询会被分解成多个Stage在不同的节点上并行执行。所以如果集群中的节点数量越多，AnalyticDB MySQL版 处理查询的能力也会越强。您可以根据实际的业务需求来决定集群节点的购买...
选择 默认资源组，该资源组用于运行与当前数据源相关任务，包括数据库SQL、离线整库迁移、数据预览等。进行 测试连接 或直接单击 确定 进行保存，完成Amazon RDS for PostgreSQL数据源的创建。单击 测试连接，系统将测试数据源是否可以和...
选择 默认资源组，该资源组用于运行与当前数据源相关任务，包括数据库SQL、离线整库迁移、数据预览等。进行 测试连接 或直接单击 确定 进行保存，完成Amazon RDS for SQL Server数据源的创建。单击 测试连接，系统将测试数据源是否可以和...
数据处理与分析 批处理：利用EMR集群中的Spark和Hive，对原始日志及业务数据进行清洗、关联和聚合操作，以生成关键业务指标，例如日活跃用户数、30日用户留存率以及特定SKU订单增长量等。交互式查询：借助Trino或Presto，基于标准SQL语法，...
本文介绍Echarts K线图的图表样式和配置面板的功能。图表样式 配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索资产配置。...
本文介绍Echarts K线图的图表样式和配置面板的功能。图表样式 样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索配置项。...
当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 在Dataphin首页，单击顶部菜单栏 研发-数据开发。按照以下操作指引，进入 调度配置 信息页面。选择 项目（Dev-Prod 模式需要选择环境）-单击逻辑表-选择需要...
当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 在Dataphin首页，单击顶部菜单栏 研发-数据开发。按照以下操作指引，进入 调度配置 信息页面。选择 项目（Dev-Prod 模式需要选择环境）-单击逻辑表-选择需要...
选择 默认资源组，该资源组用于运行与当前数据源相关任务，包括数据库SQL、离线整库迁移、数据预览等。进行 测试连接 或直接单击 确定 进行保存，完成TDSQL for MySQL数据源的创建。单击 测试连接，系统将测试数据源是否可以和Dataphin进行...
数据处理单元总量=数据同步任务数+计算任务（离线）数+数据集成任务数 个人版定价 数据处理单元规格 调度资源 定价（CNY/月）100 8C32G 0.01 数据处理单元统计规则如下，仅统计已发布到生产环境（Basic项目下的任务提交即发布）、周期调度...
选择 默认资源组，该资源组用于运行与当前数据源相关任务，包括数据库SQL、离线整库迁移、数据预览等。进行 测试连接 或直接单击 确定 进行保存，完成Amazon RDS for MySQL数据源的创建。单击 测试连接，系统将测试数据源是否可以和...
支持Python编程接口、兼容Pandas、XGBoost等接口，且自动实现分布式处理，Python开发者能够以熟悉、高效的方式利用MaxCompute海量计算资源及数据完成数据处理、可视化探索、科学计算及ML/AI开发工作，同时与MaxCompute Notebook、镜像管理...
2021年08月 功能名称 功能描述 发布时间 发布地域 相关文档 产品计费：策略优化及数据处理单元规格拓展 同步任务和集成任务对应的数据处理单元由1:1修改为3:1，且前200个集成任务免费，进一步降低数据上云成本。同时，手动任务、汇总逻辑表...
数据处理：主要包含数据处理的计算任务相关功能。包括表管理、计算任务、计算任务模板、资源、函数。表管理：包括 离线物理表 管理和 实时计算表 管理。离线物理表：可帮助您统一配置与管理计算任务开发过程中用到的离线物理表。更多信息，...
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
数据处理：主要包含数据处理的计算任务相关功能。包括表管理、计算任务、计算任务模板、资源、函数。表管理：包括 离线物理表 管理和 实时计算表 管理。离线物理表：可帮助您统一配置与管理计算任务开发过程中用到的离线物理表。更多信息，...
通过调整动态物化视图（Delta Live MV）的自动刷新频率，可以在流式处理和批处理等不同场景下实现数据新鲜度与计算成本之间的最佳平衡。已经使用MaxCompute搭建了企业离线数仓的用户，可以通过较小的改动轻松实现对现有批量离线业务的近...
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
支持在离线数据同步、实时数据同步任务中引用已添加的数据模板，根据数据模板定义的数据结构执行数据同步任务。离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步...
900 RI Notebook Notebook Notebook提供了一个交互式且灵活的数据处理与分析平台，它通过增强直观性、模块化及交互体验，使数据处理、探索、可视化和模型构建变得更加高效便捷。1323 NOTEBOOK MaxCompute MaxCompute SQL 支持周期性调度...
离线同步任务 场景介绍 离线数据同步支持 源端单表同步至目标端单表、源端分库分表同步至目标端单表 两类同步场景。同时，结合DataWorks调度参数，可实现增量数据和全量数据周期性写入目标表的对应分区；再配合运维中心的补数据功能，可...
场景实践：批量处理多业务线分区表数据 本示例展示如何使用 赋值节点 和 for-each 节点 批量处理多个业务线的用户行为数据，实现一套处理逻辑服务多条产品线的自动化数据处理。业务背景 假设您是一家综合性互联网公司的数据开发工程师，...
说明 离线同步任务支持数据集成资源组、数据来源与去向类型、数据来源与去向数据源进行过滤。对 节点、资源 或者 函数 的过滤条件不完全一致，以实际界面为准。在过滤后的列表中，您可以勾选待批量处理的 节点、资源 或者 函数。选择完成后...
数据集成：支持常见数据源的实时、离线数据集成，数据集成过程中支持灵活自定义数据的处理逻辑，帮助解决企业数据孤岛的痛点。简单易用：提供覆盖数据全生命周期的数据流转及处理能力。通过提供图形化、向导式的开发模式，智能预警及自主...
数据处理 重要 数据处理为新版数据开发功能，旧版数据开发用户需将工作空间升级为新版后，才可以使用。升级方式见：Data Studio 升级指南。数据处理支持将来源表中的数据通过字符串替换、AI辅助处理、数据向量化等方式，将处理后的数据写入...
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
使用列存索引加速时序数据分析 在金融、物流与物联网等业务场景中，系统会产生海量的时序数据，例如交易流水、轨迹数据和监控日志。对这些TB级别的数据进行实时分析，往往面临性能挑战。借助于列存索引（IMCI）功能，您无需进行复杂的数据...
DataWorks离线同步任务内置的数据处理功能，可在数据同步链路中直接对数据进行清洗、AI辅助处理和向量化转换，以简化ETL架构。使用限制 仅启用了新版数据开发的工作空间可用。仅支持使用Serverless资源组。当前仅部分单表离线的通道开通了...
详情 单击规则后 操作 列的 详情，您可以看到该质量规则的具体运行记录，您可以查看 本次运行记录、历史运行记录、问题数据处理 和 原始日志：单击相应规则的 历史运行记录，查看每次调度后的运行记录。您可以针对当前规则的运行情况填写...
数据源配置是创建组件和展示业务数据的关键步骤，具有数据接入、数据处理和数据实时更新的功能。本文介绍如何进行配置组件数据。功能说明 DataV-Board 支持接入 各种业务数据，包括静态数据、数据库、应用网关等。通过数据源配置，将业务...