弹性伸缩是云上大数据平台的核心能力。通过按需自动扩缩容节点，能够快速满足业务的波动，并降低算力成本。本文为您介绍如何根据您的业务特点为集群配置合适的弹性伸缩规则，以满足您业务量需求不断波动的情况，并更好的为您节省成本。前提...
若您的业务需集成特定组合的组件，您可创建自定义集群，灵活组合EMR提供的组件，打造适配业务特性的大数据平台。本文将为您介绍这些集群的区别，帮助您快速选型。业务场景选型 业务场景（集群类型）支持的组件 核心能力 适用场景 数据湖...
在SQL语句中使用自定义函数时，如果计算的数据量过大并且存在倾斜，会导致作业占用的 内存超出默认分配的内存。此时，您可以在Session级别设置 set odps.sql.udf.joiner.jvm.memory=xxxx;属性来解决此问题。更多自定义函数常见问题，请参见...
成本：实现多套系统合并，将原有的上百个业务数据库按照集群规划整合，实现集中管控，数据存储量下降为原有存储量的1/3，每年硬件和运维管理成本节省数千万元；业务系统改造量最小化，最大程度的保护了应用上的既有投资，降低了系统改造的...
处理方法 打开 租户管理 页面，查看租户的 已使用磁盘，如果所有租户累计使用磁盘空间很大，表示业务数据量确实很大，需要对集群做扩容处理。登录业务租户，查询是否开启了回收站：show variables like 'recyclebin'，ON 表示开启，OFF ...
数据同步：通过DataWorks的数据集成模块，创建离线同步任务，将业务数据同步至大数据计算平台（如MaxCompute）。数据清洗：在DataWorks的数据开发模块中，对业务数据进行处理、分析和挖掘。数据展示：在DataWorks的数据分析模块中，将分析...
当业务累积了大量数据时，需要对在线数据与历史数据进行分隔管理，或定期清除表中数据。DMS的无锁数据变更功能将结合表中的主键或非空唯一键，分批对表中的目标数据进行操作，在保证执行效率的同时，尽可能地减小了对数据库性能、空间的...
通过对主库的数据实时复制，从库拥有近乎完整的数据副本，能够独立承担起报表生成、大数据分析、业务趋势预测等分析型工作负载。这种设计不仅充分利用了数据库的读取扩展性，还通过智能调度算法，根据查询类型和资源占用情况自动分发任务，...
test UseType string 业务流程所属的功能模块，包括 NORMAL（数据开发）和 MANUAL_BIZ（手动业务流程）。NORMAL 示例 正常返回示例 JSON 格式 {"HttpStatusCode":200,"ErrorMessage":"The connection does not exist.","RequestId":"0000-...
通过配置常用问题模板、术语及业务逻辑，可有效扩充大模型的基础知识。这能显著提升模型对业务需求的理解与转换能力，从而生成更精确的数据查询代码。功能入口 重要 知识库仅支持ChatBI的 管理员 查看和编辑。进入ChatBI功能入口。您需要先...
PolarStore EMP助力大文本读取搜索业务 降低I/O延迟 在处理大文本数据的业务场景中，由于InnoDB的页结构设计和Buffer Pool的内存分配机制，大文本数据的频繁读写操作往往面临性能挑战。具体来说，大文本数据通常跨越多个16KB的数据页，每个...
在前程无忧的老架构中，大量核心数据存储于线下IDC的Oracle集群中，承载网才和51job等核心业务的大规模流量请求。业务挑战 客户基于成本和技术升级角度，需要替换核心的Oracle数据库，但由于多年来在业务上的高速发展和不同团队的融合，...
DataWorks的资源组编排功能，帮助您在数据开发阶段，批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时，可以根据实际业务需求，使用该功能快速为目标节点重新分配资源组，促进资源的合理使用。本文为...
您可以通过数据迁移功能，将阿里云上的 HBase 增强版以及 Lindorm 数据库快速迁移至 OBKV，以及从 OBKV 数据反向回流至源库，帮助业务实现快速、便捷地迁移数据至 OceanBase KV 场景，并保障业务切流后数据的反向容灾，保障割接的平稳。...
如果您的业务波动较大，业务波峰较频繁，可以开启高性能云盘的IO性能突发功能，使云盘的IOPS不受限于最大IOPS，在业务波峰时获得更高的IO能力，满足突发业务需求。更多信息，请参见 IO性能突发。当您需要降低存储成本时，通过高性能云盘的...
用于确定派生指标需反映的业务数据类别。应用层的派生指标：需要创建数据集市或主题域。用于确定派生指标需反映的特定场景或产品的数据类别。功能说明 派生指标是企业某一业务活动中业务状况的数值统计指示器，通常由 原子指标+时间周期+...
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...
调用ListDataServiceGroups查询数据服务业务流程列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 ...
如果您的业务流程不需要周期性运行，但又需要将任务发布至生产环境运行，则可以创建手动业务流程，本文为您介绍如何创建手动业务流程，并将其发布到生产环境。使用说明 手动业务流程仅支持手动触发执行，不支持自动调度。手动业务流程各...
修饰词用于限定统计数据的业务范围。创建修饰词后，可对数据进行多维度修饰，以分析特定业务场景（例如“上海区域”、“生鲜门店”）。修饰词与原子指标、时间周期组合后，可构成派生指标。概念说明 修饰词是一种业务修饰，用来圈定或者...
虚拟节点属于控制类节点，它是不产生任何数据的空跑节点（即调度到该节点时，系统直接返回成功，不会真正执行、不会占用资源或阻塞下游节点运行），通常作为业务流程的统筹起始节点，或业务流程中多个分支节点的汇总输出节点使用。...
更新数据地图数据表的业务元数据，当前仅支持更新表的使用说明。接口说明 需要购买 DataWorks 基础版及以上版本才能使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动...
数据目录名、数据库名、表名、视图名、用户名和角色名大小写敏感，而列名和分区名大小写不敏感。主键表限制 在建表语句中，主键列必须在其他列之前定义。主键必须包含分区列和分桶列。主键列支持的数据类型为数值（整型、布尔）、日期和...
数据开发模式全面升级，包括工作空间 解决方案 业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力带来极大...
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
在Broker节点迁移、坏盘修复重新上线等场景时，由于之前的副本数据完全丢失、副本数据恢复会产生大量的同步流量，有必要对恢复过程进行限流避免恢复流量过大影响正常流量。示例如下所示：创建测试Topic。以SSH方式登录到Kafka集群的Master...
数据库要服务大量的老旧应用，存在众多历史业务的数据库或业务表，并且库表数量很大。存在大量业务老旧复杂SQL，且不能修改。混合存量业务与新业务的应用 某经营多年的商家订单管理系统，且系统要开发新功能。存量业务库表众多。库数目≥2...
问题原因 查询超时的原因如下：使用SQL查询的业务数据表数量太大。API接口内部业务调用链路较长。解决方案 执行以下操作，通过优化查询时间的方式进行解决：使用SQL查询的业务数据表数量太大 针对查询条件所使用的字段添加索引，减少扫描行...
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
在阿里云EMR中，地域与存储直接影响集群的性能和成本。合理选择地域可降低网络延迟、满足数据...存算分离（OSS-HDFS/OSS）通过对象存储实现业务数据持久化存储，数据盘仅用于临时计算缓存、本地化日志及任务的Shuffle数据，不保留业务数据。
使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询结果表的数据，不需要在每次组件获取数据时，再次执行SQL...
解决方案 通过 PolarDB-X+RDS的分布式数据库解决方案支撑O2O全渠道业务中台系统上线，通过垂直拆分剥离各业务中心，使不同类型的业务数据可以存储在不同的RDS上，确保资源和访问隔离，从物理上使整个数据库架构具备了扩展性。通过这套架构...
大数据场景：海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势 低成本：高压缩比，数据冷热分离...
洞察是一款自助式数据挖掘分析型，面向业务管理者、运营、业务分析师等人员提供低使用门槛的智能、自动化、全面、精准的数据诊断和分析能力，智能发现数据规律或异常，实现从数据到知识的提取，辅助业务决策。几乎每个业务每天都存在业务...
列字段配置 新建列字段 字段名称：配置为业务数据中实际的字段名称，且后续需要基于该字段创建服务单元。支持多层嵌套，使用点（.）分隔。字段类型：根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...
列字段配置 新建列字段 字段名称：配置为业务数据中实际的字段名称，且后续需要基于该字段创建服务单元。支持多层嵌套，使用点（.）分隔。字段类型：根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...
托管弹性伸缩功能是通过配置Task节点的最大值和最小值，使E-MapReduce（简称EMR）能够自动根据您的业务负载动态调整Task节点数量，并根据历史作业执行情况来优化资源分配。这样既保证了任务的顺利完成，又有效控制了成本。本文为您介绍如何...
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...