使用 DISTRIBUTED MAPJOIN 语法解决数据倾斜，如下所示。SELECT/*+distmapjoin(t1)*/request_datetime,host,URI,eagleeye_traceid FROM viewtable t0 LEFT JOIN(SELECT traceid,eleme_uid,isLogin_is FROM servicetable WHERE ds='${today}...
解决方案 需要由Project Owner或具备Admin角色的用户为该用户授予访问高敏感等级数据的权限。授权命令如下：GRANT Label number ON TABLE table_name[(column_list)]TO {USER|ROLE} name[WITH exp days];Label授权详情请参见 Label权限控制...
本文为您介绍错误码ODPS-0110061：Failed to run ddltask的报错场景，并提供对应的解决方案。错误1：Schema evolution DDLs is not enabled in current project:xxxx 错误信息 FAILED:Catalog Service Failed,ErrorCode:152,Error Message:...
解决方案 一般作业的动态分区数达到几千已经很大，超过10000可能存在业务逻辑或SQL语法问题。如无问题，建议修改分区字段，或将业务逻辑拆分为多个作业，避免该错误。错误3：invalid dynamic partition value 错误信息示例 ODPS-0123031:...
DI_SOLUTION：表示数据集成同步解决方案。DI_REALTIME FileId long 是 当 TaskType 为 DI_REALTIME 时，则 FileId 为实时同步任务的文件 ID。当 TaskType 为 DI_SOLUTION 时，则 FileId 为同步解决方案的任务 ID。您可以调用 ListFiles ...
物化视图刷新任务占用过多资源 如果您发现刷新任务正在使用过多的系统资源，您可以从以下几个方面着手解决：检查创建的物化视图是否过大。如果您Join了多张表，导致了大量的计算，刷新任务将占用大量资源。要解决这个问题，您需要评估物化...
解决方案 如果用的PyODPS在MaxCompute UDF代码中增加日志，用于检查代码中是否有死循环问题，或者可以在日志里打印时间信息来检查MaxCompute UDF处理单条数据的时长是否符合预期。代码中需要增加如下打印日志相关信息，作业运行成功后，您...
获取数据集成实时同步任务和同步解决方案的详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限...
本文为您介绍错误码ODPS-0121096:MetaStore transaction conflict的报错场景，并提供对应的解决方案。错误1：Reached maximum retry times because of OTSStorageTxnLockKeyFail(Inner exception:Transaction timeout because cannot ...
EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
本文介绍当NameNode启动后，NameNode无法退出safemode状态的原因及解决方案。具体报错 NameNode日志或者HDFS WebUI上出现以下报错信息，将无法退出safemode，导致HDFS服务整体基本不可用。Safemode is ON.The reported blocks xxx needs ...
解决措施：您可以在 MaxCompute客户端，通过如下方式之一，开启2.0数据类型开关：Session级别：您需要在SQL语句前加上 set odps.sql.type.system.odps2=true;语句，与SQL语句一起提交执行。Project级别：项目所有者（Project Owner）可以...
此时，可以通过ECS实例层面的操作，将分区副本数据挪到当前Broker的其他磁盘并修改相应Kafka数据目录元数据的方式来解决故障盘空间不足的问题。适用场景 故障磁盘所在Broker使用容量不均衡、存在空间使用率较低的磁盘。注意事项 该方法只能...
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
本文介绍集群运行时，由于配置的集群存储根路径（对应Hadoop-Common服务中 fs.DefaultFS 配置项）缺乏访问权限，导致集群的部分服务启动失败的原因和解决方案。问题详情 在E-MapReduce控制台，集群的Hadoop-Common服务 状态 页面的 健康...
解决方案 检查输入数据，必要时先对输入数据进行清洗处理。假如想忽略错误，可以将当前处理模式修改为非严格模式。Query示例-准备数据 CREATE TABLE mc_test(a string);INSERT overwrite TABLE mc_test VALUES('100'),('-');设置当前处理...
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
解决方案 您需要手动删除包含非周期性生成数据的表相关的依赖配置。本示例中，即您需要手动将 父节点输出名称 为 xc_ods_user_info_d_133 的调度依赖配置删除。手动删除调度依赖的具体操作可参见 配置同周期调度依赖。可能原因2：有节点...
实时数据通道 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。收益 系统解耦...
当Spark作业需读取OSS归档存储中的数据时，因文件处于冻结状态无法直接访问，导致任务失败。本功能支持自动或手动触发解冻流程，确保作业正常执行，提升冷数据处理效率。使用限制 仅Serverless Spark以下引擎版本支持本文操作：esr-4.x：...
本文介绍写入文件提示DataXceiver Premature EOF from inputStream异常的解决方案。具体报错 DataXceiver error processing WRITE_BLOCK operation src:/10.*.*.*:35692 dst:/10.*.*.*:50010 java.io.IOException:Premature EOF from ...
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
一般情况Spark或Hive作业不会写入超过80 G的文件，可能是作业出现数据倾斜导致文件超大，建议您进行作业调参或优化规避数据倾斜问题。JindoSDK 4.5.2(EMR-3.43.1或EMR-5.9.1)及以上版本支持配置 fs.oss.blocklet.size.mb 进行调整，默认为8...
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
MaxFrame是阿里云MaxCompute为了满足用户在Python生态中日益增长的高效大数据处理和AI开发需求，提供的基于Python编程接口的分布式计算框架。您可直接利用MaxCompute的海量计算资源及数据通过MaxFrame进行TB/PB级数据处理、可视化数据探索...
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
阿里云开放的大数据平台 E‑MapReduce(EMR)提供了多种产品形态，以满足不同用户的业务需求。根据部署方式可分为 EMR Serverless Spark、EMR Serverless StarRocks、EMR on ECS 和 EMR on ACK。为帮助用户选择合适的产品，以下整理了各产品...
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
开源全托管服务EMR Serverless StarRocks 开源大数据平台 E-MapReduce 开源全托管服务EMR Serverless Spark 数据中台 一站式大数据开发治理DataWorks 在本案例中，DataWorks作为数据中台，用于对原始数据进行同步、加工、质量监控、数据...
购买 数据安全中心DSC（Data Security Center）实例后，在使用 DSC 检测大数据产品（包括TableStore、MaxCompute、AnalyticDB-MYSQL、AnalyticDB-PG）中存在的敏感数据或审计数据库等功能前，您需要先开启对应功能。前提条件 已开通数据...
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。整体架构图 完整的技术架构图如下图所示。其中，MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks的数据集成负责完成数据的采集和基本...
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
DM（达梦）数据源 Milvus数据源 TiDB数据源 DRDS（PolarDB-X 1.0）数据源 MongoDB数据源 TSDB数据源 Elasticsearch数据源 MySQL数据源 Vertica数据源 FTP数据源 OpenSearch数据源 TOS数据源 GBase8a数据源 Oracle数据源 HBase数据源 Graph ...
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统，可统一管理企业内...
基于飞天分布式系统和全SSD盘高性能存储，支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，默认部署主备架构且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。云数据库RDS提供了多样化的安全加固...
基于飞天分布式系统和全SSD盘高性能存储，默认部署主备架构且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。云数据库RDS提供了多样化的安全加固功能来保障用户数据的安全，其中包括但不限于：网络：...
2018年 MaxCompute的多个客户案例荣获“2017大数据优秀产品和应用解决方案案例”奖。基于公共云的BigBench在100 TB规模上，MaxCompute的性能指标较2017年10月提升了一倍，达到18176.71 QPM（Queries Per Minute）。此外，在超小型10 TB规模...