更完善的算子支持 MaxFrame完全兼容Pandas接口且自动进行分布式处理，在保证强大数据处理能力的同时，大幅提高数据处理规模及计算效率。使用场景 MaxCompute MaxFrame使用场景如下：熟悉Python开发生态，需要开箱即用的Python开发环境，并...
大数据仓库充分利用了阿里云大数据产品强大的数据处理能力和数据计算能力。架构优势：合理解决了金融行业内外部数据整合问题 优化了结数据架构分层 提供了高效的数数据加工与服务方式 技术架构 架构说明：阿里云大数据数据仓库解决方案经历...
国内短信 国内短信（Short Message Service）是广大企业客户快速触达手机用户所优选使用的通信能力，通过API/SDK、控制台调用短信发送能力，将指定信息发送至国内手机号码。功能集 功能 功能描述 参考文档 文本短信 模板申请 国内短信需要...
计费项 数据字典 支持控制台配置数据字典，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表，通过数据字典来替代维度表，直接查询字典获得维度数据，增加查询效率。数据字典 资源队列 解决开源版中单个大查询消耗资源过多...
EMR Studio提供了统一的用户管理和认证能力，您可以控制用户访问数据开发控制台。EMR Studio已与阿里云云监控服务集成，您可以在云监控中灵活配置任务调度监控，保障开发环境稳定。节省成本 您可以根据任务负载灵活变更EMR Studio的硬件...
本文为您介绍DataWorks的产品定位、产品受众和产品的核心能力。产品定位 DataWorks致力于为数据开发者、数据分析师、数据资产管理者，打造一个具备...让数据从采集到展现、从分析到驱动应用得以一站式解决，真正实现数据业务化、业务数据化。
工作流支持所有数据处理能力，按业务场景任意编排。体验改善 全功能控制台 提供全功能控制台，通过控制台使用智能媒体管理（IMM）的所有功能。多语言SDK 提供8种主流语言SDK，通过SDK使用智能媒体管理（IMM）的所有功能。多种计费方式 除...
同时，云原生内存数据库Tair 还基于三大数据支柱进行信息聚合，提供数据分析能力，下表为 云原生内存数据库Tair、云数据库Redis与原生Redis的可观测性能力对比。为便于浏览和内容表达，表格约定使用下述注释：✔️表示支持。❌表示不支持。...
背景信息 可观测性是以系统的指标、日志、链路追踪三大数据支柱为基础，衍生出如数据监控、问题分析、系统诊断等一系列的能力。指标（Metrics）：记录一段时间内各个维度的量化信息，用来观察系统的某些状态和趋势。日志（Logs）：记录程序...
例如，Ganos 时空引擎提供室内外、地上下、动静态全空间数据处理能力；TDE 支持表级别加密；全密态 数据库支持数据在存储、计算、传输的全程加密；Babelfish 插件提供解析和执行SQL Server T-SQL语句的能力。rds_ccl 插件通过SQL限流避免过...
通过云监控控制台为监控指标配置报警规则后，如果资源的监控指标达到报警条件，则云监控会自动发送报警通知提醒您关注异常监控数据，便于您及时采取措施处理异常。更多信息，请参见 配置监控指标报警。云资源操作审计 表格存储已接入阿里云...
功能简介 开放API（OpenAPI）DataWorks开放平台的OpenAPI功能为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。您还可以在OpenAPI区域查看...
解决方案 启迪公交采用 PolarDB-X 分布式数据库方案构建了全部业务系统，既支持海量大数据的处理能力，又支持高并发、高可用和很强的弹性伸缩能力。票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时...
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
通过让多个前端连接共享一个后端连接的方式，减少后端建连次数与保持的连接数，从而提升这些场景下数据库的处理能力。原理介绍 事务级连接池主要用于减少直接连接到数据库的业务连接数，以及减少短连接场景下频繁建连带来的负载。开启事务...
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
通过让多个前端连接共享一个后端连接的方式，减少后端建连次数与保持的连接数，从而提升这些场景下数据库的处理能力。原理介绍 事务级连接池主要用于减少直接连接到数据库的业务连接数，以及减少短连接场景下频繁建连带来的负载。开启事务...
在数加（一站式大数据平台）中，DataWorks控制台即为MaxCompute控制台。MaxCompute和DataWorks一起向用户提供完善的数据处理和数仓管理能力，以及SQL、MR、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效...
常见问题和故障处理 使用DBS时遇到的各类问题，例如需要修改备份源数据库、数据库恢复失败、如何备份RDS只读实例等，您可以在 常见问题 或 常见报错 内查找，可以解决您的绝大部分问题。说明 若在文档中未找到您遇到的异常或报错，或按照...
您可以通过EBS控制台的数据洞察（CloudLens for EBS）查看云盘的监控数据，进而实时掌控业务波动与资源消耗情况。本文主要介绍如何查看云盘性能数据、风险事件以及ESSD AutoPL云盘的Burst详情。开通CloudLens for EBS 首次登录CloudLens ...
离线一体化计结息 可根据客户规模不同灵活切换至离线计算模式，针对账户数量较多的，利用离线计算平台的大数据处理能力，高效的完成计结息动作。层次化关系型账户体系 层次化、关系型账户系统可以灵活组合，支持互联网消费、电商、平台融资...
概念介绍—数据处理（Transform）数据处理是Connector生态集成的重要功能组件，可以在配置消息流入或消息流出任务的同时选择性配置数据处理能力。依托 事件总线EventBridge 强大的自研数据处理及灵活的函数计算自定义能力，提供7种匹配模式...
当数据量和计算量动态增长，计算资源（CPU、磁盘、内存以及数据处理节点数量）成为数据处理速度的瓶颈时，您可以对实例动态扩展，在线变更实例规格和计算节点。目前 AnalyticDB PostgreSQL版 不同的 实例资源类型 对计算节点变配的支持程度...
物联网平台控制台提供云端运行日志，包含物联网平台、设备、您的应用程序三者之间的交互通信记录。通过日志记录的消息内容、业务类型、操作类型和状态码等信息，可以了解设备状态、通信情况，并定位操作失败的原因，帮助您监控和管理设备，...
您可以通过 AnalyticDB MySQL版 控制台或者RDS控制台实例详情页创建和查看MySQL分析实例。MySQL分析实例创建成功后，会默认将RDS MySQL实例中的全部数据同步到MySQL分析实例中。前提条件 RDS MySQL实例版本需满足以下条件才可以创建MySQL...
本文介绍云原生数据湖分析DLA的产品功能动态。2021年6月 类别 功能点 描述 相关文档 集群管理 监控报警 Spark集群支持监控报警。...接入MNS和ONS消息系统 接入MNS和ONS消息系统，能够极大提升数据湖数据处理扭转和业务集成的便利性。
PolarDB MySQL版 的标准版是 PolarDB 全新推出的数据库集群类型，采用阿里云全新一代高性能低成本的计算和存储基础设施，用户使用较低的成本即可享受到 PolarDB 的核心能力。PolarDB MySQL版 的标准版采用计算与存储分离的架构，数据库代理...
通过控制台使用宽表模型（WideColumn）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建数据表、读写表中数据以及使用SQL查询数据的操作。前提条件 已获取用于操作表格存储的阿里云账号或者RAM用户的登录信息。如果未注册...
查看产品系列 您可以通过 云原生多模数据库Lindorm控制台 的 实例列表 页面查看实例所属的系列，如下图所示：控制台的服务类型与实例所属的系列对应关系如下表：控制台的服务类型 系列 Lindorm Lindorm Lindorm_V2 Lindorm轻量版 AI 服务...
这些情况有可能影响到线上业务平稳运行、数据丢失、Kafka集群容错能力下降，单块盘故障甚至有可能因为IO处理能力下降导致集群出现雪崩效应、引起重大生产事故。因此需要对磁盘故障进行有效监控以便及时发现故障。当磁盘发生故障时，应及时...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
权限类型如下：通过 全局级模块权限控制，管理DataWorks功能模块（例如，不允许用户访问数据地图）与DataWorks控制台的权限（例如，允许用户删除工作空间）。通过 空间级模块权限管控，管理DataWorks空间级模块（例如，允许用户进入数据...
原理介绍 OceanBase 数据库在数据库和应用程序之间提供网络代理服务，您可以根据业务需求在代理层添加只读地址和读写分离地址，充分利用 OceanBase 数据库的多副本能力，提升业务系统的执行效率。OceanBase 数据库的读写分离是指将数据库的...
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
通过数据传输服务DTS（Data Transmission Service），您可以将RDS MySQL迁移至有公网IP的自建Kafka集群，扩展消息处理能力。前提条件 已完成Kafka集群的搭建，且Kafka的版本为0.10.1.0-2.7.0版本。Kafka集群的服务端口已开放至公网。背景...
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
字符串函数 处理字符串类型数据，实现截取字符串、替换字符串、拼接字符串、查找字符串、大小写转换等业务处理能力。数学函数 处理整数、小数等数值类型数据，实现数学的运算、四舍五入等业务处理能力。身份证加工函数 处理身份证号数据，...
案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色，请参见 空间级模块权限管控。导入ETL工作流模板 您可以将DataWorks ETL工作流模板...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建离线同步节点。单击新建 图标，选择 新建节点>数据集成>离线同步，新建一个离线同步节点 write_...