配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
配置Doris输出组件，可以将外部数据库中读取的数据写入到Doris，或从大数据平台对接的存储系统中将数据复制推送至Doris，进行数据整合和再加工。本文为您介绍如何配置Doris输出组件。前提条件 已创建Doris数据源。具体操作，请参见 创建...
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
配置Doris输出组件，可以将外部数据库中读取的数据写入到Doris，或从大数据平台对接的存储系统中将数据复制推送至Doris，进行数据整合和再加工。本文为您介绍如何配置Doris输出组件。前提条件 已创建Doris数据源。具体操作，请参见 新建...
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
大型促销类业务 大型促销秒杀系统，系统整体访问压力非常大。一般的数据库根本无法承载这样的读取压力，可选用云数据库 Memcache 版存储。带有计数器的库存系统 云数据库 RDS 与云数据库 Memcache 版搭配使用。RDS 存储具体数据信息，数据...
系统大盘简介 系统大盘中分别展示以下内容：Dataphin版本：当前Dataphin实例的版本号。状态：当前Dataphin实例的整体状态。Dataphin任务实例统计：以饼图的展示当前Dataphin实例，在业务日期为T-1时，所有周期任务实例（包含当天的小时任务...
MaxCompute通过全国首批大数据平台稳定性认证，被证明为韧性型系统。深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的...
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
Lindorm宽表引擎在集群管理系统中提供了SQL查询入口，您可以使用SQL语法来查询Lindorm宽表数据。本节介绍通过集群管理系统查询宽表数据。前提条件 已登录目标实例的集群管理系统，具体操作请参见 登录集群管理系统。使用限制 为确保数据...
在开发调试或者生产运维过程中，往往需要去HBase中查询某条数据。除了使用HBase shell来写Get、Scan请求，Lindorm insight提供了一个简单的SQL查询入口，您可以使用SQL语法来查询HBase增强版宽表数据。前提条件 已登录目标集群的集群管理...
元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储 Hive、Hologres、应用系统等，可一览不同数据源类型或应用系统已创建的采集任务数、采集对象类型等信息。前提条件 需先在 管理中心 数据源管理 应用系统 创建应用系统...
本文为您介绍数据湖构建中Format数据表的基本操作。表类型介绍 数据管理：数据由DLF完全管理，包括元数据和实际数据文件。存储系统：数据存储路径由DLF基于UUID自动生成，用户无需手动指定存储路径。删除行为：删除表时，默认保留数据1天以...
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。背景信息 一般情况下，建议ECS和数据库审计系统处于同一VPC中，具体操作请参见 安装Agent...
适用场景 适用于有高可用要求的大中型企业的核心生产数据库场景，如金融、互联网新零售行业、汽车制造行业、教育行业、企业大型ERP系统等。说明 计算节点与存储空间计费规则，请参见 产品计费。开启/切换高可用模式 您可在购买集群时，在 ...
适用场景 适用于有高可用要求的大中型企业的核心生产数据库场景，如金融、互联网新零售行业、汽车制造行业、教育行业、企业大型ERP系统等。说明 计算节点与存储空间计费规则，请参见 产品计费。开启/切换高可用模式 您可在购买集群时，在 ...
购买数据库审计D100实例后，您需要登录数据库审计系统，才能为您的数据库开启审计。本文介绍如何登录数据库审计系统。前提条件 已购买并启用D100系列数据库审计实例。具体操作，请参见 购买数据库审计实例。操作步骤 登录 云盾数据库审计...
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
新零售智能助理（RetailBot）是阿里巴巴自研，专注于新零售领域的智能客服产品，提供“智能客服机器人+人工客服工作台”整套SaaS方案、“智能客服机器人“PaaS方案、以及支持开发者订阅应用程序的aPaaS平台，通过流畅的人机交互、高效的人...
本文介绍了在启用C100数据库审计实例后，登录数据库审计系统的具体操作。前提条件 已购买并启用C100系列数据库审计实例。具体操作，请参见 购买数据库审计实例、启用数据库审计实例。操作步骤 登录 云盾数据库审计控制台。在顶部菜单栏，...
Top SQL语句 Top SQL语句查询，是根据平均响应时间、总响应时间、执行次数几个条件对数据库执行的语句信息进行查询排序，排列顺序由大到小。登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 查询分析 性能...
在数据库审计系统查看会话日志 登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 查询分析 会话日志。选择资产名称、时间范围等检索条件后，单击 查询。单击 会话标识，可查看会话详情。在日志服务控制台查看...
本文介绍了在数据库审计系统中使用报表中心查看、导出报表的具体操作。报表说明 数据库审计系统内置以下报表模板，分别从不同角度展示数据库审计的分析结果。综合报表：从SQL语句执行情况、会话连接、风险事件、SQL性能等角度，分析展示...
关联数据将一些具有相同或类似属性的资源划分到一个组内，方便您对这些资源进行批量设置。数据库审计支持管理IP组、数据库账号组、应用用户组、时间组和对象组以及人员。定义了关联数据后，在自定义规则时您可以直接选择对应的数据组。本文...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
Apache Flume是一个分布式、可靠和高可用的系统，可以从大量不同的数据源有效地收集、聚合和移动日志数据，从而集中式的存储数据。使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将...
通过配置数据脱敏规则，您可以脱敏审计日志中的银行卡号、手机号码、身份证号等敏感信息，防止在SQL语句或返回结果中泄漏敏感数据。本文介绍如何配置数据脱敏规则。背景信息 数据库审计系统提供10条内置的数据脱敏规则，并默认启用所有内置...
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
回收垃圾数据释放的空间并不会返还给操作系统，但是新插入或更新的数据可以使用该空间。在上图中，tuple1 和 tuple2 代表有效数据行，unused 代表无效数据行，通过垃圾回收后，无效数据行占用的空间得到释放，可以被重新利用。PolarDB ...
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍Ping+如何通过 PolarDB-X 应对业务挑战。所属行业...
数据库审计系统提供规则配置功能，您可以根据客户端、服务端、SQL语句等特征自定义检测规则，数据库审计系统将针对不同类型规则执行是否审计或上报告警。规则说明 规则名称 应用场景 说明 过滤规则 无需审计部分SQL报文，希望节省存储空间...
随着业务发展，数据库系统中会积累大量访问频率很低甚至为0的数据，这些数据的积累容易导致如下问题：历史数据和最新数据存储在同一数据库系统中，导致磁盘空间不足。大量数据共享数据库系统的内存、缓存空间、磁盘IOPS等，导致性能问题。...
使用须知 开启敏感数据掩码规则后，由于数据库审计系统要对数据进行脱敏规则匹配和数据脱敏，语句的查询效率将会受到影响。最多仅支持启用20个敏感数据掩码规则。设置掩码规则 登录数据库审计系统。具体操作，请参见 登录数据库审计系统。...
在数据库审计系统查看审计日志 登录云盾数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 查询分析 审计日志。选择资产名称、时间范围等检索条件后，单击 查询 进行查询。单击 语句内容，可查看语句详情。在日志...
EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
云原生数据仓库 AnalyticDB MySQL 版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优...
而接合LindormStreams+Blink/Spark，可以构建出一套完整的实时数据系统：应用解耦-实时同步到消息队列 通常业务发生之后，应用系统产生的数据需要被其他应用使用或根据这个事件驱动其他应用的业务逻辑，应用之间一般通过消息队列进行消息...