通过创建Kafka数据源能够实现Dataphin读取Kafka的业务数据或向Kafka写入数据。本文为您介绍如何创建Kafka数据源。前提条件 目前阿里云Dataphin仅支持公网接入Kafka。若您的Kafka集群为本地部署方式，请确保您的Kafka集群具备公网访问能力，...
不同企业对下载行为风控规则的定义存在差异，本文将以“实时阻断或审批超过1000条数据的下载行为”为例进行展示。实现原理 DataWorks的OpenEvent为您提供消息推送订阅的能力，同时，您可将服务程序注册为DataWorks的扩展程序，通过扩展程序...
集群规模大于50台物理机时可采用Apsara Stack Enterprise专有云，集群规模大于50台物理机，适合银行、证券等大型金融机构自建专有云，建议使用下图所示的架构，部署包括：虚拟化VM、数据库、存储、中间件、大数据等金融云产品。Apsara ...
对蚂蚁集团来说，要解决两个最关键的计算问题：一个是在线交易支付的问题，另一个就是金融级数据智能的问题，狭义来讲，是 OLTP（On-Line Transaction Processing）和 OLAP（On-Line Analytical Processing）的问题。而实现海量金融级交易...
适用场景 基于Apache HBase的优势和特点，DataServing适用于以下场景：风控或画像等需要支持动态列的场景。图片、视频、网页等中对象，物联网的时序数据和车联网的空间数据等需要支持海量数据和较高写入性的数据存储场景。DataServing基于...
分布式事务（Distributed Transaction-eXtended，简称 DTX）是蚂蚁集团自主研发的金融级分布式事务中间件，支持跨数据库、跨服务以及混合的方式处理分布式应用，具备多种接入模式和金融级配套功能，本文将主要介绍分布式事务的功能特性。...
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
云原生多模数据库 Lindorm 使用容量型云存储作为冷数据存储介质。本文介绍时序引擎的冷数据归档功能的使用方法。功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。这样的数据通常被称为“冷...
适用于兼容 Redis、大容量、服务抖动稳定可控，数据持久化要求高的热温数据存储场景。优势项 说明 超高性价比 相同容量下对比阿里云 Redis开源版，价格降低30%左右。性能可达到 Redis 的90%。数据结构模块集成 支持 exString（包含 Redis ...
简介 MaxCompute开放的公开数据集类别包括：GitHub公开事件数据、国家统计数据、TPC性能测试数据、数字商业类数据、生活服务类数据、金融股票类数据。所有的数据均存储在MaxCompute产品的公开项目BIGDATA_PUBLIC_DATASET的不同Schema中。...
云数据库Tair（兼容 Redis）是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，支持主从、集群和读写分离架构。云数据库Tair（兼容 Redis）从网络、存储、备份、容灾等方面，提供全面的安全加固功能来保障您的数据安全。包括...
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。数据源...
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期、湖格式自动优化、存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
随着项目的不断演进，人员的权限也会更新迭代...如果数据从MaxCompute落地为文件，意味着数据不可控。所以，必须要尽可能的减少数据落地带来的风险。通过用户角色的详细划分，限制部分业务组拥有数据导出的权限，并且也不会影响日常开发工作。
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台，本文介绍数据管理DMS 以及内置 数据灾备（DBS）的产品优势。实现全域数据资产管理 支持全域数据资产：关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB ...
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
数据安全中心通过动态检测数据资产配置的方式，以数据为落脚点检测阿里云上数据库资产是否存在配置风险，例如身份验证、访问控制、加密、备份和恢复等方面的配置是否安全，这些检查策略和检查项统称为安全基线检查。安全基线检查功能可以...
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将符合筛选条件的表数据归档至其他数据库或存储服务中。...
DLF数据权限：主要控制DLF内部资源的访问和使用权限，包括数据库、数据表、数据列、函数、数据目录等，以及数据权限的操作权限。DLF权限校验的示例图：第一层：RAM OpenAPI 权限 主要控制DLF所有OpenAPI的访问权限，决定RAM用户是否可以...
Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作。通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会...
各数据源在联合DataWorks使用时，DataWorks空间成员获取不同引擎资源权限的方式不同。本文为您介绍DataWorks上引擎数据权限管控的实现方式。前提条件 已了解DataWorks工作空间的物理属性，详情请参见 必读：简单模式和标准模式的区别。已...
租户隔离 Dataphin支持租户的概念，不同租户之间的数据、任务、成员、权限是完全隔离的，只能通过跨租户发布进行数据和任务的流通。常见的情况有以下两种：两套独立部署的，物理隔离的Dataphin。如两家完全不同的企业之间的Dataphin，或者...
租户隔离 Dataphin支持租户的概念，不同租户之间的数据、任务、成员、权限是完全隔离的，只能通过跨租户发布进行数据和任务的流通。常见的情况有以下两种：两套独立部署的，物理隔离的Dataphin。如两家完全不同的企业之间的Dataphin，或者...
选择地图数据集数量 单击地图右下角的数据集下拉列表，为当前地图选择显示一个合适的地图数据集数量值，可选 200条/数据集、400条/数据集600条/数据集、800条/数据集 和 1000条/数据集。重新加载 单击地图右下角的 重新加载，即可重新加载...
选择地图数据集数量 单击地图右下角的数据集下拉列表，为当前地图选择显示一个合适的地图数据集数量值，可选 200条/数据集、400条/数据集 600条/数据集、800条/数据集 和 1000条/数据集。重新加载 单击地图右下角的 重新加载，即可重新加载...
本文为您介绍DataWorks中，数据集成、数据建模、数据开发、数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间管理员可以我工作空间加入...
云数据库RDS、云原生数据库PolarDB、云数据库MongoDB、云数据库Redis、云原生内存数据库Tair、云原生数据仓库AnalyticDB PostgreSQL版产品的备份恢复功能均由 数据灾备（DBS）提供，各产品功能动态详情如下。功能发布更新 2024年 11月 功能...
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入...
允许您将风险识别程序部署在本地，通过自研或第三方安全厂商的风控能力对云上相关操作进行实时识别、阻断、警告、审批，打破“云”与“本地”在进行数据安全治理时的边界。详情请参见 实时风险规则。说明 仅DataWorks企业版支持配置实时...
在金融级的数据库设计场景中，可能会存在大量的数据库分库，执行 DDL 操作意味着会在多个数据节点以及大量的物理数据库中执行任务，不仅耗时较长，还可能会因为硬件故障等因素导致执行失败，从而需要进行人工干预。因此，数据访问代理提供...
方案价值 该公司作为我国最大的保险公司之一，其主要业务系统完成国产化迁移工作，标志着保险业机构向基于自主可控技术的数字化转型迈出了重要一步，充分证明了国产化数据库能够满足金融级业务需求，项目实施形成工艺和组件，也具有重要的...
客户简介 数禾科技以大数据和技术为驱动，为金融机构提供高效的智能零售金融解决方案，服务银行、信托、消费金融公司、保险、小贷公司等持牌金融机构，业务涵盖消费信贷、小微企业信贷、场景分期、财富管理等多个领域，提供营销获客、风险...
解决方案 2017 年，南京银行引入蚂蚁集团金融级分布式交易架构能力——分布式架构 SOFAStack、分布式数据库 OceanBase，以及大数据平台能力，构建新的互联网金融核心，并于同年 11 月上线互联网金融平台“鑫云+”。客户价值 新平台开创“1+...
使用 数据安全中心 DSC（Data Security Center）服务，可授权扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储）、自建数据库等数据库中的数据，为您提供敏感数据识别、基线安全检查、数据安全审计、...
蚂蚁分布式中间件的产品发展路径，一直秉承着引领和拥抱业界先进标准和实践的理念，同时亦能满足传统金融架构的平滑迁移和融合适配，以稳妥应对业务升级变更，并积极应对金融交易系统所面临的服务和数据扩展性、事务一致性、秒级容灾、弹性...
车联网行业分类分级：包括基础属性类数据、应用服务类数据、环境感知类数据、车控类数据、车辆工况类数据、默认分类。智能网联汽车行业分类分级：包括云（车联网云控制平台）、人（车辆使用人信息）、路（行车记录）、车（车辆状态）。② ...
车联网行业分类分级：包括基础属性类数据、应用服务类数据、环境感知类数据、车控类数据、车辆工况类数据、默认分类。智能网联汽车行业分类分级：包括云（车联网云控制平台）、人（车辆使用人信息）、路（行车记录）、车（车辆状态）。② ...