为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
数据传输服务DTS（Data Transmission Service）将下线经典网络资源，并不再支持经典网络架构的云产品。背景信息 自2011年阿里云上线公共云服务以来，经典网络架构为云服务器提供了网络支撑，服务了海量云上客户。2014年，阿里云推出了全新...
结构化数据：RDS、PolarDB、PolarDB-X（原DRDS）、PolarDB-X 2.0、MongoDB、OceanBase、自建数据库 大数据：AnalyticDB-MySQL、AnalyticDB for PostgreSQL（即 AnalyticDB-PG）您可以根据上表中对应数据库支持的连接方式和数据安全需求，...
面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Delta Table推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。背景和现状 在当前典型的数据...
数据资产治理（原数据治理中心）可根据预先配置的治理计划，自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理...
对象存储OSS：将查询结果以指定格式（如CSV、Parquet）导出至阿里云对象存储OSS（Object Storage Service）空间，适用于大数据量归档或与其他云产品集成的场景。首次使用时，您需要为DataWorks进行授权，以允许其访问您的OSS资源。请在 ...
元数据管理功能主要展示当前实例的所有数据库、数据表、分区及各种任务等信息，同时支持创建数据库和数据表，并定义其列及相关属性。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、缓存数据...
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力带来极大...
数据安全中心 DSC（Data Security Center）支持对RDS MySQL、RDS PostgreSQL、PolarDB MySQL、PolarDB PostgreSQL、PolarDB PostgreSQL（兼容Oracle）、PolarDB-X 2.0等数据库类型的数据列进行加密配置，确保数据库中敏感列数据加密后存储...
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。背景信息 一般情况下，建议ECS和数据库审计系统处于同一VPC中，具体操作请参见 安装Agent...
通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建 RDS MySQL 数据订阅任务。前提条件 已 创建RDS MySQL实例。说明 支持的版本，请参见...
通过DTS、Flink CDC、Catalog、阿里云DataWorks，均可将 MySQL（如自建MySQL、RDS MySQL和PolarDB MySQL等）的数据迁移至 云数据库 SelectDB 版。您可依据迁移的数据量和业务场景，选择合适的方式完成数据迁移。本文为您介绍MySQL数据迁移...
数据推送节点可将Data Studio业务流程中其他节点产生的数据查询结果，通过新建数据推送目标，将数据推送至钉钉群、飞书群、企业微信群、Teams以及邮件，便于团队成员及时接收和关注最新数据情况。背景信息 数据推送节点可以通过 节点上下文...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
业务要求与挑战 5G、云计算、边缘计算等智能、互联技术的快速发展，推动了工业物联网IIoT场景下各种软件、硬件传感器数量激增，与之对应的采集数据量和数据类型快速增长，导致数据存储、检索难度更大。现有解决方案中，通常依赖自建单...
DataWorks是一站式智能大数据开发治理平台，适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务，为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...
'),(2,'中科软科技以大型应用软件开发和计算机系统集成为核心，集自主开发的行业通用软件产品、网络信息安全软件产品、大型网络应用软件组合平台、中间件软件产品及应用工具于一体，涵盖了系统软件、支撑软件、建筑智能化工程、行业应用...
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
使用专有网络VPC和IP白名单将极大程度提升 云数据库 MongoDB 版 实例的安全性。专有网络VPC是私有网络环境，通过底层网络协议为您构建出一个隔离的网络环境。您可以通过VPN或专线，将自建IDC的服务器资源接入阿里云，并使用专有网络VPC...
通过数据集成服务，可将RDS数据导入MaxCompute，实现大规模的数据计算 DTS 您可以使用数据传输服务DTS将本地数据库迁移到云上的RDS，以及实现RDS的异地容灾。OSS 对象存储服务OSS是阿里云提供的海量、安全、低成本、高可靠的云存储服务。...
PolarDB PostgreSQL版（兼容Oracle）具有容量大、高性价比...应用和数据库都部署在云上，可以充分利用云资源的弹性能力，解决网络延迟问题，极大提升业务系统的可用性。优化IT的成本结构，将购买外包服务和软件授权的成本转化成云资源的消费。
列加密 列加密功能是一种数据安全技术，通过对数据库中的特定列进行加密，防止非授权人员通过云平台软件或数据库连接工具直接获取敏感数据明文，从而有效抵御内外部安全威胁，保障数据安全。图片脱敏 通过OSS图片脱敏功能，可以创建图片...
RDS会为您提供数据库软件的新版本。在绝大多数情况下，小版本升级 都是非强制性的。但在您主动重启RDS实例时，该实例的数据库版本会在重启时升级到最新的兼容版本。在极少数情况下（如致命的重大Bug、安全漏洞），RDS实例（除 基础系列 外...
RDS会为您提供数据库软件的新版本。在绝大多数情况下，小版本升级 都是非强制性的。但在您主动重启RDS实例时，该实例的数据库版本会在重启时升级到最新的兼容版本。在极少数情况下（如致命的重大Bug、安全漏洞），RDS实例（除 基础系列 外...
RDS会为您提供数据库软件的新版本。在绝大多数情况下，小版本升级 都是非强制性的。但在您主动重启RDS实例时，该实例的数据库版本会在重启时升级到最新的兼容版本。在极少数情况下（如致命的重大Bug、安全漏洞），RDS实例（除 基础系列 外...
RDS会为您提供数据库软件的新版本。在绝大多数情况下，小版本升级 都是非强制性的。但在您主动重启RDS实例时，该实例的数据库版本会在重启时升级到最新的兼容版本。在极少数情况下（如致命的重大Bug、安全漏洞），RDS实例（除 基础系列 外...
上海百胜软件股份有限公司成立于2000年，是国内知名的全渠道新零售解决方案服务商，为鞋服、运动、家居、日化、美妆、珠宝、食品等品牌企业提供管理咨询和信息化解决方案，业务涵盖全渠道中台、零售分销、供应链、电子商务、移动应用、大...
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
DataWorks数据集成支持读写Snowflake。...是 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据集成与Snowflake的网络交互次数，并提升整体吞吐量。但是该值设置过大可能会造成数据集成运行进程OOM情况。否 1024
由于本教程使用的测试数据需要通过公网获取，资源组默认不具备公网访问能力，因此需要为资源组绑定的VPC配置公网NAT网关，添加EIP，使其与公开数据网络打通，从而获取数据。登录 专有网络-公网NAT网关控制台，在顶部菜单栏切换至 华东2...
本教程使用的测试数据需要通过公网获取，而上一步创建的资源组默认 不具备公网访问能力，需要为资源组绑定的VPC配置公网NAT网关，添加EIP，使其与公开数据网络打通，从而获取数据。登录 专有网络-公网NAT网关控制台，在顶部菜单栏切换至 ...
Join不应该使用Broadcast 当小表与大表Join时，如果小表远小于大表，Broadcast Join可以将小表广播到大表所在节点，避免大表的数据重分布，从而有效降低了网络传输的开销。但某些情况下，由于统计信息错误等原因，优化器错误地估计了表的...
本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...
相比于数据库自审计产品集成在数据库软件内部，数据库审计产品完全独立于数据库运行，使用旁路检测方式，在不影响数据库运行效率的前提下，实现灵活的审计与监控。购买、版本升级、迁移、退款事项处理、过期问题 新购买一台数据库审计C100...
大数据计算引擎与存储费用（独立计费）：DataWorks是一个大数据开发与调度平台，它本身不执行核心的计算和存储。当您通过DataWorks提交一个SQL任务时，实际执行该任务的是底层的计算引擎（如MaxCompute、Hologres、E-MapReduce等），产生的...
案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色，请参见 空间级模块权限管控。导入ETL工作模板时选择的资源组若是Serverless资源组，...
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
相关概念 API（Application Programming Interface，应用程序编程接口）：API是让应用、软件、系统能够面向数据源进行数据交互的接口，数据服务API支持“读数据”的操作，可以从数据库、数据表中不断地进行数据查询。函数：作为API过滤器，...