传统大数据技术可以满足此类需求，但其发散的技术栈，不统一的使用习惯，都难以在广大企业内落地使用。因此急需统一、标准化的技术解决方案。数据加速上云 Gartner预测到2023年，所有数据库中75%将放在云平台上。企业机构正在云中部署新的...
Dataphin面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
结合大数据分析框架（如Spark）还可以进行穿越分析、区域分布热力图等。智慧物流与外卖递送 在物流与外卖等领域，需要实时监控车辆、骑手的位置，以便进行可靠的时间预测等服务。车辆和骑手的位置需要实时上报，云端需要处理高并发写入并...
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司，做为中国最大的AIS数据服务运营商，发展目标是通过大数据技术推动全球航运物流与互联网的融合，加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务，客户涵盖港口...
高效压缩存储 TSDB 使用高效的数据压缩技术，将单个数据点的平均使用存储空间降为1~2个字节，可以降低90%存储使用空间，同时加快数据写入的速度。时序数据计算能力 TSDB 提供专业全面的时序数据计算函数，支持降采样、数据插值和空间聚合...
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
高效时序存储技术 时序数据压缩 Lindorm时序引擎使用高效的数据压缩技术，将单个数据点的平均使用存储空间降为1~2个字节，可以降低90%存储使用空间，同时加快数据写入的速度。冷数据归档能力 Lindorm时序引擎支持将长期存储的冷数据归档到...
Flink（VVR）完全兼容开源Flink，相关内容请参见如下文档：DataStream API Table API&SQL Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink主要用于以下...
图表样式 轮播页面是基础交互组件的一种，仅支持在数据中配置页面的属性，包括ID、页面名称和链接，适用于在数据看板中轮播展示多个网页。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的...
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
数据内容安全管理 安全中心提供的数据分级分类、敏感数据识别、数据访问审计、数据源可追溯等功能，在处理业务流程的过程中，能够快速及时识别存在安全隐患的数据，保障了数据内容的安全可靠，详情请参见 数据保护伞。安全诊断的最佳实践 ...
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据数的据量大小。极冷数据指的是 90 日以内...
Apache Hudi是一个支持插入、更新、删除的数据湖框架，通常用于基于对象存储构建低成本Lakehouse。同时Apache Hudi还支持多版本的⽂件管理协议，提供⼊湖和分析过程中的增量数据实时写⼊、ACID事务、小⽂件⾃动合并优化、元信息校验和...
随着冷数据体量的不断变大，存储成本也会水涨船高。所以降低冷数据存储成本，提升热数据读取性能，对于使用时序引擎的企业用户具有现实意义。在Lindorm时序引擎中，随着时间的不断推移，数据呈现出很明显的冷温热分层。其相应的概念如下：...
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
归档为CSV格式的数据的数据量可能会比归档为ORC格式的数据的数据量更大。为什么归档后的冷数据及文件在主账号下面的OSS上看不到？PolarDB 的冷数据存储在系统默认的OSS上，不在客户的OSS里，所以客户无法看到。目前只支持在PolarDB控制台上...
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
查询进阶 查询加速 为了提供极致的数据分析服务，SelectDB中采用了查询优化技术，包含基于Cascades框架的全新优化器、基于Pipeline的执行引擎、高并发点查、物化视图、索引加速、Join优化等。通常情况下，SelectDB会自动优化查询规划和执行...
数据归档 数据归档功能定时将大表的数据归档至其他数据库，支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求，订阅不同功能模块的消息事件，...
基本原理与方法 分区信息剪枝 IMCI的分区剪枝技术是指在查询时根据分区键的条件来过滤不需要查询的分区，从而减少查询的数据量和提高查询效率的技术。IMCI支持的分区类型包括RANGE、LIST、HASH三种。其中，RANGE和LIST分区会把数据表分成...
背景信息 在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...
随着当前数据处理业务场景日趋复杂，很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储...
单个分区中数据量较大的情况下，MaxCompute执行任务时会进行分片处理而不影响分区裁剪的优势。单个分区中文件数较多时，会影响MaxCompute Instance数量，造成资源浪费和SQL性能的下降。采用多级分区时，建议先按日期分区，然后按交易类型...
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
本文介绍数据库备份DBS中备份数据量的概念。名词解释 备份数据量，是指通过DBS备份链路的数据量。常见概念 在数据库备份DBS业务场景下，含有常见以下几个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量等。概念 说明 数据库...
首次需求流程 对于业务方首次提出的需求，重点工作在于评估完成该需求的技术、数据、合规的可行性后，以细化需求的方式完成产品需求文档，并组织需求评审会议多方共同敲定需求最终实现方案。首次需求流程包括以下步骤：提出需求 外部沟通：...
Engine:An Optimized Storage Engine for Large-scale E-Commerce Transaction Processing》，在数据管理国际会议SIGMOD'19发表，这是中国内地公司首次在国际性学术会议上发表OLTP数据库内核相关的技术成果。技术特点 利用FPGA硬件加速...
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...