海量数据技术分析

_相关内容

云数据库 SelectDB 版

云数据库SelectDB版是新一代实时数据仓库SelectDB在阿里云上的全托管服务,您可以在阿里云上便捷地购买SelectDB数仓服务,满足海量数据分析需求。

应用场景

阿里云Elasticsearch具有广泛的应用场景,包括日志分析与运维全观测、信息...还能借助Kibana,完成业务数据的统计分类以及大盘的搭建,从而在电子商务、移动应用、广告媒体等多个场景下,高效统计并分析海量数据,深入挖掘业务的数据价值。

什么是云数据库SelectDB版

您可以在阿里云上便捷地购买 SelectDB 数仓服务,满足海量数据分析需求。前置概念 阅读本文前,您可能需要了解如下概念:什么是云数据库?什么是数据仓库?什么是对象存储?什么是数据湖?什么是SQL?产品优势 高性价比 高性能:支持亚秒级...

近实时数仓

MaxCompute 用户无需改变开发习惯,就能够以更高的性价比分析海量数据。优势 新架构会尽量覆盖开源数据湖(HUDI/Iceberg)的一些通用功能,方便相关业务链路之间的迁移,此外,作为完全自研设计的新架构,在功能,性能,稳定性,集成等方面...

低成本RDS历史库

云原生多模数据库 Lindorm 提供海量数据的低成本存储能力(0.12元/GB/月)、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求,同时可以无缝对接Spark、Hive、Flink、Presto等开源分析生态满足用户对数据的复杂分析...

产品初识(新手必读)

您可以在阿里云上便捷地购买 SelectDB 实例,用以满足海量数据分析需求。为了让您更好地使用 SelectDB,在您开始购买实例前,建议您学习以下内容。产品架构及组件 此处仅对产品的架构及其组件进行简要阐述,以便于您迅速理解产品架构、各...

机器学习

机器学习模块的具备以下优点:易用性好,入门门槛低,掌握SQL即可分析海量数据,让程序员,解决数据分析师轻松编程;轻量化程度高,面对复杂问题的解决方案选型时选择 云原生数据仓库AnalyticDB PostgreSQL版 即可,比如既要解决分类问题又...

Trino

应用场景 Trino是定位在数据仓库和数据分析业务的分布式SQL引擎,适合以下应用场景:ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Trino是一个数仓类产品,因为其对事务支持有限,所以不适合在线业务...

Presto

应用场景 Presto是定位在数据仓库和数据分析业务的分布式SQL引擎,适合以下应用场景:ETL Ad-Hoc查询 海量结构化数据或半结构化数据分析 海量多维数据聚合或报表分析 重要 Presto是一个数仓类产品,因为其对事务支持有限,所以不适合在线...

2023年

云数据库MongoDB版同步至云原生多模数据库Lindorm 新增 新增支持将MySQL的数据同步或迁移到SelectDB,以满足您的海量数据分析需求。RDS MySQL同步至云数据库SelectDB版 RDS MySQL迁移至云数据库SelectDB版 优化 MySQL的数据同步或迁移至...

技术原理

PolarDB-X 1.0 由多个节点构成计算、存储内核一体化实例,在共用一份数据的基础上避免了ETL(Extract-Transform-Load)操作,实现了在线高并发OLTP联机事务处理以及OLAP海量数据分析,即HTAP。原理架构 MPP和只读资源 PolarDB-X 1.0 通过多...

2024年

什么是DTS Serverless实例 新功能 新增支持将 PolarDB MySQL版 集群的数据同步或迁移到SelectDB,以满足您的海量数据分析需求。PolarDB MySQL版同步至云数据库SelectDB版 PolarDB MySQL版迁移至云数据库SelectDB版 新功能 新增支持SQL ...

分析外部OSS上的数据

技术原理 列存索引(IMCI)是一个高性能的列存分析引擎,相关文档请参见 PolarDB HTAP实时数据分析技术解密,ORC和Parquet也是列存格式,OSS支持高并发读取,在高并发时可以获取更高的网络吞吐。因此,IMCI的并行扫描功能可以充分利用OSS的...

表引擎

MergeTree MergeTree表引擎主要用于海量数据分析,支持数据分区、存储有序、主键索引、稀疏索引和数据TTL等。MergeTree表引擎支持 云数据库ClickHouse 的所有SQL语法,但是部分功能与标准SQL存在差异。本文以主键为例进行介绍。云数据库...

验证分析型查询请求能力

概念介绍 OLAP(Online Analytical Processing)是一种面向分析的、多维数据分析技术。它适用于处理大规模、多维的数据集,能够帮助用户进行数据分析数据挖掘、业务决策等。并行执行 OceanBase 数据库的并行执行指的是在分布式架构下进行...

功能特性

实例会话 查询治理 通过离线数据分析技术,每天对所有数据库实例的慢SQL进行统计和打标,帮助您对慢SQL进行自动分类和划分治理优先级,同时提供治理建议。查询治理 慢日志分析 统计并分析数据库实例中执行时间超过阈值的SQL语句,并提供...

ETL工作流快速体验

零售电商GMV分析 DataWorks MaxCompute 数据集成 数据开发 基于DataWorks提供的 智能数据建模 产品,使用该产品内置零售电子商务数仓模型,为您介绍DataWorks在数仓搭建过程中的技术栈及流程实现。案例相关文档:零售电商数据建模。视频...

性能优化与诊断

查询治理 通过离线数据分析技术,在每天凌晨1点将全部实例在昨天产生的慢SQL进行统计分析和自动打标,帮助您对慢SQL进行自动分类和划分治理优先级,同时提供治理建议和数据导出功能。SQL洞察和审计 在全量请求和安全审计的基础上,融合了...

DAS产品阵型

❌ ✔️ ❌ ❌ 查询治理 通过离线数据分析技术,按T+1提供慢SQL统计的分析和自动打标,帮助您对慢SQL进行自动分类和划分治理优先级,同时提供治理建议和数据导出功能。❌ ✔️ ❌ ❌ 时延洞察 在排查云数据库 Tair(兼容 Redis)数据库实例...

未来规划

数据处理与分析海量数据分析在线化(实时在线交互式分析)。如何对海量数据进行在线分析和计算,支持实时在线交互式分析,需要做并行处理(DSP 模型、MPP 模型等等),对并行调度计算进行优化。系统能力提升:智能化+安全(使用方便可靠...

功能特性

本文将向您介绍DataV-Atlas(分析地图)的功能特性,其中包括快速显示分析海量时空数据的能力、丰富多样的地图可视分析组件等。海量时空数据的快显分析能力 快速时空数据分析能力能够处理海量数据,并支持对千万级矢量数据进行可视化分析,...

湖仓一体新能力:EMR支持Hologres和MaxCompute数据

背景信息 Hologres 是阿里巴巴自主研发的一站式实时数仓引擎,支持海量数据实时写入、实时更新、实时加工、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据...

数据上云场景

MaxCompute平台提供了丰富的数据上传下载工具,可以广泛应用于各种数据上云的应用场景,本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。

什么是DataV-Atlas

它支持快速展示和实时分析海量时空数据,并可以通过SQL分析工具对用户数据库中的空间数据进行多维度的灵活分析。该工具能够帮助用户快速构建自己的地理分析地图,挖掘时空数据的价值,并支持商业决策和科学研究等领域的应用。前置概念 阅读...

数据洞察

该功能利用AI技术辅助数据分析,帮助您解析复杂数据,并为业务决策提供支持。适用范围 权限说明:已拥有数据分析权限。支持的工作空间角色列表请参见 数据分析预设角色权限列表。角色授权操作请参见:添加空间成员并管理成员角色权限。地域...

智能商业分析 Quick BI

智能商业分析 Quick BI是一个专为云上用户量身打造的新一代智能BI服务平台。Quick BI可以提供海量数据实时在线分析服务,支持拖拽式操作和丰富的可视化效果,帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。

DataWorks数据服务对接DataV最佳实践

过去,如果您想要通过DataV展示海量数据分析结果,需要自建一套离线数据计算自动导入MySQL的任务流程,过程繁琐且成本高。现在通过DataWorks为您提供的 数据集成 数据开发 数据服务 的全链路数据研发平台,结合MaxCompute即可快速搭建...

功能特性

列存索引可以增强宽表中海量数据分析计算能力。宽表引擎访问列存索引 计算引擎访问宽表数据 支持在Lindorm计算引擎中通过Lindorm SQL访问和写入宽表数据。计算引擎访问宽表数据 宽表引擎 动态列 Lindorm宽表引擎支持动态列功能,用于在...

AskTable

AskTable是一款基于人工智能和自然语言处理技术数据分析工具。它能够通过自然语言查询,自动生成数据查询指令,并直接返回结果。同时也支持 MySQL、PostgreSQL等多种数据源,帮助用户轻松地探索和可视化数据。本文介绍使用 AskTable 连接...

创建MaxCompute数据

以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效地分析处理海量数据。使用限制 MaxCompute数据源不支持接入MaxCompute的外部项目。详情请...

产品概述

该工具支持快速展示和实时分析海量时空数据,同时还能通过SQL分析工具对用户数据库中的空间数据进行多维度的灵活分析。该工具能够帮助用户快速构建自己的地理分析地图,挖掘时空数据的价值,并支持商业决策和科学研究等领域的应用,详情请...

创建MaxCompute数据

以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效地分析处理海量数据。更多信息,请参见 什么是MaxCompute。使用限制 MaxCompute数据源不...

什么是MaxCompute

计算存储的智能优化能力、开放的湖仓一体架构、近实时和交互式查询加速能力以及Data+AI一体化建设,使用户最小化运维投入、经济并高效地分析处理海量数据。数以万计的企业正基于MaxCompute进行数据计算与分析,将数据高效转换为业务洞察。...

MapReduce

海量数据挖掘:非结构化数据、时空数据和图像数据挖掘。机器学习:监督学习、无监督学习和分类算法(例如决策树、SVM)。自然语言处理:基于大数据的训练和预测。基于语料库构建单词同现矩阵,频繁项集数据挖掘、重复文档检测等。广告推荐...

数据发现(DataScan)

应用场景 湖上日志与事件数据自动化分析 海量应用日志按日期分区持续写入OSS。MaxCompute数据发现任务识别分区与数据文件结构,如JSON、CSV,生成可供SQL查询的外部表,从而实现日志数据的自动化接入,让分析师能立即使用SQL进行新分区数据...

基本概念

本文为您介绍DataWorks中,数据集成、数据建模、数据开发、数据分析数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员,分配角色和权限的基本单元。工作空间管理员可以为工作空间加入...

如何对JSON类型进行高效分析

针对海量半结构化数据计算与分析,本文将以半结构化数据JSON为例,首先简述传统数据库与数据仓库的解决方案,然后详细描述 PolarDB IMCI列式JSON、虚拟列、秒级加减列与表列数扩展等技术点,最后给出 PolarDB IMCI列式JSON实时分析与扩展流...

应用场景

大数据场景:海量数据存储与分析 Lindorm支持海量数据的低成本存储、快速批量导入和实时访问,具备高效的增量及全量数据通道,可轻松与Spark、MaxCompute等大数据平台集成,完成数据的大规模离线分析。优势 低成本:高压缩比,数据冷热分离...

基于代价的SQL优化

海量数据的复杂分析场景下,查询效率变得尤为重要。实现复杂查询的实时分析,是 AnalyticDB MySQL 的核心优势之一。AnalyticDB MySQL 采用基于代价的查询优化器(Cost-Based Optimizer),以获得最佳的查询执行计划,提高查询效率。...

典型场景

ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战,云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势:支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器,复杂查询免调优。MPP多节点全并行计算,PB级数据...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用