原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库,可提供PB级海量数据在线/离线分析服务,是面向各行各业的有竞争力的数仓方案,真正做到“人人可用的数据分析服务”。
推荐搭配使用.GIS 时空大数据分析.GIS 时空大数据分析.更多产品与服务.查看更多商品.更多产品与服务.了解更好地如何使用产品.新手快速入门指南.讲解架构设计、关键核心技术.快速了解产品,上手产品使用.查看全部日志.企业大模型上大脑.企业大模型上大脑.企业大模型上大脑.<查看数据库全部产品.企业级能力完备,极具性...
来自: 云产品
数据安全解决方案
数据是企业的核心资产,如何保护企业的云上数据,是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时,阿里云根据自身多年的经验积累,结合大量云上客户的最佳实践,提供了一套完整的数据安全解决方案,帮助企业提升云上数据风险防御能力,实现企业核心及敏感数据安全可控。
阿里参考数据安全成熟度框架(DSMM),基于阿里多年实践,通过总结和沉淀大量上企业数据安全工作经验,提炼出云上企业需要构建的八大数据安全核心能力,并建议企业分别从“云端”、“管道”和“终端”三个层面来思考和完善.构建各生命周期的核心能力.聚焦建设工作中的重点话题.提升整体风险防御响应能力.重点解决的...
来自: 解决方案
数据可视化DataV
数据可视化DataV是阿里云一款数据可视化应用搭建工具,旨让更多的人看到数据可视化的魅力,帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用,满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。
面向大众用户的数据可视分析产品模块,针对日常表单数据分析和时空大数据分析场景分别推出Card和Atlas两款产品,帮助您快速进行不同分析场景下的可视分析任务,探索数据价值、表达数据观点.DataV可视分析.图片56*56(不可与icon共存).图片logo.icon名称(不可与图片logo共存).icon名称.不填写不展示.9.9元即享专业版超长1个...
来自: 云产品
Clickhouse冷热数据分层存储
<em>云</em>Clickhouse冷热<em>数据</em>分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案,本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系,稳定性高,数据倾斜自动均衡。 2. 完善的数据同步链路,可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse,降低研发成本。 3. 平滑升级版本,业务中断小。 冷热分层后透明读取,帮客户节约整体数据存储成本。
数据库 ClickHouse 冷热数据分层存储是一种更具性价比的单实例多类型并存的 存储方式,提供热数据存储和冷数据存储两种方式,以及不同数据存储介质之间的 转存策略。热数据指的是实时性查询要求高、访问频次较高的数据,采用 ESSD或高 效云盘存储,满足高性能访问的需求。冷数据指的是查询频度相对较低、访问频次较 ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,日志服务(SLS),云数据库 ClickHouse
数据集成解决方案
云上数据集成解决方案提供可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展的数据传输交互服务,有效帮助您解 决云环境、个人站点环境下异构数据存储系统的数据互通难题,让您数据不再成为孤岛!助您实现大数据分析和实时商务智能。
数据集成提供一套抽象化的数据抽取、写入插件,并基于此框架设计一套简化版的中间数据传输格式,从而达到任意结构化、半结构化数据源之间数据传输之目的.支持多种异构数据源.批量同步主要应用场景为提供离线的批量数据进出通道。增量同步主要是指用户可以通过设置...助您实现大数据分析和实时商务智能.上数据集成解决方案.
来自: 解决方案
原生企业级数据湖解决方案
云原生企业级数据湖解决方案,数据湖解决方案,无缝对接多种计算分析平台,数据湖中的数据可以直接进行数据分析、处理。
OSS能支撑 EB 规模的数据湖,支持多种数据通道,全面覆盖日志、消息、数据库、HDFS 各种数据源•OSS 无缝对接EMR Hive、Spark、Presto、Impala 等大数据处理引擎,消除数据孤岛•阿里 EMR 大数据专家级服务支持•阿里 Data Lake Formation 提供数据湖元数据管理、数据湖加速等服务;EMR大数据专家级服务支持.WHY 阿里...
来自: 解决方案
企业上云数据安全
企业上云<em>数据</em>安全
场景描述 企业是否选择上公共云,或者哪些系统或数据上 公共云,对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴,即首先使用SDDP产品进行敏感数据发 现和分级分类,然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
本最佳实践重点在于介绍狭义的数据加密 存储安全范畴,即首先使用 SDDP产品进行敏 感数据发现和分级分类,然后对高级别敏感 进行按需、不同类型的全链路加密存储。解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别 SDDP 密钥...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,密钥管理服务,敏感数据保护,云速搭CADT
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行<em>数据</em>查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
MaxCompute为您提供完善的数据导入方案 以及多种经典的分布式计算模型,您可以不必关心分布式计算和维护细节,便可轻松 完成大数据分析。目前,MaxCompute服务已覆盖全球16个国家和地区,客户遍及金融、互联网、生 物医疗、能源、交通、传媒等行业,为全球用户提供海量数据存储和计算服务。MaxCompute的多个客户案例荣获...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏<em>数据</em>分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
本实践介绍如何快速收集海量用户行为 ,实现秒级响应的实时用户行为分析,并 通过实时流计算、数据库 ClickHouse等 技术进行深入挖掘和分析,得到用户特征和 画像,实现个性化系统推荐服务。产品列表 最佳实践频道 阿里最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 服务器 ECS 消息队列 Kafka版 数据库 ...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
基于DataWorks的大数据一站式开发及数据治理
基于DataWorks的<em>大数据</em>一站式开发及<em>数据</em>治理
概述 基于Dataworks做大数据一站式开发,包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS,使用Hive进行数据分析。通过Dataworks进行数据治理,数据地图查看数据信息和血缘关系,数据质量监控异常和报警。 适用场景  日志采集、处理及分析  日志使用Flink实时写入HDFS  日志数据实时ETL  日志HIVE分析  基于dataworks一站式开发  数据治理 方案优势  大数据一站式开发,完善的数据治理能力。  性能优越:高吞吐,高扩展性。  安全稳定:Exactly-Once,故障自动恢复,资源隔离。  简单易用:SQL语言,在线开发,全面支持UDX。  功能强大:支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ,以及各种流式及静态数据源关联查询。
自定义 HDFS Sink.47 文档版本:20201020 IV 基于 Dataworks的大数据一站式开发及数据治理 最佳实践概述 最佳实践概述 概述 本实践基于 Dataworks做大数据一站式开发,包含数据实时采集到 kafka通过实时 数据进行 ETL写入 HDFS,使用 Hive进行数据分析。通过 Dataworks进行数据 治理,数据地图查看数据信息和血缘关系...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,E-MapReduce,DataWorks,实时计算,云速搭
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
基于湖仓一体架构使用MaxCompute对OSS湖<em>数据</em>分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
} }],"Version":"1"}互联网电商行业离线大数据分析 6.附录B-T表示table_properties,用于配置默认的Table的FileFormat/RowFormat,为map 数据类型,包含如下配置项(可以在odpscmd中执行helpexternalproject查看帮助信 息):1.storage_handler用于指定存储时storedby所使用的handler,如 org.apache.hadoop.hive.hbase....
来自: 最佳实践 | 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
企业轻量级数据分析解决方案
企业轻量级数据分析解决方案,为用户提供低门槛的数据存储与分析能力。帮助用户快速实现数据赋能,解锁数据运营能力。
数据分散,经营数据打通困难.数据需求变化多,需要快速构建 BI 报表能力.上手快:数据分析服务兼容 MySQL 语法,学习成本低.零部署:全托管,服务开箱即用,无需复杂部署过程.更安全:安全合规,满足企业数据可靠性和安全性要求.分析型数据库ADB.DataV数据可视化.企业轻量级数据分析解决方案.根据您提交的需求,将有售前...
来自: 解决方案
DTS数据同步集成MaxCompute数仓
DTS<em>数据</em>同步集成MaxCompute数仓
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成,并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
数据抽取不幂等或容错率低,如凌晨 0:00启动的 ETL任务因为各种原因(数据库 HA切换、网络抖动或 MAXC写入失败等)失败后,再次抽取无法获取 0:00时的 状态。2.针对不规范设计表,如没有 create_time/update_time的历史遗留表,传统 ETL需 全量抽取。3.实时性差,抽取数据+重试任务往往需要 1-3小时。另外数据库的数据...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,数据传输,DataWorks,大数据计算服务 MaxCompute
数据总线Datahub
数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务,它提供流式数据的发布(Publish)和订阅(Subscribe)的功能,拥有高吞吐量、高稳定性、低成本等特点,与阿里云大数据生态系统完美打通,让您可以轻松构建基于流式数据的分析和应用。
提供DataConnector模块,稍作配置即可把接入的数据实时同步到下游MaxCompute、OSS、TableStore等存储分析系统,极减轻了数据链路的工作量.灵活的缓存时间,下游可重复消费,自动多备份,保障数据高可靠性.既有适合人交互的Web控制台,也有适合程序交互的API和SDK,满足各种使用需求.多样化的数据接入和同步能力,灵活的...
来自: 云产品
原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版(简称AnalyticDB)是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务,可用于构建企业级报表系统、数据仓库和数据服务引擎。
边锋&AnalyticDB MySQL:打造一站式大数据分析平台.AnalyticDB MySQL带你学:基于Flink的高吞吐&精确一致性数据入湖.兰姆达 x AnayticDB 降本30%的数据湖最佳实践.一键实现穿衣自由|揭秘淘宝AI试衣间硬核技术:AnalyticDB向量在线召回.PolarDB MySQL数据免费接入、多表增量更新物化视图、UDF、Multi-cluster自动弹性等功能...
来自: 云产品
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体,能够解决公共云、混合云场景下,远距离、毫秒级异步数据传输难题,支持关系型数据库、NoSQL、大数据(OLAP)等数据源,其底层基础设施采用阿里双11异地多活架构,为数千下游应用提供实时数据流,已在线上稳定运行7年之久。
支持阿里云云数据库、阿里ECS、本地数据中心、其他多种环境,支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输.丰富的数据源支持.服务器ECS.数据库RDS MySQL版.推荐搭配产品.轻松实现混合下的数据同步方案.如果业务部署在单可用区中,当该可用区因电力、网络等不可抗因素失去通信时,会导致业务中断。...
来自: 云产品
智能数据建设与治理Dataphin
Dataphin遵循阿里巴巴集团多年实战沉淀的大数据建设OneData体系(OneModel、OneID、OneService),集产品、技术、方法论于一体,一站式地为您提供集数据引入、规范定义、智能建模研发、数据萃取、数据资产管理、数据服务等的全链路智能数据构建及管理服务。助您打造属于自己的标准统一、资产化、服务化和闭环自优化的智能数据体系,驱动创新。
搭配购买大数据分析与展现:QuickBI.Dataphin产品白皮书下载.Dataphin获DAMA2023年度“数据治理优秀产品”奖.Dataphin通过中国信通院数据资产管理能力评测.「一横四纵解决方案」聚焦制造业数据中台场景级部署.结构化构建标签与统计指标,消除数据二义性.数据规范定义.可视化数据仓库模型构建、物理任务全托管生产,分钟级...
来自: 云产品
原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案,采取计算与存储完全分离的架构,支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓,提供Presto和Spark引擎,满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性,比开源自建集群最高降低50%+的成本,最快可1分钟级拉起300个计算节点,快速满足业务资源要求。
兼容MySQL协议,无需ETL,可使用SQL直接分析OSS等十种源数据,快速低成本开启大数据分析.数据库RDS MySQL版.对象存储OSS.推荐搭配产品.Lakehouse实时入湖.异构数据实时分析,为数据驱动提速.直接使用生产库对海量数据分析,不仅会对线上业务产生影响,还可能出现超时,查询失败的现象;但自建数据仓库又需投入大量的软...
来自: 云产品
数据湖构建 Data Lake Formation
数据湖构建服务是阿里云上数据湖架构中的核心部分,助力用户构建数据湖系统。支持多数据源实时入湖,实现湖上元数据统一管理,提供企业级权限控制,无缝对接多种计算引擎,打破孤岛,洞察业务价值
随着用户业务的逐渐清晰与沉淀,用户面临着数据湖和数据仓库架构的融合,依托于阿里云数据仓库(MaxCompute、Hologres、ADB等产品)和数据湖构建产品,帮助用户打造湖仓一体的数据系统,让数据和计算在湖和仓之间自由流动,从而构建一个完整的有机的大数据技术生态体系.数据湖构建产品提供用户全托管服务,仅需简单点击操作...
来自: 云产品
交通数据中台解决方案
阿里云交通数据中台解决方案提供从交通数据接入到数据应用的全链路智能数据构建与管理能力,帮助客户快速形成数据资产、挖掘数据价值、赋能交通业务,助力交通行业数字化转型及智能应用的创新和推广。
提供复杂网络环境下异构数据源、端之间同步异步数据的融合转换,支持长链路数据的传输加速,是数据源和上引擎间数据传输的桥梁.统一的数据集成管理.管理数据“汇聚-治理-分析-决策”全⽣命周期,打通从数据生产到数据消费完整链路;统一消费侧的逻辑访问层,屏蔽物理存储结构、异构数据存储的差异,降低数据应用的门槛....
来自: 解决方案
< 1 2 3 4 5 >
共有5页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用