利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
通过Hologres实时查询并输出数据至第三方分析工具，实时分析 数据。典型应用场景如下：数据部门搭建实时数据仓库、展示实时大屏和分析实时Reporting报表。运维和数据应用部门执行实时监控、实时异常检测预警与实时调试。业务部门进行实时风控、实时推荐、实时效果分析和实时训练。6 文档版本：20240425利用交互式分析...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本：20201224 55 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤9 新建作业，作业名称：flink_uv_job，作业类型：FLINK_STREAM/DATASTREAM，存 储位置：/作业开发/新手任务 文档版本：20201224 56 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤10 更新作业的主要信息，比如完整主类名、...
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
数据湖分析采用Serverless形态，无基础设施和管理成本，互联网直接访问，开箱即用，按需付费，不需要长期持有分析成本，升级期间对业务影响小，产品迭代敏捷快速.Presto引擎.Presto引擎是数据湖分析基于Presto打造的交互式分析引擎，接入MySQL协议，可使用任何兼容MySQL协议的工具来进行数据分析，适合Adhoc查询、BI分析、...
来自：
云产品
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
游戏厂商对于渠道、用户和游戏表现的评估需要更加细化和 准确的数据的要求，希望利用优秀的数据分析工具来帮助团队更全面的分析市场和用 户的趋势，同时玩家的游戏行为和喜好也在慢慢变化，如何能够及时发现这些变化并 针对性地调整产品和游戏设计也是非常重要的，因此提出了如下业务要求：提供全面的游戏运营指标分析功能...
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
一站式交互式填报解决复杂表格数据收集问题将报表展示和填报录入相结合，综合计算填报数据和数据集取数结果，从填报任务下发、数据录入、权限管理、入库审批等多链路确保数据采集和数据分析的顺畅度。产品功能个人版高级版专业版数据分析仪表板支持支持支持即席分析不支持不支持支持模板市场支持查看所有模块支持查看所有...
来自：
云产品
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
与DataWorks深度集成，提供图形化、智能化、一站式的数仓搭建和交互式分析服务工具，支持数据资产、数据血缘、数据实时同步、数据服务等企业级能力.达摩院Proxima向量检索.与机器学习平台PAI紧密结合，内置达摩院Proxima向量检索插件，支持在线实时特征存储、实时召回、向量检索.兼容PostgreSQL生态，与大数据计算引擎及...
来自：
云产品
实时同步RDS与Redis构建缓存一致性
通过DTS数据订阅能力，用户可以实时订阅RDS日志数据变更，并将其写入Redis以实现缓存数据的更新，可以实现MySQL与Redis之间的缓存同步一致性。
查看详情RDS+ClickHouse构建一站式HTAP通过融合MySQL和ClickHouse的数据同步能力，用户可以在一个可视化窗口中简单灵活地配置和管理实时数据同步，这为业务报表统计、交互式运营分析和实时数仓构建提供了便利。在这个窗口中，用户可以轻松选择需要同步的表和字段，设置同步频率和条件，并监控同步状态和性能。这样一来，...
来自：
解决方案
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
MaxCompute支持 SQL、MapReduce、UDF（Java/Python）、Graph、基于 DAG的处理、交互式、内存计算、机器学习等计 算类型及 MPI迭代类算法。大幅简化了企业大数据平台的应用架构，具有强数据安 全、低成本、免运维、极致弹性扩展等特点。MaxCompute已与数据集成、DataWorks、QuickBI、机器学习 PAI、ADB、推荐引擎、移动数据...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
相关产品云数据库 SelectDB 版本产品日志服务 SLS检索分析服务 Elasticsearch 版在线咨询湖仓一体分析传统的大数据平台解决方案通过组合多套数据湖查询引擎和数据仓库系统，来满足客户复杂多样的大数据分析需求，面临人力及资源成本高、数据开发使用复杂、数据分析实时性差等问题。基于 SelectDB 构建湖仓一体的分析系统，...
来自：
云产品
通过PAI-灵骏分布式训练和部署Llama 2模型
以 Meta 最新开源的大语言模型 Llama2 为例，通过PAI-灵骏完成了大语言模型的高效分布式训练、三阶段指令微调、模型离线推理验证以及在线服务部署等完整的开发链路。
训练基于Megatron-LM引擎支持了数据并行、算子拆分、流水并行、序列并行、Flashattention等技术，保障模型效果且大幅提升大模型训练分布式效率相关产品智算服务 PAI-灵骏交互式建模 PAI-DSW机器学习 PAI-DLC模型在线服务 PAI-EAS对象存储 OSS文件存储 NAS在线咨询方案优势企业级应用基于软硬件一体优化技术，构建高性能异构...
来自：
解决方案
RDS+ClickHouse构建一站式HTAP
通过融合MySQL和ClickHouse的数据同步能力，用户可以在一个可视化窗口中简单灵活地配置和管理实时数据同步，这为业务报表统计、交互式运营分析和实时数仓构建提供了便利。
交互式运营分析基于ClickHouse实时交互式查询分析能力，在广告领域，实时同步广告投放数据和用户点击行为数据，帮助广告商了解广告效果，优化广告投放策略，提高广告投放效果。在社交媒体行业，通过实时同步用户活跃数据和内容传播数据，可以帮助社交媒体平台了解用户喜好，优化内容推荐策略，提高用户活跃度。实时数仓构建...
来自：
解决方案
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
MaxCompute 交互式分析（Hologres）是为大数据设计的实时交互式 分析产品，它与MaxCompute无缝打通，支持数据实时写入，支持PB级数据进 行高并发、低延时的分析处理，兼容PostgreSQL协议，可以使用您最熟悉的BI 工具对海量数据进行自助的多维分析透视和业务探索，同时也支持超高QPS点查 能 力，满 足 数 仓 分 析、服 务 一...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
AI Earth 数知地球
数知地球 AI Earth（Analytical Insight of Earth）基于达摩院在深度学习、计算机视觉、地理空间分析等方向上的技术积累，结合阿里云强大算力支撑，提供PB级海量遥感数据资源，以及低门槛、界面化的云GIS工作空间，同时支持开发者便捷调用，助力地球科学研究分析。
PB级公开数据在线检索，目前已上线Landsat 5/7/8/9、Sentinel-1/2/5P、MODIS、ALOS DSM等80多类公开数据集，更多数据资源持续...提供交互式编程界面，数据一键代码引用，计算结果实时可视化查看.友好的编程界面.一键切换至开发者模式.提供工具箱和开发者两种模式，对大尺度、长时序数据进行在线云计算分析处理.云GIS工作空间.
来自：
云产品
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
以MaxCompute为核心代表的阿里云数仓挺进全球卓越表现者象限.ODPS统一开发与治理平台.ODPS实时交互式计算引擎.可基于PAI的算法组件进行模型训练等操作.机器学习平台 PAI.便捷地对离线数据进行分析加工.消息队列 Kafka 版.实现MaxCompute表数据的可视化分析.与MaxCompute集成，实现可视化分析.联合发布企业级BI分析解决方案....
来自：
云产品
- 产品推荐
- 这些文档可能帮助您