基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
比如请求时实时加水印、实 时美颜处理、实时裁剪图片、实时截帧等。部署架构 名词解释 OPAP(ObjectProcessAccessPoint)：是在AP的能力上，拓展了FC功能，通过OPAP访问 的GetObject会触发FC。其他类型的请求会退化到绑定的AP。文档版本：20240304 4基于OSSObjectFC实现非结构化文件实时处理最佳实践 最佳实践概述 AP...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
大数据近实时数据投递 MaxCompute 最佳实践 业务架构 最佳实践 解决问题 场景描述 混合云环境下，现有业务系统零改造，打通数据 本文介绍离线大数据场景使用 MaxCompute构建云 上云链路。上近实时数仓，打通云下数据上云链路，解决数据复 使用 UDF实现复杂数据类型转换和数据动态分 杂类型支持和动态分区问题，满足高级数据...
大数据workshop
大数据workshop
作业 1.Hologres与 MaxCompute的底层存储相同，Hologres除了结合 Flink实现下 一代实时数仓，也可以实现离线实时一体分析，请结合本实践的内容设计并实 现离线实时一体分析。2.Hologres 与 MaxCompute 的底层存储相同，因此 Hologres 也可以结合 MaxCompute实现联邦计算，请结合本实践的内容设计并实现联邦计算。文档版本：...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
系统架构设计 下图为所设计的系统架构设计，主要包括数据源（两类业务数据：用户行为日志和业 务后台数据库）、日志采集、日志传输、实时计算、数据存储和同步、数据展现这几 大模块共同构成实时大数据数据仓库。注：对于DIM（维度层）的维度数据可以主要使用MySQL、HBase、Hologres三种存储 引擎。对于维表数据比较少的...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云速搭部署Flink应用
本水煎通过云速搭实现一个DataHub+Flink的实时流计算引擎架构，利用DataHub收集原始数据，推送到Flink进行基于流式数据的分析和应用。
已开通以下服务：ￚ 专有网络 VPC ￚ 云速搭 CADT ￚ 实时计算 Flink ￚ 数据总线 DataHub ￚ 对象存储 OSS 文档版本：20211103 2 云速搭部署 Flink应用 产品介绍 产品介绍 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
基于 DataWorks的大数据一站式开发及数据治理 最佳实践 业务架构 场景描述 解决问题 本实践基于 Dataworks做大数据一站式开发，包含 日志采集、处理及分析 数据实时采集到 kafka 通过实时计算对数据进行 日志使用 Flink实时写入 HDFS ETL写入 HDFS，使用 Hive进行数据分析。通过 日志数据实时 ETL Dataworks进行数据治理，...
对象存储 OSS
阿里云对象存储 OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云备份服务，提供最高可达 99.995 % 的服务可用性。多种存储类型供选择，全面优化存储成本。
立即购买免费试用快捷入口控制台文档APISDK产品定价常用工具05:03快速了解对象存储 OSS产品动态内容甄选新功能OSS 设置 TLS 版本功能发布2023.09.19新功能OSS 归档直读发布2023.06.30新功能OSS Bucket 存储冗余类型转换发布2023.06.28精选特惠"存"享优惠，新老用户同享2023.11.01最新活动Stable Diffusion 模型库，AIGC ...
来自：
云产品
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
与机器学习平台PAI紧密结合，内置达摩院Proxima向量检索插件，支持在线实时特征存储、实时召回、向量检索.兼容PostgreSQL生态，与大数据计算引擎及大数据智能研发平台DataWorks无缝打通。无需额外学习，即刻上手开发.生态与可扩展性.一站式实时数仓，支持OLAP、Ad Hoc和高QPS点查.云原生计算存储分离架构，多节点并行写入，...
来自：
云产品
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
分布式计算框架MaxFrame发布,高效、一站式完成Data+AI开发.MaxCompute发布按量付费闲时版，计算成本至高节省66.66%.MaxCompute 物化视图智能推荐发布，CU算力节省14%.MaxCompute 跨地域灾备邀测发布，提升数据安全性.MaxCompute 架构升级及开放性解读.阿里云大数据智能计算平台ODPS入选2022世界互联网领先科技成果.TPCx-BB...
来自：
云产品
全站加速DCDN
阿里云全站加速旨在提升动静态资源混合站点的访问体验，支持静态资源边缘缓存，动态内容最优路由回源传输，同时满足整体站点的全网访问速度及稳定性需求。全站加速构建于阿里云CDN平台之上，适用于动静混合型、纯动态型站点或应用的内容分发加速服务。
提高应用程序和API的访问速度、提供高可用服务，管理全球流量.加速API和应用.具备WAF、DDoS、SSL、国密等边缘安全能力，保护...支持把数据写到边缘存储，边缘存储的数据会在几秒～十几秒内自动同步到全球的边缘节点，ER可以快速读取同节点的边缘存储数据.边缘存储EdgeKV.3200+节点构建全球边缘安全、低延迟、高可用的加速体验.
来自：
云产品
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费，是互联网、IoT、车联网、广告、社交等场景首选数据库，也是为阿里核心业务提供支撑的数据库之一。
海量订单记录与风控数据的实时存储.使用Lindorm存储社交场景中的聊天、评论、帖子、点赞等重要数据，提供易开发、高可用、延迟的能力，帮助您快速构建稳定可靠的现代社交Feed流系统.提供社交IM场景专属的FeedStream功能，开发效率和运行性能提升一个数量级.主备双活容灾，请求自动容错.在千万并发下，保持单个毫秒响应.高...
来自：
云产品
云数据库 Cassandra 版
Cassandra是连续9年DB-Engines排名第一的宽表数据库，支持类SQL语法CQL，开发体验类似MySQL，可扩展PB级存储。推出企业版Lindorm for Cassandra云原生多模数据库，采用存储计算分离架构，支持海量数据的低成本存储和按需付费，具备更高性价比和更为丰富的企业级功能。
用于在线教育视频，短视频、监控视频等视频数据的实时存储、运营分析等场景。可提供高并发写，毫秒级低延迟的存储能力.-单节点故障，业务无性能抖动。不会因单节点故障而引发系统切换，导致卡顿、断联等问题，保障业务连续性.Always Online，业务持续在线.-优异的高并发写性能，支持千万OPS读写能力，毫秒级低延迟.高吞吐、...
来自：
云产品
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
基于Holoweb进行开发（推荐）步骤1 登录Hologres管理控制台步骤2 在HoloWeb页面，自动登录DB实例，登录到创建的数据库：db4demo 步骤3 利用HoloWeb创建用于进行存储实时数据的数据表“log_pv”。在HoloWeb页面顶 部选择SQL编辑器，单击新增SQL窗口，在临时SQL查询中输入DDL语句，点击 运行。（DDL语句可以从下载文件中 copy...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
基于函数计算实现直播流录制-存储-通知最佳实践 业务架构 场景描述 基于阿里云函数计算实现对直播流的实时录制，录制结束后会把录制的结果写入 OSS 存储桶，并把录制的结果写到消息队列，下游服务可以通 过订阅的方式来消费消息 应用场景 在互娱、教育、电商等行业都会有直播相关的业 务，大部分场合都需要对直播相关的业务...
实时监控应用关键业务异常与告警
使用日志服务（SLS）基于收集的业务日志对业务实现监控与告警，能够帮助您了解应用的运行趋势，及时发现业务异常状态，采用具体措施以保证系统稳定性。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读日志监控的重要性与业务价值如何实现日志监控与传统方案对比应用场景方案部署方案权益实时可观测，即时应对风险为了保障业务稳定性、提升客户满意度，运维监控告警与故障定位（运维）、检测与防范安全威胁（安全）、业务数据分析...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您