基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 阿里云函数计算(FC)•全链路自适应弹性，无需为流量峰谷做频繁 对象存储 OSS 的手工处理 阿里云云消息队列 Kafka 版•内置 CICD平台能力，灰度，回滚，监控开箱 云速搭 CADT 即用•按量付费，没有资源闲置费用 最佳实 践频道 ...
表格存储Tablestore
表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless分布式数据库，它可提供低成本、高性能的存储方案，同时也可提供稳定与极致的数据服务。
阿里云表格存储帮助钉钉完整了核心消息系统的全面重构，让整体架构的扩展性、安全性得到了全面的提升。帮助钉钉支撑了2020年疫情的持续的峰值。帮助钉钉节省成本60%以上.阿里云提供了Serverless方案，使世纪联华的业务峰值 QPS 超过 2019 年双十一的 230%，研发效率交付提效超过 30%，弹性资源成本减少 40%以上，顺利地扛过...
来自：
云产品
数据总线Datahub
数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，拥有高吞吐量、高稳定性、低成本等特点，与阿里云大数据生态系统完美打通，让您可以轻松构建基于流式数据的分析和应用。
提供DataConnector模块，稍作配置即可把接入的数据实时同步到下游MaxCompute、OSS、TableStore等存储分析系统，极大减轻了数据链路的工作量.灵活的缓存时间，下游可重复消费，自动多备份，保障数据高可靠性.既有适合人交互的Web控制台，也有适合程序交互的API和SDK，满足各种使用需求.【标题】行业实战场景.谢赟辉,靖鑫,也...
来自：
云产品
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步，跨帐号阿里云Kafka实例 之间消息、元数据同步，阿里云Kafka实例和IDC 自建Kafka（其他云Kafka）之间消息、元数据同步。应用场景 在大数据场景，企业的Kafka实例...
视频网站的存储与媒体处理方案
视频存储与处理服务解决方案是基于阿里云服务提供高可靠存储和实时自动化服务的一种视频存储和处理解决方案。根据企业业务需求，支持视频存储、水印、转码、点播等能力。帮助您优化和增强视频网站能力，为客户提供高质量的视频服务。
视频网站的存储与媒体处理方案 本方案通过视频点播VOD、轻量消息队列（原MNS）、函数计算FC、对象存储OSS、云服务器ECS实现视频上传、处理和存储服务。立即部署 40分钟 5元（假设您选择最低规格资源，且资源运行时间不超过30分钟。实际情况中可能部分实例无法购买需要根据实际情况调整资源规格，同时因您操作过程中实际使用...
来自：
技术解决方案
开源大数据平台 E-MapReduce 技术解决方案
阿里云开源大数据平台 E-MapReduce 技术解决方案，帮助您快速了解如何利用这款弹性伸缩、存算分离的企业级大数据平台服务来提升业务效率，降低成本。
助您轻松低成本大数据上云立即购买免费试用开源大数据平台 E-MapReduce方案详情云原生企业级数据湖对象存储 OSS 作为数据湖统一存储，可以存储来自于不同数据源的各类型数据。通过多种存储类型实现数据冷热分层，可无缝对接 EMR、PAI 等大数据分析和训练引擎。结合高性能文件存储 CPFS，实现 OSS 与 CPFS 数据双向流通，...
来自：
云产品
告别资源瓶颈，函数计算驱动多媒体文件处理
本方案推荐使用函数计算，利用事件驱动和异步任务的方式，将文件处理任务与核心应用解耦，同时依靠函数计算自动弹性扩展和按使用付费的优势，提升高并发的处理效率和服务稳定性。
实际产生费用因规格、版本不同可能产生变化，以控制台显示为准）函数计算 对象存储 消息服务 云服务器 ECS 云数据库 RDS MySQL 版 应用场景 技术方案的广泛应用场景 图片处理 电商网站和社交媒体网站会涉及大量图片的处理，如提供适配不同的手机分辨率、生成缩略图和增加水印防盗用等。视频处理 视频网站或涉及直播点播的...
来自：
技术解决方案
AnalyticDB MySQL湖仓版的用户运营分析实践
本方案使用AnalyticDB MySQL湖仓版实现对应用数据的分析，只需一个湖仓版实例就能完成“数据入湖+作业开发+在线分析”的一站式用户运营数据分析，提供更高效的数据处理方案与更低的数据存储成本。
请以控制台显示的实际价格和最终账单为准）云原生数据仓库AnalyticDB MySQL版 云数据库 RDS MySQL 版 对象存储 智能商业分析 Quick BI 应用场景 技术方案的广泛应用场景 大数据分析 快速处理海量的数据，支持多维度的复杂数据分析，适用于大数据分析场景。数据集成 覆盖日志、消息、数据库、HDFS等结构化和非结构化的数据源...
来自：
技术解决方案
轻量消息队列（原 MNS）
轻量消息队列（原 MNS）是一款易集成、高并发、可弹性扩展的轻量消息队列服务。轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力，让开发者低成本快速构建分布式、松耦合系统，高效地传递数据和通知消息。
阿里云消息服务 MNS 是一种高效、可靠、安全、便捷、可弹性扩展的分布式消息服务。MNS能够帮助应用开发者在他们应用的分布式组件上自由的传递数据、通知消息，构建松耦合系统.消息队列 RocketMQ.\\b消息队列 kafka.微消息队列 MQTT.消息队列 AMQP.【新特性推出】发布AMQP，兼容开源RabbitMQ.【高级特性】顺序消息，FIFO ...
来自：
云产品
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
阿里云对象存储 OSS（Object Storage Service）：是一款海量、安全、低成本、高可靠的 云存储服务，可提供 99.9999999999%（12个 9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。阿里云消息服务 MNS（Message Service）：是一种高效、可靠、安全、便捷、可弹性扩展 文档版本：20240422 5 ...
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
云消息队列 Kafka 版数据导入 Hbase 等存储，实现低成本存储和计算分析.Flink 实时数仓.云消息队列 Kafka 版支持数据流转到 Flink，实现ETL处理、实时数据分析等业务.支持阿里云主子账号、鉴权与授权机制，提供企业级的安全防护.VPC 网络隔离，对每次消息收、发请求进行安全访问控制，确保消息的安全性.全面支持 RAM 主子...
来自：
云产品
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
对象存储 OSS：对象存储 OSS，是海量、安全、低成本、高可靠的云存储服务。使用 RESTful API 可以在互联网任何位置存储和访问，容量和处理能力弹性扩 展，多种存储类型供选择全面优化存储成本。容器镜像服务 ACR（Alibaba Cloud Container Registry）：是面向容器镜像、Helm Chart等符合 OCI标准的云原生制品安全托管及高效...
移动开发平台 mPaaS
阿里云移动开发平台 mPaaS提供App开发、测试、运营及运维等云到端的一站式解决方案，帮助企业快速构建高质量的移动应用，阿里云快速开发平台提升企业产品生态发展。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台移动开发平台 mPaaS产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题移动开发平台 mPaaS为 App 开发、测试、运营及运维提供云到端的一站式解决方案，实现移动应用的快速搭建。立即购买免费试用快捷...
来自：
云产品
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
同时结合阿里云原生的文件存储 HDFS/对象存储 OSS等存储产品，将大数据分析作业运行在 Kubernetes集群上采用 Spark on ACK+ECI的方案架构，同时利用 Spark Operator方式做到轻松完成在计 算与存储分离架构的云原生平台上运行大数据分析作业。文档版本：20200409 2 Spark on ECI大数据分析 环境准备 1.环境准备 1.1.创建容器...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
基于阿里云分布式文件系统和 SSD盘高性能 存储，RDS支持 MySQL、SQL Server、PostgreSQL、PPAS（Postgre Plus Advanced Server，高度兼容 Oracle数据库）和 MariaDB TX引擎，并且提供了 容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦 恼。更多信息，请参见：www.aliyun.com/product/rds 函数...
大数据workshop
大数据workshop
tail-f nohup.out 文档版本：20210628（发布日期）32 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 步骤7 查询 datahub中是否已有消息，可见消息已正常投递到 datahub，观察到数据量在增 加。文档版本：20210628（发布日期）33 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 3.2.4.业务数据同步 步骤1 进入 DTS...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
说明：以上的方式使用的是开源 jdbc connector 写阿里云 RDS，因此在上述步骤 5中需要额外增加“附加依 赖文件”，实时计算 Flink全托管版集群内置提供了商业 化的 RDS connector，用户也可替换开源 jdbc connector，具体可参考产品官网文 档：https://help.aliyun.com/document_detail/185222.html 2.2. Datastream JAR...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
tail-fnohup.out 文档版本：20210803（发布日期）29阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 步骤4 查询datahub中是否已有消息，可见消息已正常投递到datahub，观察到数据量在增 加。（说明：刚开始实时流量曲线可能会没有生成）文档版本：20210803（发布日期）30阿里云最佳实践金融大数据WorkShop 最佳实践项目...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
- 产品推荐
- 这些文档可能帮助您