基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
应用场景 在物联网场景中，智能设备会产生大量的非结构化数 据，并且采集量和频率都很高。比如各类摄像头（家 用摄像头、车载摄像头、工业监控摄像头等）采集的 数据。企业需要对这些非结构化数据做快速的分析和 处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场 景。解决...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步，跨帐号阿里云Kafka实例 之间消息、元数据同步，阿里云Kafka实例和IDC 自建Kafka（其他云Kafka）之间消息、元数据同步。应用场景 在大数据场景，企业的Kafka实例...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于飞天 分布式系统和高可靠存储引擎，提供多节点高可用架构、弹性扩容、容灾、备份恢复、性能 优化等功能。...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
基于SpringCloud应用玩转MSE实践 业务架构 场景描述 随着业务不断创新，大型的单个应用和服务会被拆分为数 个甚至数十个微服务，微服务架构已经被广泛应用。微服 务的好处在于快速迭代，迭代过程保障线上流量不受损。依赖开源产品缺少专业运维工具，常常需要投入较大的运 维人力和成本。本实践基于云原生应用产品提供微服务...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
获取 Kafka 接入点 在 EMR Kafka集群页面中，展开 emr_core_1后有三个节点，记录这三个 IP地 址。记录上述地址，后续章节需要用到。192.168.0.231，192.168.0.232，192.168.0.233 3.2.配置 App Server 应用环境 CADT架构图中，双击 ecs“业务应用”，点击 远程登录。文档版本：20240419 12 大数据近实时数据投递 MaxCompute...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
在HoloWeb控制台，选择SQL编辑器，然后点击新增SQL窗口，选择对应的数 据库，编辑填写相应的DDL建表语句（默认数据表的属性是列存模式，列存模式更 适合OLAP数据分析，数据表的行存模式更适合高QPS点查询场景）。1.首先创建ads_province_info表。文档版本：20210803（发布日期）39阿里云最佳实践金融大数据WorkShop 最佳...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
数据总线Datahub
数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，拥有高吞吐量、高稳定性、低成本等特点，与阿里云大数据生态系统完美打通，让您可以轻松构建基于流式数据的分析和应用。
可以利用数据总线DataHub和实时计算引擎Flink构建实时数仓系统，将数据分为：公共明细层(dwd)，公共汇总层(dws)，应用结果层（ads），使用Kappa架构构建整个体系.传统Lambda架构的两条链路缩减为一条，大大降低维护成本.统一的Kappa架构.满足业务对实时性的需求，做到了数据复用，减少重复计算与存储；同时使得业务指标口径...
来自：
云产品
云服务总线CSB
云服务总线CSB是一个基于高可用分布式技术构建的服务API开放平台，帮助企业打通内外新旧系统，实现跨技术平台、跨应用系统、跨企业组织的服务互通，以服务API的形式，加以一致的组织和管控，构建企业内部以及与上下游、第三方企业之间融合、重塑、创新的合作平台。
了解云服务总线的主要功能和应用.开放平台快速入门.了解云服务总线产品文档.API调用SDK使用说明.位于企业内部数据中心的业务系统，与企业在云上的业务系统之间，通过各自环境内云服务总线CSB实例之间“桥接”实现的服务通道，把各自的服务在对方云CSB实例上发布成API，进行管理和授权，让对方可以订阅和访问.企业能力可对外...
来自：
云产品
事件总线 EventBridge
事件总线 EventBridge是阿里云提供的一款无服务器事件总线服务，支持阿里云服务、自定义应用、SaaS应用以标准化、中心化的方式接入，并能够以标准化的 CloudEvents 1.0 协议在这些应用之间路由事件，帮助您轻松构建松耦合、分布式的事件驱动架构。
每次请求均会进行安全访问控制，确保数据安全；支持RAM主子账号、RAM访问控制，STS；支持HTTP/HTTPS协议。提供事件的可观测性能力，支持事件查询、审计以及全链路的追踪；提供事件的可治理能力，支持事件流控、事件回放、以及事件重试策略等；（敬请期待）.安全性&可观测与可治理能力.支持事件Schema注册中心，Schema的自动...
来自：
云产品
地址标准化
地址标准化（Address Purification）是依托阿里云海量的地址语料库，及超强的NLP算法实力所沉淀出的高性能、高准确率、功能覆盖最全的标准地址算法服务。可为企业、政府机关及开发者提供地址数据清洗。地址标准化通过地址解析、补全、匹配等赋能业务的上层应用。
通过地址智能填写服务帮助电商和互联网用户快速、高效、准确的填写地址，实现从源头上进行标准化，便于商家发货和基于地址的大数据分析.地址逆编码：通过将定位转化为地址，实现地址的快速准确填写.地址输入联想：输入地址联想出多个附近的POI，实现地址的快速填写.粘贴地址智能解析：将拷贝粘贴的地址进行智能解析，实现...
来自：
云产品
ACK容器平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 产品列表 容器集群 API Server的安全访问控制 容器服务 Kubernetes版 容器服务多租户场景下的授权管理 负载均衡 SLB 容器中的敏感信息数据的存储 专有网络 VPC 容器服务集群安全策略配置管理 访问控制 RAM 最佳实践频道 阿里云最佳实践...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
通过Nginx和Pythonflask搭建WebServer，模拟应用中的关 键页面，比如登录、课程内容等，之后构造若干用户使用的模拟日志数据，投递到数 据湖进行分析后获取应用PV、UV、课程内容访问排行、平均得分等等。方案优势 支持超过10亿条元数据规模的数据管理，同时支持高可靠和高可用。 支持元数据实时备份和重建集群快速恢复...
影视数据分发汇集与传输加速
场景描述 使用阿里云对象存储服务OSS及OSSBrowser 工具，实现影视数据多用户多地域分发、汇集， 以及传输加速的最佳实践。 解决问题 1.跨地域、多角色、分权限文件上传、下载。 2.基于OSS及其客户端实现Serverless文件 分发服务（可替换传统FTP服务）。 3.OSS文件传输全球加速。 产品列表 lOSS lRAM
影视数据分发汇集与传输加速 场景描述 业务架构 使用阿里云对象存储服务 OSS及 OSSBrowser 工具，实现影视数据多用户多地域分发、汇集，以及传输加速的最佳实践。解决问题 1.跨地域、多角色、分权限文件上传、下载。2.基于 OSS及其客户端实现 Serverless文件 分发服务（可替换传统 FTP服务）。3.OSS文件传输全球加速。产品...
工业控制性能优化解决方案
工业控制性能优化是基于对控制器的参数实时评估与监控，通过阿里云大数据处理和计算的能力，结合人工智能算法，机器学习的能力，为企业提供高效的性能评估与整定，更方便、快捷地完成回路控制性能的批量评估和整定优化工作，为企业提供最佳的控制性能优化解决方案。
明确项目和控制性能相关，按要求提交合作需求，确保电话畅通.阿里云员工在5个工作日内与您联系，沟通合作相关事项.阿里云架构师会为项目指定方案，可线上/线下深入交流.商务服务团队与您签订商务合同，项目经理跟进项目交付.1、数据上报：CSV文件上传，数据实时自动上报。2、回路组态：PID回路组态（PV/SP/OP）三个位号数据...
来自：
解决方案
大数据workshop
大数据workshop
详见：https://www.aliyun.com/product/ecs DataHub：数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻 松 构 建 基 于 流 式 数 据 的 分 析 和 应 用。详见：https://www.aliyun.com/product/datahub 实时计算 Flink 版：实时计算 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
MaxCompute向用户提供了完善的数据导入方 案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有 效 降 低 企 业 成 本，并 保 障 数 据 安 全。详 见：https://help.aliyun.com/product/27797.html Dataworks：DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引 文档版本：20210802（发布...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
- 产品推荐
- 这些文档可能帮助您