基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
比如各类摄像头(家 用摄像头、车载摄像头、工业监控摄像头等)采集的 数据。企业需要对这些非结构化数据做快速的分析和 处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场 景。解决问题  解决高并发情况下处理音视频的性能问题。产品列表  解决自动化处理流程的问题。...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
(函数中业务代码的执行时长,可根据函数承载的 业务自行设置其他时间,最大支持 24小时)请求处理程序:index.handler(函数的入口函数名称,index为文件名,handler 为函数名)环境变量:本 demo中的程序为过滤关键词,将过滤后的数据存储到 OSS路径, 中需要依赖两个环境变量 BUCKET_NAME和FILTER_KEYWORD,根据实际...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
函数计算为您准 备好计算资源,弹性地、可靠地运行任务,并提供日志查询、性能监控和报警等功能。阿里云对象存储 OSS(Object Storage Service):是一款海量、安全、低成本、高可靠的 云存储服务,可提供 99.9999999999%(12个 9)的数据持久性,99.995%的数据可用性。多种存储类型供选择,全面优化存储成本。阿里云消息...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
移动开发平台 mPaaS
阿里云移动开发平台 mPaaS提供App开发、测试、运营及运维等云到端的一站式解决方案,帮助企业快速构建高质量的移动应用,阿里云快速开发平台提升企业产品生态发展。
查看详情查看更多了解mPaaS产品定价策略,选择最优方案安全合规移动开发平台(Mobile PaaS,简称 mPaaS)能够为移动开发、测试、运营及运维提供云到端的一站式解决方案,全面覆盖开发、输入、存储、传输、认证、应用加固、容灾等多个领域,提供多风险监控,隐私合规监测、同时提供统一的监控、运维等服务体系,打造安全...
来自: 云产品
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
 Initializer回调程序:index.initializer  PreStop回调程序:index.destroy 步骤5 点击函数代码页签,删除 WebIDE 里的代码,打开 2.1 步骤中下载的 kafka-message-sync.py文件,复制内容,粘贴到WebIDE。文档版本:20240330 42基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 然后点击部署代码...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
方案优势●日志服务提供高可用的存储、查询引擎,全托管、无需运维投入●无需使用logstash中转数据,提高了日志查询的实时性●无需使用Kafka和Elasticsearch,避免占用机器资源,只需按量付费●兼容Elasticsearch生态、程序(Kibana、API访问等)部署架构 架构说明 2台ECS,1个ACK集群,1个EIP,1个NAT网关,1个SLS实例(跳...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
Serverless 开发平台
阿里云Serverless 开发平台是无服务器开发平台,可通过Serverless 应用部署和开发快速提高Serverless 项目研发、应用集成部署与运维效能,无需考虑服务器即可快速构建并运行应用程序。
项目管理平台云原生应用开发平台提供项目管理平台,提供了全面的项目管理和监控工具。您可以轻松管理多个应用项目,实时监控应用性能,并自动扩展资源以满足流量需求。同时提供团队协作和权限控制功能,使团队成员能够高效协作,确保项目的安全和可靠。开发者工具Serverless Devs 是云原生应用开发平台的核心工具,为您提供...
来自: 云产品
MSE网关使用JWT进行认证鉴权
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务,通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景,对于敏感的服务路由(可通过黑白名单方式配置)在网关层进行认证鉴权。
SAE能够让您免运维 IaaS和 K8s,秒级完 成从源代码、代码包、Docker镜像部署任意语言的在线应用(例如 Web、微服务、Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载 均衡等配套能力。云速搭 CADT(Cloud Architect Design Tools):是一款为上云应用提供自助式云 架构管理的产品,显著地降低应用...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
函数计算为您准 备好计算资源,弹性地、可靠地运行任务,并提供日志查询、性能监控和报警等功能。 内容分发网络(ContentDeliveryNetwork,CDN):是建立并覆盖在承载网上,由不同区 域的服务器组成的分布式网络。将源站资源缓存到全国各地的边缘服务器,供用户就近获 取,降低源站压力。 阿里云对象存储OSS...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
(函数中业务代码的执行时长,可根据函数承载的业 务自行设置其他时间,最大支持 24 小时)l 请求处理程序:index.handler(函数的入口函数名称,index 为文件名,handler 为 函数名)l 环境变量:默认设置连接 MongoDB 需要的属性,但具体的值需要后续在函数控制 台编辑。n mongodb_endpoint:MongoDB 连接地址 n mongodb_...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
云消息队列 Confluent 版
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作,基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务,旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案。
每个消费组可针对消息堆积量设置监控告警;提供完备的管控OpenAPI,实现各类资源管理和运维.开箱即用,无缝迁移.全托管 Confluent Platform,无需搭建,即开即用;无缝迁移现有业务,代码零修改,大幅降低迁移成本和技术风险,轻松享有弹性和高可用优势.通用icon文字列表.支持多种主流编程语言进行软件开发,例如 Java、...
来自: 云产品
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
熔断效果展示 推送开关后,程序的慢调用生效,就会触发熔断规则:观察mseconsumer应用的接口详情,在客户端看到具体熔断信息。路径:治理中心-应用治理-接 口详情。文档版本:20240229基于SpringCloud玩转MSE 9.一键释放云资源 场景已经完成,可以将验证通过的环境直接用于生产。如果不再使用该架构,也可以通过CADT释放...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
全域采集与增长分析Quick Tracking
全域采集与增长分析(Quick Tracking)是阿里云推出的应用数据采集及分析产品,为运营、BI、产品和决策层提供一站式数据化运营服务:通用的多维度用户行为分析、自助分析功能、数据无缝对接其他大数据产品,助每个企业实现基于大数据技术的精细化运营能力。
性能监控保障用户体验.-一站式提供开发、产品等角色行为数据和性能数据洞察-提供App、Web、小程序性能监控与告警能力-挖掘业务增长与用户体验间微妙变化.11A_【标题】产品功能.孙慧颖,靖鑫,也树.参数规范统一,埋点开发简单,数据安全生产.统一事件与参数规范,准确描述用户操作路径。可按业务,组织管理,提供数据与权限...
来自: 云产品
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
广泛应用于企业级应用数 据共享、容器、AI机器学习、Web 服务和内容管理、应用程序开发和测试、媒体 和娱乐工作流、数据库备份等场景。详见:https://www.aliyun.com/product/nas 对象存储 OSS:是一款海量、安全、低成本、高可靠的云存储服务,提供 99.9999999999%(12个 9)的数据持久性,99.995%的数据可用性。多种存储...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
实时数仓Hologres
Hologres(原交互式分析)是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与自助分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。
实时数仓Hologres(原交互式分析).Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时...“万里牛”实时数仓的演进之路.[页匠][rax1.0]关注小程序(拖进去记得配置).rax-web,miniapp,关注.[页匠][rax1.0]关注小程序(拖进去记得配置).rax-web,miniapp,关注.唐家哲,靖鑫,也树.旧商品卡片,建议使用「轻量商品卡片」.
来自: 云产品
轻量级GPU部署云游戏最佳实践
轻量级GPU部署云游戏最佳实践
随着AI深度学习,视频处理,科学计算以及图形可视化等应用场景的普及,GPU的市场需求越来越大,但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限,可以提供比单颗物理GPU更细粒度的服务,从而让客户以更低成本、更高弹性开展业务。
文档版本:20220211 23 轻量级 GPU部署云游戏 云游戏资源监控 文档版本:20220211 24 轻量级 GPU部署云游戏 番外篇-街头霸王 6.番外篇-街头霸王 以上已经完成射击类游戏在 Linux 环境下的部署并可以流畅体验。此处再介绍基于 Windows部署格斗类游戏街头霸王。6.1.部署 gaminganywhere Windows服务端 6.1.1.远程登录 Windows...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
云原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库,可提供PB级海量数据在线/离线分析服务,是面向各行各业的有竞争力的数仓方案,真正做到“人人可用的数据分析服务”。
用户只需在应用程序中使用简单的SQL,配合GIS函数操作,即可处理复杂的空间地理数据模型(支持2D及3D处理)。得益于云原生数据仓库AnalyticDB PostgreSQL版的OLAP数据综合分析能力,用户更可以实现基于地理信息的海量数据分析工作,为物联网、移动互联网、物流配送、智慧出行(智慧城市)、LBS位置服务、O2O业务系统等提供...
来自: 云产品
游戏业务分区合服
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
基于阿里云分 布式文件系统和 SSD盘高性能存储,RDS支持 Relational MySQL、SQL Server、PostgreSQL、PPAS RDS Database(Postgre Plus Advanced Server,高度兼容 Service Oracle数据库)和 MariaDB TX引擎,并且提供 了容灾、备份、恢复、监控、迁移等方面的全套解 决方案,彻底解决数据库运维的烦恼。阿里云对象存储服务...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据传输,NAT网关,云企业网
云上IT治理workshop
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施,集团 旗下有多个分公司(如制造分公司和销售分公 司),各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴,拟达到以下 业务目标: 1. 各个分公司拥有独立的账号,可以购买云资 源,由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建,分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
文档版本:20210909(发布日期)74 云上 IT治理 Workshop 权限验证 步骤8 跳转到 ECS 制 台,可 以 看 到 2 台 ECS 已 创 建 成 功。(https://ecs.console.aliyun.com/#/server/region/cn-hangzhou )8.2.使用开发组 RAM用户使用云资源 使用开发组 RAM用户 dev001登录阿里云,校验账号只能查看开发资源组下的资源,且...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,访问控制,操作审计,资源管理,配置审计
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
本地应用程序可将这些卷作为 iSCSI目标进行访问。块网关提供两种 模式:透传模式和缓存模式。透传模式可以将块卷数据切片同步上云,适用于专线 等高速链路客户;缓存模式提供本地缓存盘进行读写加速,缓存数据异步上云,适 用于期望本地快速访问但是上云链路慢的客户。对象存储 OSS:阿里云对象存储 OSS(Object Storage ...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
< 1 2 3 4 ... 9 >
共有9页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用