基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
基于函数计算 FC实现阿里云 Kafka消息轻量级ETL处理 最佳实践 业务架构 场景描述 基于函数计算 FC处理消息队列 Kafka中的数据,进行 ETL处理后,将清洗归档后的数据上传到 OSS存储。应用场景 在大数据 ETL场景,Kafka是数据的流转中心,Kafka 中的数据一般是原始数据,可能存在多种 数据混杂的情况,需要进一步做数据清洗后...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
企业数据存储与备份解决方案
阿里云企业数据存储与备份解决方案,打破线下 IDC 数据孤岛,满足客户业务的数据合规性要求和多种数据源的快速备份恢复需求场景。
基于阿里云提供的存储与灾备平台,提供数据备份、数据容灾保护以及策略化归档管理,满足客户的数据合规性要求和多种数据源的快速备份恢复需求,保障业务连续性,节省企业运维成本,消除企业后顾之忧.企业数据存储与备份解决方案.本方案基于阿里云的云存储能力和灾备统一管理平台,快速实现业务数据云上存储与备份,保障企业...
来自: 解决方案
基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
应用场景 在物联网场景中,智能设备会产生大量的非结构化 ,并且采集量和频率都很高。比如各类摄像头(家 用摄像头、车载摄像头、工业监控摄像头等)采集的 数据。企业需要对这些非结构化数据做快速的分析和 处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场 景。解决...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
云原生企业级数据
基于对象存储 OSS 构建的数据湖,可对接多种数据输入方式,存储任何规模的结构化、半结构化、非结构化数据,打破数据湖孤岛。
数据无需处理、直接存储支持结构化、半结构化、非结构化等多种类型数据数据可以按照原始产生的形态直接存储到数据湖,支持多种数据输入源对接,提供便捷的数据接入和数据消费通道。计算与存储解耦合提供更灵活的系统架构设计,让计算、存储资源具备更好的可扩展性,对 Hadoop 生态体系有良好的支持能力,通过细粒度的权限...
来自: 解决方案
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地<em>数据</em>中心基于SMB/NFS协议访问对象<em>存储</em>最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
本地数据中心基于 SMB/NFS协议访问对象存储 最佳实践 业务架构 场景描述 本地数据中心在本地存储有限的情况下可以基 于云存储网关搭建一个海量文件系统的文件 服务,实现多个数据中心互相之间高效的同步 和共享数据。云存储网关以对象存储 OSS为后 端存储,为云上和云下应用提供业界标准的文件 服务(NFS和 SMB)和块...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
应用场景 现在绝大多数客户都有很多非结构化的数据存 在OSS中,以图片,视频,音频居多。举一个 产品列表 图片处理的场景,现在各种终端种类繁多,不同 专有网络VPC  的终端对图片的格式、分辨率要求也不同,所以  阿里云函数计算(FC)一张图片往往会有很多张衍生图,那如果所有的  阿里云对象存储(OSS)衍生图都存在...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
无代理ECS数据备份与高效环境搭建
本方案是基于快照提供数据保护和环境搭建的解决方案。可以帮助您实现无代理且有效可靠的数据备份,同时还可以帮助您快速克隆部署开发测试环境。使用基于快照的备份不仅简单有效,在数据备份以及恢复中也能保证稳定可靠,同时基于快照的环境搭建,不仅可以免于从0到1搭建环境,还可以将环境、数据等全部打包克隆到新机器上。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台无代理ECS备份与高效环境搭建方案介绍方案优势应用场景方案部署方案权益无代理ECS备份与高效环境搭建本方案是基于快照提供数据保护和环境搭建的解决方案,可以帮助您实现无代理且有效可靠的数据备份,同时还可以帮助您快速克隆部署开发测试...
来自: 解决方案
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
ZRS)¥0.15/GB/月存储资源包¥0.10/GB/月存储资源包¥0.033/GB/月无无规格类型适用场景对象最小计量大小最少存储时间要求数据访问特点图片处理数据取回费用存储价格(本地冗余 LRS)存储价格(同城冗余 ZRS)场景推荐选型数据存储数据传输购买更多对象存储 OSS 资源包入门与试用快速上手01开通 OSS 服务1打开 OSS 开通页面2在 ...
来自: 云产品
企业级云灾备与数据管理
本方案以备份 ECS 文件为例,介绍如何部署一个简单的云灾备环境,以满足常见的数据保护需求。
数据通过备份在出现丢失或者损坏时能够很快恢复,因行规安全要求海量历史冷数据需要长时间保留十年甚至更长,通过策略化归档低成本长期存储。方案部署01部署准备开通云备份、ECS,部署 ECS,并确定需要备份的 ECS 文件目录。02 创建备份计划创建备份计划,包括新建备份库来存放备份数据,同时确定备份库的加密方式和...
来自: 解决方案
基于FC实现的Web端视频录制最佳实践
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景,在线教育领域会有直播视频录制的需求,但是往往一个页面上的内容是多种多样的,不止有直播流,可能还有白板,评论等其他元素,如果只是录直播流,那内容是不完整的,所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
该最佳实践的 Callback 在 Web端视频录制应用创建成功后,除了 recorder函数外,还有 dest-fail和 dest-succ两个函 ,这两个函数就是用来当 recorder执行失败或者执行成功后回调的函数。如果在这两个函数 文档版本:20240325 20 基于 FC实现的 Web端视频录制最佳实践 场景验证 中可以自行实现被回调后的后续处理逻辑。...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
文件存储 NAS中的数据自动地在可用区 内以多副本冗余方式存储,避免数据的单点故障风险,提供高达 99.999999999%的 数据可靠性。NAS针对不同应用场景的业务模型提供多种规格类型的实例,满足高 吞吐或者低时延的存储性能要求。云速搭 CADT:是一款为上云应用提供自助式云架构管理的产品,显著地降低应用 云上管理的难度和...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
Oracle RAC 12C云上部署
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
基于ESSD存储NVMe协议提供的多实 例共享能力的双机集群OracleRAC架 构,为用户提供统一数据服务的同时提 供故障切换与恢复能力(FailOver集群 功能),避免单点故障,减少停机时间,确保系统全年7*24小时稳定运行。2.在集群环境运行中的所有实例通过共享 的数据库运行事物,RAC架构相对上层 应用架构完全透明,整体数据负载...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
应用日志数据归档
方案为企业提供云上日志数据的存储成本优化。提供了访问日志数据采集、自动压缩、持久化存储,满足企业的网站访问日志数据的归档需求。具有低成本、免运维、弹性扩容的优势。
相关产品云服务器 ECS日志服务 SLS对象存储 OSS专有网络 VPC在线咨询方案优势大规模采集支持高吞吐量的日志数据采集,每秒可达百万条日志数据,可满足大规模应用的日志采集需求。自动化压缩提供自动化压缩功能,可对采集到的日志数据进行压缩处理,减少存储空间占用,节省存储资源。持久化存储支持将日志数据归档到对象...
来自: 解决方案
高可用及共享存储Web服务
随着业务规模的增长,数据请求和并发访问量增大、静态文件高频变更,企业需要搭建一个高可用和共享存储的网站架构,以确保网站服务能够7*24小时运行的同时,可保障数据一致性和共享性,并降低数据重复存储的成本。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台高可用及共享存储Web服务方案介绍方案优势应用场景方案部署方案权益高可用及共享存储Web服务随着业务规模的增长,数据请求和并发访问量增大、静态文件高频变更,企业需要搭建一个高可用和共享存储的网站架构,...,并降低数据重复存储的成本...
来自: 解决方案
混合云存储
阿里云混合云存储包括混合云存储阵列、混合云CPFS存储、混合云分布式存储等多种产品类型。本地存储可以通过云缓存、云同步、云备份等方式无缝连通云存储,轻松实现云端一体。
在金融、医院、教育、设计公司等行业,办公系统,文件服务器,数据库和虚拟化平台需要高可靠、高性能存储,重要数据异地互备满足等保需求,同时企业还希望把老旧存储设备利用起来.现行核心数据库的存储系统存在性能瓶颈,无法满足业务及多部门共享数据的应用需求。新存储系统需提供高性能的存储服务.需要保证关键业务连续不...
来自: 云产品
文件存储NAS
文件存储(Network Attached Storage,简称NAS),是阿里云对外提供的兼容POSXI接口的分布式文件存储,容量和处理能力的弹性扩展,按实际容量付费真正使您专注于核心业务。
容器数据存储至NAS,实现计算弹性下的数据持久化。CNFS加速能力消除算分离带来的访问延迟.了解CNFS加速器.算分离&计算端加速.提供简单的界面,可以快速创建和配置文件系统,为您管理文件存储软硬件基础设施,根据应用所需,动态提供存储容量和性能.完全托管&动态弹性.与容器ACK服务深度整合,为容器环境提供数据共享和...
来自: 云产品
存储解决方案
云存储解决方案面向大数据存储、多媒体存储(视频存储)、视频监控、基因生命科学、数据迁移、自动驾驶、在线教育、混合云存储、数据迁移、数据容灾备份等多个行业用户的多元化场景,提供更安全稳定、更优化、无缝上云的智能数据存储服务,为企业上云、实现数字化转型奠定数据基础。
通过与多种实时、离线计算框架、计算服务的对接方式,满足结构化、半结构化、非结构化等不同数据类型的海量数据存储需求,提供海量、高可靠、易扩展、高性价比、全面支持计算生态的数据湖解决方案.缺弹性:自建 HDFS 资源浪费,计算存储耦合扩容难.成本高:自建 HDFS 成本高,且缺乏数据冷热分层方案.缺服务:相比阿里云 ...
来自: 解决方案
表格存储Tablestore
表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless分布式数据库,它可提供低成本、高性能的存储方案,同时也可提供稳定与极致的数据服务。
能够高效管理超过千万量级车辆,同时提供长期低成本的存储数据,节省超过90%以上成本.方案效果与价值.企业物联网平台.云服务器 ECS.大数据计算服务 MaxCompute.推荐搭配使用.场景描述及概要.在电商、金融、新零售等涉及交易与协定的场景中,都涉及大量的订单与数据。传统关系型数据只能支持强一致的在线业务,但海量的订单...
来自: 云产品
混合云存储构建VMware虚拟化平台
混合云<em>存储</em>构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
 高效:自动云分层,热数据存放在本地存储空间,确保了数据的高速访问,冷 放在云端,充分利用公共云存储的海量空间。云缓存功能确保当数据存放在云 端的时候,也能利用本地存储空间的缓存功能,为应用提供快速响应。 可靠:阿里云混合云存储阵列采用了全冗余的硬件设计,支持数据加密,集成 AD/LDAP,支持ACL,...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
企业用户多账号合并之存储迁移集中
企业用户多账号合并之<em>存储</em>迁移集中
场景描述 本文介绍使用在线迁移服务,将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求,统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问,数据统一需求。 3.系统架构及资源成本优化需求,多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
使用 迁移服务,您可以将第三方数据轻松迁移至阿里云对象存储 OSS,也可以在对 象存储 OSS 之 间 进 行 灵 活 的 迁 移。详 见 https://help.aliyun.com/product/94157.html 文档版本:20220505 III 企业用户多账号合并之存储迁移集中部署 目录 目录 文档版本信息.I 法律声明.II 产品介绍.III 目录.IV 最佳实践...
来自: 最佳实践 | 相关产品:对象存储 OSS,文件存储NAS,访问控制,云速搭
< 1 2 3 4 ... 9 >
共有9页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用