基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
(函数中的代码在后续需要进入函数计算控制 台补充) vCPU规格:0.35c(函数计算有多种CPU资源规格,可以根据实际情况自行选择) 内存规格:512MB(函数计算有多种内存资源规格,可以根据实际情况自行选择) 硬盘大小:512MB(函数计算提供免费的512MB的存储空间,如果超过512MB,会提供10GB的存储空间,但是会有额外...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
步骤5 ECS初始化通过实例自定义数据方式完成,脚本采用base64编码,userdata使用 可以参考https://developer.aliyun.com/article/72041 文档版本:20240322 7容器多云统一监控日志 部署基础环境 脚本原始内容如下#!bin/bash#AuthorHanyan&James exportK8S_VERSION=1.18.9 exportMASTER_IP=$(ifconfigeth0|grepnetmask|...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
飞天企业版
阿里云飞天企业版是基于阿里云飞天云计算操作系统,为政企客户专属构建的资源和云管完全独立的企业级云平台,阿里云专有云与公共云同根同源,支持私有化部署。
大数据上云全自研高性能大数据平台,支持本地高性能、高压缩率存储,也支持通过外表方式直接存储、分析异构存储系统的数据(如OSS/Hologres/OTS等),支持与开源Hadoop和自研MaxCompute的联邦计算。纳管Hadoop大数据平台支持对异构大数据平台的统一纳管,实现异构平台的联邦计算,无需在MaxCompute平台重复存储Hadoop平台的...
来自: 云产品
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
(函数中的代码在后续需要进入函数计算控制台 补充)l vCPU 规格:0.35c(函数计算有多种 CPU 资源规格,可以根据实际情况自行选择)l 内存规格:512MB(函数计算有多种内存资源规格,可以根据实际情况自行选择)l 硬盘大小:512MB(函数计算提供免费的 512MB 的存储空间,如果超过 512MB,会提供 10GB 的存储空间,但是会...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
基础环境访问验证 通过上一步骤,登录阿里云ACK控制台,查看ACK的pod和外网访问能力 方式1:直接通过Cloudshell 管理集群(模版中已经为APIserver绑定了公网EIP)如下,可以通过NAT直接访问外网(模版中已经开通了VPC内的NAT网关):操作脚本可gitclone的文件“360-SampleCode.sh”gitclonehttps:/best-practice:Abcd123456@...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
基于MSE云原生网关同城多活
基于MSE云原生网关同城多活
借助云原生微服务MSE网关,MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景,实现同城容灾的步骤,体现云原生相关产品在用户上云,高可用同城容灾多活场景下的能力。
常见的同城多活实现方式(如下),在这个架构里。DNS本身存在缓存,DNS的 域名是映射到机房的网关 IP,网关又是每个机房一个局部的。很难做到机房级故障 的秒级自动转移和非对等状态下的全局负载均衡。如果两个机房的微服务应用如果共 用一套注册中心,就没办法保证微服务调用单元内闭环。文档版本:20240423 IV 基于MSE...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
Oracle RAC 12C云上部署
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
vsw-private 文档版本:20240206 5OracleRAC12C云上部署 安装环境规划 可用区 北京可用区K IPv4网段 192.168.10.0/24 VIP1 192.168.100.103 HAVIP VIP2 192.168.100.104 SCAN-IP 192.168.100.105 1.2.4.ECS实例规划 类型 配置项 说明 计费方式 按量付费 地域 华北2(北京)可用区K ecs.g7se.4xlarge 实例 存储增强通用型 ...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
文件存储 NAS中的数据自动地在可用区 内以多副本冗余方式存储,避免数据的单点故障风险,提供高达 99.999999999%的 数据可靠性。NAS针对不同应用场景的业务模型提供多种规格类型的实例,满足高 吞吐或者低时延的存储性能要求。云速搭 CADT:是一款为上云应用提供自助云架构管理的产品,显著地降低应用 云上管理的难度和...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
面向生态的云原生企业级数据湖OSS 可构建云原生的企业级数据湖,作为统一的存储池,可以存储任意规模的数据,对接丰富的计算引擎,支持多种数据输入方式,并且在对象协议的基础上兼容 HDFS 协议,无缝对接 Hadoop 生态。查看更多去控制台体验更多功能产品选型数据存储数据传输数据处理与安全购买更多对象存储 OSS 资源包...
来自: 云产品
实人认证
阿里云实人认证是为企业或个人身份提供相关信息核验服务的身份验证平台,采用活体检测、人脸识别、权威信息核验等技术,为客户提供安全、便捷的身份认证服务。
OSS授权存储:客户自定义授权存储认证资料,云原生OSS存储为客户认证资料提供安全、全面的数据管理功能。敏感信息加密请求:个人敏感信息支持国密算法加密后请求。合规资质资质全面:权威资质认证包括:ISO 27001、ISO 27017、CSA STAR、ISO 27018、ISO 27701、ISO 29151、ISO 9001、ISO 20000、ISO 22301、BS 10012、PCI-...
来自: 云产品
系统运维管理 OOS
阿里云系统运维管理(简称OOS)提供的云上自动化运维服务,通过执行模板来完成任务的自动化运行,可以使用OOS管理ECS、RDS、SLB、VPC等云产品,提升日常运维管理效率
标准化运维任务将日常所需要的运维任务以模板的方式提供,并遵循代码(Code)的管理方式来管理模板。从创建到审核,再同步到生产账号中,后续的运维任务只从标准模板中选择运行,确保运维动作的安全,像源代码一样的规范,并以此完成运维即代码(Operations as Code)的最佳实践。产品功能补丁管理,自动修复安全问题OOS 的...
来自: 云产品
混合云存储构建VMware虚拟化平台
混合云<em>存储</em>构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
阿里云混合云存储阵列作为软硬一体的存储设备,集成了阿里云存储服务,融合了公 共云存储和传统存储阵列的优点: 简单:客户无需更改原有的IT架构,就可以像使用本地存储设备一样使用阿里 云混合云存储阵列,同时使用本地存储空间和云端存储空间,无需关注本地设备 存储协议同云存储协议之间的兼容性。文档版本:20191223...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
混合云存储
阿里云混合云存储包括混合云存储阵列、混合云CPFS存储、混合云分布式存储等多种产品类型。本地存储可以通过云缓存、云同步、云备份等方式无缝连通云存储,轻松实现云端一体。
新存储系统需提供高性能的存储服务.需要保证关键业务连续不中断运行.老旧设备种类繁多,不同存储的资源无法互通,形成数据孤岛.场景需求与痛点.通过异构虚拟化技术实现对第三存储的透明接管.智能RAID技术使数据块和热备块均匀分布在RAID阵列的所有成员盘中,1TB数据分钟级别重建.可在线横向扩展,最大支持16控制器,TB级...
来自: 云产品
文件存储CPFS
阿里云文件存储CPFS是完全托管、可扩展的并行文件存储系统。针对高性能计算场景的性能要求进行了深度优化,提供对数据毫秒级的访问和百万级IOPS的数据读写请求。
阿里云文件存储 CPFS 为 MOREXFV 购买的存储空间提供了高达 50GiB/s 的带宽和 240万 IOPS。在某电影渲染任务最大压力时,实测提供了 41.3GiB/s 和 32万 IOPS,极大地提高了渲染任务的执行效率.阿里云文件存储 CPFS 高性能大吞吐能力,满足了玩瞳科技前端 AI 应用数据进行 AI 模型训练的需求。同时弹性扩容能力使客户可以按...
来自: 云产品
文件存储NAS
文件存储(Network Attached Storage,简称NAS),是阿里云对外提供的兼容POSXI接口的分布式文件存储,容量和处理能力的弹性扩展,按实际容量付费真正使您专注于核心业务。
通用型NAS支持数据冷热分层,提供更具性价比的存储方式.通用型NAS满足数据共享、高吞吐的常规需求。极速型NAS的低延迟和快照技术,为Devops、金融业务提供专属优化。CPFS可以满足AI、HPC最严苛的I/O要求.了解CPFS.面向不同场景的通用型、极速型和CPFS.通用型 NAS 提供性能型、高级型、容量型三种规格,结合低频介质满足不同...
来自: 云产品
图像搜索
图像搜索是阿里云自研的一款用于图片间相似性检索的平台型产品。通过输入图片,可高精度、高效率的在图库网站中检索到与输入图片相似的图片集合,并支持定制化服务。以图搜图可广泛的应用于拍照购物、 商品推荐、版权保护、图片相似推荐等场景。
将图片搜索技术用于传统纺织产品的物联网平台,针对经纺织布料行业产品进行纹理识别,以搜图的方式反馈供应信息,通过“信息整合+图像识别+大数据”的方式,带给传统行业以新的生命力.深度学习算法训练,满足搜索精度要求.大规模检索引擎可支持百亿级别数据.支持实时更新维护数据.API调用便捷,满足服务快速搭建的需求....
来自: 云产品
存储解决方案
云存储解决方案面向大数据存储、多媒体存储(视频存储)、视频监控、基因生命科学、数据迁移、自动驾驶、在线教育、混合云存储、数据迁移、数据容灾备份等多个行业用户的多元化场景,提供更安全稳定、更优化、无缝上云的智能数据存储服务,为企业上云、实现数字化转型奠定数据基础。
该解决方案不仅极大程度地释放了用户本地机房的存储空间,更为用户提供了可承载海量视图的云上存储空间.能耗大:每日存储大量数据,用电功耗压力大.弹性差:特殊情况导致存储压力问题.成本高:需要投入大规模资金自建机房.本地仅近期热数据,节省本地 IDC 机柜空间,降低用电功耗压力.云上 OSS 存储空间可弹性扩展,快速...
来自: 解决方案
企业用户多账号合并之存储迁移集中
企业用户多账号合并之<em>存储</em>迁移集中
场景描述 本文介绍使用在线迁移服务,将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求,统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问,数据统一需求。 3.系统架构及资源成本优化需求,多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
性能调优:ᅳ 数据预估:根据之前获取的 bucket source-a的存储量及文件个数配置。ᅳ 流量控制:设置迁移任务执行的时段及最大占用流量,建议设置为源 bucket 的业务低峰期,最大占用流量默认为 40Mbsp(5MByte/s),可适当调整。步骤3 迁移任务创建,预计 3~5分钟完成:文档版本:20220505 19 企业用户多账号合并之存储...
来自: 最佳实践 | 相关产品:对象存储 OSS,文件存储NAS,访问控制,云速搭
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地数据中心基于SMB/NFS协议访问对象<em>存储</em>最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
本地数据中心基于 SMB/NFS协议访问对象存储 最佳实践 业务架构 场景描述 本地数据中心在本地存储有限的情况下可以基 于云存储网关搭建一个海量文件系统的文件 服务,实现多个数据中心互相之间高效的同步 和共享数据。云存储网关以对象存储 OSS为后 端存储,为云上和云下应用提供业界标准的文件 服务(NFS和 SMB)和块...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
数据库GDB
图数据库(Graph Database, 简称GDB)是阿里云自主研发的图数据库产品,经历阿里巴巴集团内丰富的应用场景打磨,具备行业最佳实践经验。是基于图技术的行业多元异构数据的融合、分析、决策引擎,是知识图谱的最佳底座。
通过图的共性关系发现和分析方法,通过计算共同邻居数进行相似节点推荐。适用于电商、保险的商品推荐场景.能够兼容市面绝大多数开源图查询产品,降低开发门槛.支持标准图查询语言.即时处理海量数据,分析洞察数据价值,满足关键业务应用需求.云数据库 MySQL 版.推荐搭配使用.在一个典型的社交网络中,常常会存在“谁认识谁...
来自: 云产品
< 1 2 3 4 ... 14 >
共有14页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用