基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化<em>文件</em>实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
基于OSSObjectFC实现非结构化文件实时处理最佳实践 业务架构 场景描述 基于阿里云OSS和函数计算共同实现的产品化 集成解决方案OSSObjectFC,实现可以OSS 中的非结构化数据在读取时插入自定义业务逻 辑,对非结构化数据做实时处理后再返回。应用场景 现在绝大多数客户都有很多非结构化的数据 在OSS中,以图片,视频,音频...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算
Serverless 开发平台
阿里云Serverless 开发平台是无服务器开发平台,可通过Serverless 应用部署和开发快速提高Serverless 项目研发、应用集成部署与运维效能,无需考虑服务器即可快速构建并运行应用程序。
在编写函数代码时,需要在一个名为s.yaml的文件中定义函数的配置信息,包括函数名称、运行环境、内存、超时时间等。此外,还需要为函数配置触发器和其他相关设置。在本地调试函数时,可以使用s local invoke命令进行调试。这个命令会在本地模拟函数计算环境,并提供单步调试的功能。在调试完成后,可以通过执行s deploy命令...
来自: 云产品
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
(函数中的代码在后续需要进入函数计算控制 台补充)vCPU规格:0.35c(函数计算有多种 CPU资源规格,可以根据实际情况自行选择)内存规格:512MB(函数计算有多种内存资源规格,可以根据实际情况自行选择)硬盘大小:512MB(函数计算提供免费的 512MB的存储空间,如果超过 512MB,会 提供10GB的存储空间,但是会有额外收费...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
打开章节2.1中下载的play-video-func.js ,复制其中代码,将其粘贴到WEBIDE中,然后点击右上方部署代码按钮。步骤4 点击WEBIDE右上角的TogglePanel按钮,打开终端。分别执行以下命令:npminstallfluent-ffmpeg npminstallflv.js npminstallali-oss npminstalluuid 执行完以上4个命令后,点击左上方部署代码按钮。文档...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
(函数中的代码在后续需要进入函数计算控制 台补充)vCPU规格:1 vCPU(函数计算有多种 CPU资源规格,可以根据实际情况自行选择)内存规格:1024 MB(函数计算有多种内存资源规格,可以根据实际情况自行选择)硬盘大小:512MB(函数计算提供免费的 512MB的存储空间,如果超过 512MB,会 提供10GB的存储空间,但是会有额外...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
(函数中的代码在后续需要进入函数计算控制 台补充) vCPU规格:0.35c(函数计算有多种CPU资源规格,可以根据实际情况自行选择) 内存规格:512MB(函数计算有多种内存资源规格,可以根据实际情况自行选择) 硬盘大小:512MB(函数计算提供免费的512MB的存储空间,如果超过512MB,会提供10GB的存储空间,但是会有额外...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
云速搭部署 NAS 文件系统
云速搭部署 NAS <em>文件</em>系统
本实践通过云速搭构建一个 NAS,并将 NAS 文件系统挂载到 ECS 的目录上。
云速搭部署 NAS文件系统 文档版本信息 云速搭 部署 NAS文件系统 最佳实践 文档版本:20211027(发布日期)云速搭部署 NAS文件系统 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署 NAS文件系统 文档编号 245 文档版本 V1.0 版本日期 2021-10-27 文档状态 对外发布 制作人 洁谦 文档变更记录 版本编号 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,云速搭CADT
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
数据库文件存储 DBFS数据库文件存储(DBFS)是一款针对数据库场景的云原生共享文件存储服务。存储容量单位包 SCU一种预付费存储售卖形态,可以用来抵扣多种不同类型云存储产品的按量付费账单。存储数据服务日志服务 SLS免费试用行业领先的日志大数据解决方案,一站式提供数据收集、清洗、分析、可视化和告警功能。云备份 ...
来自: 云产品
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
Wordpress 储 上 传 的 路 径 为/usr/share/nginx/wordpress/wp-content/uploads,因此需要将 NAS挂载至此目录下。先创建该目录:mkdir-p/usr/share/nginx/wordpress/wp-content/uploads 步骤3 挂载 NAS实例。根据 3.2.获取 NAS实例挂载点获取的挂载命令,修改挂载点为 wordpress uploads 目录/usr/share/nginx/...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
SAP S/4HANA上云最佳实践
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型,阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
高可用相关的资源 a)NAS资源:建议使用阿里云 NAS作为共享文件系统,用于提供 SAP系统 布局中所需如/usr/sap/trans,/sapmnt等,一般这些共享文件系统对性能要 求不高,通用容量型 NAS即可以满足需求 b)STONITH设备:建议使用阿里云共享块存储作为高可用集群的 STONITH设 备。需要联系阿里云 SAP解决方案架构师进行白...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关,云企业网,VPN网关
Alibaba Cloud Linux
Alibaba Cloud Linux 是阿里云打造的 Linux 服务器操作系统发行版。为云上应用程序提供 Linux 社区的增强功能,同时通过引入更完善的发行版质量体系,确保产品品质,提供云上最佳用户体验。
相关产品云服务器 ECS容器服务 ACK在线咨询产品定价Alibaba Cloud Linux 是免费镜像,但当您选用 Alibaba Cloud Linux 镜像创建 ECS 实例时,需要支付其他资源产生的费用,如 vCPU、内存、存储、公网带宽和快照等。免费试用计费方式使用其他资源产生的计费详情,请点击右侧“计费详情”了解。了解云服务器 ECS 的计费详情...
来自: 云产品
混合云存储构建VMware虚拟化平台
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
文件存储NAS:存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的 分布式文件系统。兼容POSIX文件接口,可支持数千台计算节点共享访问,可 以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计 算BCS、高性能计算EHPC,AI训练PAI等计算业务上提供高性能的共享存储,用户无需修改应用程序,即可无缝...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
EMR集群安全认证和授权管理 
EMR集群安全认证和授权管理 
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证,通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例,演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库,并 介绍在整个数据流程中,如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
步骤2 将 Kafka集群的 emr-header-1的/etc/hosts内容拷贝到 emr_loggen的/etc/hosts 中,下面红色字体为 Kafka集群的 emr-header-1节点的 VPC IP地址。ssh root@10.17.105.171"cat/etc/hosts">>/etc/hosts 步骤3 通过以下命令生成一个 Flume的配置文件。cd/opt/bigdata/flume/job_test cp flume-kafka.conf flume-emr-...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,E-MapReduce
多账号下企业分账
多账号下企业分账
场景描述 财务分账,是根据企业的成本中心,将云上资源的成本划分到给各个项目组/业务部门;助力企业快速梳理云上成本结构,搭建复杂组织架构下的成本关系,便捷地进行财务和云上成本的管理。 大型企业或集团公司,由于组织架构复杂,业务复杂等原因,通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源,如何建立有效的分账方案,是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理,IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况,清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
单击下载即可得到 CSV 。注意导出的文件会暂存在阿里云上,三天后自动删除。5.3.解读分账账单 在下载的分账账单中,包含分账所需的字段财务单元和实例标签。本章节我们根据这 两个字段,通过 Excel的数据透视表来对账单做分账处理。步骤1 清洗实例标签。1.现有标签格式不适合直接用数据透视表进行分析,另外部分实例...
来自: 最佳实践 | 相关产品:资源管理,配置审计,云速搭CADT
SLS多云日志采集、处理及分析
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务,通过日志服务 进行数据分析,帮助提升运维、运营效率, 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户,推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输;针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况,可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
这些组件一起工作来读取 (tail file)并将事件数据发送到您指定的输出。启动 Filebeat时,它会启动一个或多个查找器,查看您为日志文件指定的本地路径。对于 prospector 所在的每个日志文件,prospector 启动 harvester。每个 harvester 都会为新内容读取单个日志文件,并将新日志数据发送到 libbeat,后者将聚合事件...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),NAT网关,E-MapReduce,全站加速 DCDN,云速搭CADT
容器计算服务 ACS
容器计算服务 ACS 是以 K8s 为使用界面供给容器算力资源的云计算服务,提供符合容器规范的算力资源。
A:资源预留是用来保障资源的供应确定性,包括 CPU 和内存资源,多个集群以及云产品可以通过尽量抵扣的方式优先共享使用资源预留,再使用按量付费资源,具备无需规划使用时间、业务部署灵活性.查看详情Q:如何使用容器计算服务 ACS 资源配额的能力?A:您可通过 ACS 的云产品集成菜单栏中 配置并管理已经开通支持的云产品,...
来自: 云产品
基于ECI、RI和EIP降成本方案
基于ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上, 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景,特别是无状态服务、 易于容器化的场景,基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI, 可以灵活的抵扣相关资源费用;弹性容器实 例ECI,在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例,使用 ECI+RI+EIP的组合方式,通过RI抵扣计 算资源费用,按量支付流量费用,旨在能够 帮助客户快速验证云上服务,有效控制云上 资源成本。 方案优势 1.使用RI,可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境,更加 灵活、低成本,提高资源使用率。 3.ECI+RI+EIP的组合方式,资源使用率 高,通过RI抵扣计算资源费用,按量 支付流量费用,能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
Docker的镜像实际上由一层一层的文件系统组成,实现上主要依赖 UnionFs(联合 系统):union文件系统(UnionFs)是一种分层、轻量级并且高性能的文件系统,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到 同一个虚拟文件下。在这种分层结构下,可以做到资源共享,例如多个镜像从相同的 ...
来自: 最佳实践 | 相关产品:弹性公网IP,容器镜像服务 ACR,弹性容器实例 ECI,预留实例券
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地 系统一样使用 OSS。文档版本:20210525 3 本地数据中心基于 SMB/NFS协议访问对象存储 云存储网关配置 1.云存储网关配置 1.1.开通云存储网关 步骤1 访问云存储网关控制台(https://sgwnew.console.aliyun.com/),开通云存储...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
RAPIDS加速机器学习
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU,利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
示例效果如下:•相关函数介绍 函数功能 函数名称 下载文件 def download_file_from_url(url,filename):解压文件 def decompress_file(filename,path):获取当前机器的 def get_gpu_nums():GPU个数 管理 GPU内存 def initialize_rmm_pool():def initialize_rmm_no_pool():def run_dask_task(func,*kwargs):提交 DASK任务 def...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
< 1 2 3 4 5 >
共有5页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用