Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
下游服务 下游服务包含从 Kafka里取数据进行实时流处理的实时计算 Flink,数据处理完后 将数据推给 ES 存储,另外还有在第二个函数中对数据简单处理后直接存入数据 库。部署架构 文档版本:20210806(发布日期)3 Function Compute构建高弹性大数据采集系统 前置条件 前置条件 为了顺利完成本实践,您需要提前完成以下准备...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
基于Elasticsearch的订单检索加速最佳实践
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高,核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题:单表记录不断增多,数据检索速度会变慢,尤其是对中文的模糊查询(建立普通索引完全不起作用)。虽然数据库自身在不断完善,但效果有限且没办法灵活扩展,复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库,数据集成产品提供Binlog实时订阅,实时解析、增量数据实时更新及二级索引库之间进行数据实时同步,为数据库提供“能力增益”, 不仅能从根本解决主库抗压问题,提升稳定性;同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
DataWorks 实时计算 Flink(选配)阿里云最佳实践技术分享群 最佳实践频道 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 基于Elasticsearch的 订单检索加速 最佳实践 文档版本:20210517 文档版本:20150122(发布日期)II 基于 Elasticsearch的订单检索加速最佳...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,DataWorks,Elasticsearch
计算机软件著作权登记
全新支持APP/小程序全程在线电子化登记,无纸化线上极速办理,助力APP便捷上架,最快3个工作日拿证。在线填写,系统纠错,全流程可视化,申请进度实时掌控,阿里云开启知识产权一站式专业服务。
阿里云计算机软件著作权登记,全新支持APP/小程序全程在线电子化登记,无纸化线上极速办理,助力APP便捷上架,最快3个工作日拿证。在线填写,系统纠错,全流程可视化,申请进度实时掌控,阿里云开启知识产权一站式专业服务。
来自: 云产品 | 相关产品:版权与专利,软件著作权申请,源代码版权申请,计算机软件著作权,软件著作权代码,APP/小程序软件著作权在线登记,APP著作权,软件著作权
通义灵码助力函数计算FC实现函数编写
通义灵码助力函数<em>计算</em>FC实现函数编写
现在社会软件开发的复杂性不断增加,服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式,用户只需要关注业务逻辑的实现,无需关心底层的服务器配置和运维管理,从而大大降低了运维成本和复杂性,而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具,可以帮助开发者快速编写高质量的代码,为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码,简化部署流程,提高开发效率。
函数 FC采用无服务器计算模式,用户只需要关注业务逻辑的实现,无需关心底层的服务器配置 和运维管理,从而大大降低了运维成本和复杂性,而且具有弹性伸缩、快速部署、按需使用按 量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具,可以帮助 开发者快速编写高质量的代码,为开发者提供了强大...
来自: 最佳实践 | 相关产品:函数计算,通义灵码
基于函数计算FC实现物联网音视频处理
基于函数<em>计算</em>FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
使用函数 ,您无需采购与管理服务器等基础设施,只需编写并上传代码或镜像。函数计算为您准 备好计算资源,弹性地、可靠地运行任务,并提供日志查询、性能监控和报警等功能。 云工作流(CloudFlow):是一个用来协调多个分布式任务执行的全托管云服务。在云工作 流中,您可以用顺序、分支、并行等方式来编排分布式...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC镜像部署Stable Diffusion大模型
基于函数<em>计算</em>FC镜像部署Stable Diffusion大模型
在现代AI应用中, Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
函数 FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大 规模的请求下稳定运行。方案优势 简化模型部署流程 全链路自适应弹性,无需为流量峰谷做频繁的手工处理 内置CICD平台能力,灰度,回滚,监控开箱即用 按量付费模式,没有资源闲置费用 产品介绍 函数计算 FC(Function Compute):函数...
来自: 最佳实践 | 相关产品:函数计算
基于函数计算FC实现大语言模型部署
基于函数<em>计算</em>FC实现大语言模型部署
在现代AI应用中, Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
然而,这些模型对计算 资源的高需求和复杂的运维管理成为部署的挑战。基于函数计算 FC的无服务器计算模式为这类模型的 部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资 源分配和扩展性等问题。函数计算 FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模 型...
来自: 最佳实践 | 相关产品:函数计算
基于函数计算实现直播流录制-存储-通知
基于函数<em>计算</em>实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
使用函数 ,您无需采购与管理服务器等基础设施,只需编写并上传代码或镜像。函数计算为您准 备好计算资源,弹性地、可靠地运行任务,并提供日志查询、性能监控和报警等功能。阿里云对象存储 OSS(Object Storage Service):是一款海量、安全、低成本、高可靠的 云存储服务,可提供 99.9999999999%(12个 9)的数据持久...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
智能应对流量变化,容器化集群的弹性攻略
本方案使用ALB和ACK智能分配网络流量,提高应用的高可用性和吞吐量,使用Kubernetes的cluster-autoscaler社区开源组件以及HPA内置组件进行弹性伸缩,提升资源利用率。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台容器化集群的弹性攻略容器化应用的弹性伸缩方案介绍方案优势方案部署方案权益智能应对流量变化,容器化集群的弹性攻略本方案使用应用型负载均衡(ALB)和容器服务 Kubernetes (ACK)智能分配网络流量,提高应用的高可用性和吞吐量,使用...
来自: 解决方案
灵活调度,高效编排,容器化管理云上应用
本方案介绍如何快速地使用容器镜像服务ACR构建镜像,使用镜像在ACK中部署应用,使用ALB作为Ingress对外提供服务。
弹性伸缩的互联网应用针对电商、社交、直播等互联网应用,ACK能够根据实时流量自动扩缩容,利用ECS实例和弹性容器实例(ECI)的组合,快速响应业务高峰,同时在闲释放资源,降低成本。快速迭代的DevOps环境在持续集成和持续部署(CI/CD)流程中,通过与GitOps等现代DevOps实践的结合,能大幅缩短软件交付周期,加速应用迭代...
来自: 解决方案
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数<em>计算</em>FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
使用函数 ,您无需采购与管理服务器等基础设施,只需编写并上传代码或镜像。函数计算为您准 备好计算资源,弹性地、可靠地运行任务,并提供日志查询、性能监控和报警等功能。云消息队列 Kafka :云消息队列 Kafka 是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列 Kafka 广泛用于日志收集、监控...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数<em>计算</em>FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
使用函数 ,您无需采购与管理服务器等基础设施,只需编写并上传代码或镜像。函数计算为您准 备好计算资源,弹性地、可靠地运行任务,并提供日志查询、性能监控和报警等功能。 云消息队列Kafka :云消息队列Kafka 是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列Kafka广泛用于日志收集、监控...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数<em>计算</em>FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
整体方案通过 CADT 可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数 和 MongoDB 控制台做少量配置即可。方案优势 l 可以实现根据 Kafka 消息的具体内容判断,该对 MongoDB 做哪种 DML 操作,灵活性和可 扩展性极高。l 函数计算具有完善的日志系统、容错机制。可以清晰的看到对每条消息的处理日志,...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
RocketMQ性能压测快速方案
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
1个RocketMQ实例,配置如下:实例版本 5.0系列,按量付费 主系列类型 专业 文档版本:20240506 5RocketMQ性能压测快速方案 最佳实践概述 子系列类型 集群高可用(生产环境推荐)消息收发计算规格 rmq.p2.4xlarge(支持消息读写TPS总和4000次/秒,默认收 发流量比例1:1)Topic RocketMQ-Benchmark-0000000 Group sub-000...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 RocketMQ 版,云速搭
基于云速搭CADT快速构建药物筛选批量计算环境-serverless
基于云速搭CADT快速构建药物筛选批量<em>计算</em>环境-serverless<em>版</em>
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
b)ehpc_serverless:serverless 版本的 HPC高性能计算集群,是批量计算主 文档版本:20240204 1 基于云速搭 CADT部署药物筛选批量计算环境-Serverless 最佳实践概述 要的力环境,按使用长和规格付费。c)acr-for-ehpc-image:容器镜像服务 ACR实例,ehpc集群运行需要提供一 个容器镜像,这些镜像通常由用户打包后上传...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
基于SAE的一站式Web服务托管方案
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力,代码提交后可以触发自动构建,并部署应用到SAE,部署完成后,应用自动产生访问域名,外部请求通过域名可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供代码仓库,后续的CICD,应用访问,弹性管理,运维监控,SAE都提供了内置的集成能力
应用类型:可选“仅在有请求分配 CPU”,“始终分配固定 CPU”,该方案中选择 文档版本:20240430 5 基于SAE 2.0的一站式 Web服务托管方案 场景验证“仅在有请求分配 CPU”。应用部署方式:可选“选择镜像部署”,“从代码仓库持续部署”,“代码包部署”,这里选择“选择镜像部署”。点击下方的应用部署配置 Tab,选择...
来自: 最佳实践 | 相关产品:Serverless 应用引擎
高效防护 Web 应用
随着网络技术的不断发展,您的Web应用如果没有流量入口的防护,会面临诸多风险。本方案以ECS实例接入WAF为例,推荐您使用Web应用防火墙(WAF)开启应用防护,避免网站服务器被恶意入侵导致性能异常等问题,保障网站的业务安全和数据安全。同时,为您节约开发成本,满足行业合规要求。
查看详情ECS 数据备份与保护随着企业核心业务规模不断扩大,需要根据业务需求对生产环境中的关键数据进行定期备份,在发生误操作、病毒感染、或攻击等情况,能够快速从已有的快照恢复到某个历史状态,从而最大程度减少数据丢失带来的损失。查看详情技术解决方案咨询我们将根据您提交的需求,安排技术解决方案专家为您服务...
来自: 解决方案
网站静态资源访问加速
本方案使用阿里云CDN产品来分发OSS上的网站静态文件,不仅可以降低源站的负载压力,还能够提升网站的访问性能,同时还能在高并发场景下为您节约成本。
基于CDN的边缘计算服务实现力下移,就近计算,进一步缩短延时提升并发,降低中心云压力。传统方案直接连接到云服务;完全依赖运营商网络和路由;缺少网络优化方案;用很高的成本支撑全球用户接入推荐方案网站静态资源访问加速将网站的静态资源(JS文件、CSS文件、图片、音视频文件等)存储在OSS上,CDN会将OSS源站的文件...
来自: 解决方案
SAE-ACK应用双跑最佳实践
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
文档版本:20240311 5SAE-ACK应用双跑 场景验证 因为Serverless应用引擎SAE是一款Serverless技术机构的计算产品,所以没有IaaS的概念,没有资源规格的概念,在CADT中拖入的直接就是一个一个的应用(服务),所有的配置都是 基于应用的配置。 应用名称:根据业务实际情况填写。 初始实例数:应用的实例数,可以理解为K8s...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
 分布式云容器平台ACKOne:是阿里云面向混合云、多集群、分布式计算、容 灾等场景推出的企业级云原生平台,ACKOne可以连接并管理您任何地域、任 何基础设施上的Kubernetes集群,并提供一致的管理和社区兼容的API,支持 对计算、网络、存储、安全、监控、日志、作业、应用、流量等进行统一运维管 控。 日志服务SLS:是云...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
< 1 2 3 4 ... 16 >
共有16页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用