基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
基于函数计算 FC实现阿里云 Kafka消息轻量级ETL处理 最佳实践 业务架构 场景描述 基于函数计算 FC处理消息队列 Kafka中的数据，进行 ETL处理后，将清洗归档后的数据上传到 OSS存储。应用场景 在大数据 ETL场景，Kafka是数据的流转中心，Kafka 中的数据一般是原始数据，可能存在多种 数据混杂的情况，需要进一步做数据清洗后...
通过ALB+ESS实现应用的弹性伸缩
使用应用型负载均衡（ALB）和弹性伸缩（ESS）智能分配网络流量、动态调整服务器资源，提高应用的高可用性和吞吐量，弹性控制资源利用率、缩减资源成本。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读高可用与弹性伸缩如何实现弹性伸缩与传统方案对比方案优势方案部署方案权益随需而动：自动弹性，稳定交付本方案使用应用型负载均衡（ALB）和弹性伸缩（ESS）智能分配网络流量、动态调整服务器资源，提高应用的高可用性和吞吐量，...
来自：
解决方案
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
比如 record/test.mp4 ◼ frame_rate:录制视频的帧率(可选参数，默认帧率为 30fps)，数字格式 ◼ bit_rate:录制视频的码率(可选参数，默认码率为 1500k)，字符串格式 ◼ output_stream:推流地址(可选参数,eg:文档版本：20240325 12 基于 FC实现的 Web端视频录制最佳实践 场景验证 rtmp:/demo.aliyundoc.com/app/stream?xxxx...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步，跨帐号阿里云Kafka实例 之间消息、元数据同步，阿里云Kafka实例和IDC 自建Kafka（其他云Kafka）之间消息、元数据同步。应用场景 在大数据场景，企业的Kafka实例...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
基于OSSObjectFC实现非结构化文件实时处理最佳实践 业务架构 场景描述 基于阿里云OSS和函数计算共同实现的产品化 集成解决方案OSSObjectFC，实现可以OSS 中的非结构化数据在读取时插入自定义业务逻 辑，对非结构化数据做实时处理后再返回。应用场景 现在绝大多数客户都有很多非结构化的数据存 在OSS中，以图片，视频，音频...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践 场景描述 业务架构 基于阿里云 Kafka 消息的 Key 或者消息体里的内 容做判断，然后对 MongoDB 做增，删，改的操 作。在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景，将 Kafka 中的消息流转到其 他下游服务...
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制，禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
IPv4网关实现流量统一出入口 最佳实践 业务架构 场景描述 云服务器 ECS拥有了公网 IP（例如固定公网 IP或 者 EIP），可以直接访问公网，不受 VPC路由表控 制。为了降低 ECS直接访问公网可能带来的安全管 控风险，可以使用 IPv4网关及子网路由能力，对 VPC 中访问公网的行为进行约束，根据需求使得子网具备 访问公网的能力...
ALB实现跨地域负载均衡
当客户业务遍及多地，并且在阿里云多个地域均部署了服务时，使用负载均衡结合云企业网及转发路由器可实现应用跨地域级别负载均衡。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台ALB实现跨地域负载均衡方案介绍方案优势应用场景方案部署方案权益ALB实现跨地域负载均衡应用型负载均衡ALB实现跨地域负载均衡方案，可为客户解决跨地域应用高可用问题。当客户业务遍及多地，并且在阿里云多个地域均部署了服务时，使用负载...
来自：
解决方案
MSE实现全链路灰度
MSE微服务治理为多应用发布提供全链路灰度能力，让客户不修改业务代码的情况下实现全链路流量控制。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台MSE实现全链路灰度方案介绍方案优势应用场景方案部署方案权益客户案例MSE实现全链路灰度MSE微服务治理为多应用发布提供全链路灰度能力，让客户不修改业务代码的情况下实现全链路流量控制，端到端构建从网关到多个后端服务的全链路灰度。...
来自：
解决方案
云速搭部署 ALB 实现负载分发
本实践通过云速搭构建一个基于 http(s)的负载均衡业务架构，实现终端浏览器发起http(s)请求后，经过 ALB 监听配置的转发规则，分别负载分担到后端 ECS 服务器、CLB 和 ACK 集群。
专有网络由逻辑网络设备（如虚拟路由器，虚拟 交换机）组成，可以通过专线/VPN等连接方式与传统数据中心组成一个按需定 制 的 网 络 环 境，实 现 应 用 的 平 滑 迁 移 上 云。详 见：https://www.aliyun.com/product/vpc 云服务器 ECS：云服务器 ECS（Elastic Compute Service）是一种简单高效、处理能力可弹性伸缩的计算...
云管对接实现已有节点加入ACK集群
企业内部伴随着业务量增加，对 ACK 集群扩容属于高频操作，部分企业有一些特殊的 要求，例如节点规格需要灵活指定，系统需要重新初始化从而符合企业内部规范等。 直接通过节点池扩容显得不够灵活，例如缺少库存校验等能力，扩容有可能失败，扩 容完成后需要手动修改节点的配置，自动化程度较低，增加了运维人员的负担。
云管对接实现已有节点加入 ACK集群 最佳实践 场景描述 企业内部伴随着业务量...文档版本：20221122 14 云管对接实现已有节点加入 ACK集群 通过 CADT API实现 ACK集群扩容 在生产环境中，可以通过实时获取 token信息，然后以传参的方式应用到 ECS中，实 现 ECS节点以手动添加的方式加入到已有节点池中。文档版本：20221122 15
OpenAPI实现云主机闪电交付
闪电交付最佳实践使用Alibaba Cloud Linux 2 镜像来快速创建大量的ECS云主机，满足客户在处理热点事件时大量且紧急的算力需求。 本实践针对在短暂时间内需要快速交付大量ECS实例的场景。通过调用阿里云Open API实现快速的跨VPC部署大量ECS实例，满足用户对高弹性算力的需求，而且ECS启动的时间很短。对于社交媒体，在线教育等存在线上热点活动的用户，该方案可以提高客户的使用体验
OpenAPI实现云主机闪电交付 最佳实践 业务架构 场景描述 闪电交付最佳实践使用 Alibaba Cloud Linux 2 镜像来快速创建大量的 ECS云主机，满足客户 在处理热点事件时大量且紧急的算力需求。解决问题 快速创建大量的云服务器实例，满足客户对紧 急的算力需求。产品列表 云服务器 ECS Alibaba Cloud Linux 2 最佳实践频道 阿里...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
基于 SLS实现统一告警 最佳实践 业务架构 场景描述 告警监控对于一个企业有着至关重要的作 用，然而很多企业在告警运维方面存在着重 复建设、监控质量差、告警风暴、触达不人 性化、无法闭环等问题。SLS告警提供了一站式云上告警管理方案，能够有效的解决企业在使用告警中的痛点。本文以通过自定义告警、Prometheus 告 警、...
云速搭部署SLS实现日志采集处理分析
通过云速搭部署ECS+SLS，在ECS上安装logtail收集Nginx应用日志写入SLS。通过日志生成器模拟Nginx日志生成，并通过SLS进行日志分析。
专有网络由逻辑网络设备（如虚拟路由器，虚拟 交换机）组成，可以通过专线/VPN等连接方式与传统数据中心组成一个按需定 制 的 网 络 环 境，实 现 应 用 的 平 滑 迁 移 上 云。详 见：https://www.aliyun.com/product/vpc 云服务器 ECS：云服务器 ECS（Elastic Compute Service）是一种简单高效、处理能力可弹性伸缩的计算...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
通过简单的命令即可实 现运行环境、依赖包版本等标准化统一。步骤1 为计算节点绑定 EIP 步骤2 ssh远程 ECS计算节点 ssh root@EIP 步骤3 安装 Docker 文档版本：20220321 14 E-HPC低成本实现量化策略回测 操作步骤 yum install-y docker 步骤4 启动 docker服务 systemctl start docker 步骤5 查看 Docker版本信息，验证 ...
云速搭部署 EIP 实现共享带宽/流量包管理
本实践通过云速搭设计、部署一个“ECS+EIP+共享带宽”架构，多个 EIP 可以使用共享带宽的资源。
云速搭部署EIP实现共享带宽/流量包管理 文档版本信息 云速搭部署 EIP 实现共享带宽/流量包管理 最佳实践 文档版本：20211025（发布日期）云速搭部署EIP实现共享带宽/流量包管理 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署 EIP实现共享带宽/流量包管理 文档编号 251 文档版本 V1.0 版本日期 2021-10...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
本文给出的示例代码是将后缀为.mov 格式的视 频文件，先提取出音频，然后并行转码出 flv、avi、mp4格式的视频文件。系统架构 如上图所示，当用户上传视频文件到 OSS指定目录下后，通过 Function Compute 的 OSS触发器自动触发 Function Compute 服务，Function Compute 调用函数工作流 的定制流程，自动处理音视频文件，...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
基于 K8S多集群隔离环境下的 DevOps实现 最佳实践 业务架构 场景描述 DevOps 是一组过程、方法与系统的统 称，并通过工具实现自动化部署，确保部署任 务的可重复性、减少部署出错的可能性。随着 微服务、中台架构的兴起，devops重要性日 益显著。本方案使用两个独立的 k8s集群：用户已 有的 k8s模拟测试，ack集群模拟生产...
中小企业基于SAG APP实现云上移动办公
1. 客户端一键接入上云，配置自动化 2. 城域内 Internet 就近接入，快速高效 3. 数据加密传输，满足安全性要求 4. 阿里云控制台统一配置管理
中小企业基于 SAG APP实现云上移动办公 最佳实践 业务架构 场景描述 公司已在阿里云上部署了应用服务，如 OA系统、办公管理后台等，公司员工日常通过办公网络访 问云上资源。随着公司的不断发展，移动办公的场 景越来越多，如出差、在家办公等。公司运维人员 也要求在任何时间和任何地方都能安全访问云资 源。解决问题 1....
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
超级计算集群实现自然语言处理训练 最佳实践 部署架构图 场景描述 本方案适用于自然语言训练场景，使用神 龙GPU云服务器（SCCGN6）+CPFS进 行NLP的训练，采用Bert模型。这里不使 用容器，直接使用裸机进行NLP的Bert训 练，使用AIACC可以有效提升多机多卡的 训练效率。解决问题 使用神龙GPU云服务器搭建NLP训练 环境 ...
- 产品推荐
- 这些文档可能帮助您