基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（函数中业务代码的执行时长，可根据函数承载的 业务自行设置其他时间，最大支持 24小时）请求处理程序：index.handler（函数的入口函数名称，index为文件名，handler 为函数名）环境变量：本 demo中的程序为过滤关键词，将过滤后的数据存储到 OSS路径，程 序中需要依赖两个环境变量 BUCKET_NAME和FILTER_KEYWORD，根据实际...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
u 存储引擎：阿里云 Kafka 架构，有云存储和 Local 存储。（详细对比参见文档：https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for- kafka/product-overview/comparison-between-storage-engines ）u 消息类型：普通消息。创建 Group：u Group 名称：根据实际业务自行填写。u Group 描述：根据实际...
移动开发平台 mPaaS
阿里云移动开发平台 mPaaS提供App开发、测试、运营及运维等云到端的一站式解决方案，帮助企业快速构建高质量的移动应用，阿里云快速开发平台提升企业产品生态发展。
多人协作效率提升（私有云支持）科学管控开发人员、代码迭代及产品版本，全面覆盖开发、构建、测试、集成等项目环节。自动化测试效率提升（私有云支持）基于真机进行自动化测试，模拟真实用户操作，深度还原使用场景，快速发现 App 问题。相关产品移动开发平台 mPaaS在线咨询数字化运营支持运营活动投放一站式全流程创建...
来自：
云产品
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，当应用出现业务异常问题时，您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析，精准定位业务异常。
产品介绍●专有网络 VPC（Virtual Private Cloud）：是用户基于阿里云创建的自定义私有网络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和管理 云产品实例，比如 ECS、负载均衡、RDS等。容器服务 Kubernetes 版 ACK：容器服务 Kubernetes 版（简称 ACK）提供高性 文档版本：20240428 V 可观测链路...
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云，提供高并发，高吞吐，高安全等特性，适用于金融，电力，电信，制造业等传统客户的核心交易系统。
20240206 74OracleRAC12C云上部署 文档版本：20240206 75OracleRAC12C云上部署 文档版本：20240206 76OracleRAC12C云上部署 文档版本：20240206 77OracleRAC12C云上部署 文档版本：20240206 78OracleRAC12C云上部署 文档版本：20240206 79OracleRAC12C云上部署 文档版本：20240206 80OracleRAC12C云上部署 文档版本：...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
产品介绍 专有网络VPC（VirtualPrivateCloud）：是用户基于阿里云创建的自定义私有网络,不同的 专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和管理云产品实例，比如ECS、负载均衡、RDS等。 函数计算FC（FunctionCompute）：函数计算是事件驱动的全托管计算服务。使用函数计 算，您无需采购与管理...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
基于函数计算实现直播流录制-存储-通知最佳实践 业务架构 场景描述 基于阿里云函数计算实现对直播流的实时录制，录制结束后会把录制的结果写入 OSS 存储桶，并把录制的结果写到消息队列，下游服务可以通 过订阅的方式来消费消息 应用场景 在互娱、教育、电商等行业都会有直播相关的业 务，大部分场合都需要对直播相关的业务...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
存储引擎：阿里云Kafka架构，有云存储和Local存储。（详细对比参见文档：https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for-kafka/pro duct-overview/comparison-between-storage-engines） 消息类型：普通消息。创建Group： Group名称：根据实际业务自行填写。 Group描述：根据实际业务...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
专有网络VPC（VirtualPrivateCloud）：是用户基于阿里云创建的自定义私有网络,不同的 专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和管理云产品实例，比如ECS、负载均衡、RDS等。 容器服务Kubernetes 版（简称 ACK）：提供高性能且可伸缩的容器应用管理能力，支持 企业级容器化应用的全生命周期管理...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
产品介绍 专有网络 VPC（Virtual Private Cloud）：是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和 文档版本：20240402 5 MSE网关使用 JWT实现认证鉴权 最佳实践概述 管理云产品实例，比如 ECS、负载均衡、RDS等。传统型负载均衡 CLB（Classic Load ...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
举一个 产品列表 图片处理的场景，现在各种终端种类繁多，不同 专有网络VPC 的终端对图片的格式、分辨率要求也不同，所以 阿里云函数计算(FC)一张图片往往会有很多张衍生图，那如果所有的 阿里云对象存储（OSS）衍生图都存在OSS中，那存储的成本会增加， 内容分发网络（ContentDeliveryNetwork，CDN） 云速搭...
混合云HBR云上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案，可以为任何位置的客户虚拟机和数 据提供强有力的保护，包括企业数据中心、远程和分 支机构以及云上资源；支持加密、压缩、重删，保证 数据快速、安全、高效地备份到云上，本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
混合云HBR云上备份VMware虚拟机 最佳实践 业务架构图 场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案，可以为任何位置的客户虚拟机和数 据提供强有力的保护，包括企业数据中心、远程和分 支机构以及云上资源；支持加密、压缩、重删，保证 数据快速、安全、高效地备份到云上，本文重点介绍 混合云下...
自建K8S迁移镜像、应用至阿里云ACK最佳实践
云原生技术K8S以其易管控，自动化操作，自修复等特点充分满足了企业的需求，越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代，自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力，所以上云成了一些企业的选择，将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理，企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK；本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
阿里云 企业上云实践 自建 K8S迁移镜像、应用至 ACK 最佳实践 自建 K8S迁移镜像、应用至阿里云 ACK 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 自建 K8S镜像、应用迁移阿里云 ACK 文档编号 177 文档版本 V1.0 版本日期 2020-05-25 文档状态 内部发布 制作人 吉运 审阅人 川知/明誉 文档变更记录 版本编号 日期...
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施，集团 旗下有多个分公司（如制造分公司和销售分公 司），各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴，拟达到以下 业务目标： 1. 各个分公司拥有独立的账号，可以购买云资 源，由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建，分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
云上 IT治理 Workshop 集团多账号管理架构 场景描述 假设您负责一家集团公司的 IT基础设施，集团旗 下有多个分公司（如制造分公司和销售分公司），各分公司有独立的开发、测试以及运维团队。现在 选择阿里云作为合作伙伴，拟达到以下业务目标：1.各个分公司拥有独立的账号，可以购买云资 源，由集团账号统一付费。2.集团对...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
产品列表 最佳实践频道 阿里云最佳实践技术分享群 专有网络 VPC 云服务器 ECS 预留实例券 RI 抢占式实例 Spot 存储容量单位包 SCU 云架构设计工具 CADT 日志服务 SLS 云上成本优化 workshop 文档版本信息 阿里云 企业上云实践 云上成本优化 workshop 文档版本：20210329（发布日期）云上成本优化 workshop 文档版本信息 ...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc ECS：Elastic Compute Service，是一种弹性可伸缩的计算服务...
轻量级GPU部署云游戏最佳实践
随着AI深度学习，视频处理，科学计算以及图形可视化等应用场景的普及，GPU的市场需求越来越大，但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限，可以提供比单颗物理GPU更细粒度的服务，从而让客户以更低成本、更高弹性开展业务。
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc ECS：云服务器（Elastic Compute Service，ECS）是一种简单...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
混合云 IDC自有 K8S弹性使用 ECI 最佳实践 业务架构 场景描述 解决问题 混合云环境下，自有 K8S集群注册至 ACK，本文介绍线下 IDC与云端通过专线构建混合云架构，自 实现云端纳管。纳管 K8S集群部署 Virtual Node，使集群具备 有 K8S利用虚拟节点弹性调用 ECI承载业务高峰期资 ECI资源调度能力。在以上环境中部署 Web应用，...
- 产品推荐
- 这些文档可能帮助您