RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
示例效果如下：•相关函数介绍 函数功能 函数名称 下载文件 def download_file_from_url(url,filename):解压文件 def decompress_file(filename,path):获取当前机器的 def get_gpu_nums():GPU个数 管理 GPU内存 def initialize_rmm_pool():def initialize_rmm_no_pool():def run_dask_task(func,*kwargs):提交 DASK任务 def...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
MaxCompute支持 SQL、MapReduce、UDF（Java/Python）、Graph、基于 DAG的处理、交互式、内存计算、机器学习等计 算类型及 MPI迭代类算法。大幅简化了企业大数据平台的应用架构，具有强数据安 全、低成本、免运维、极致弹性扩展等特点。MaxCompute已与数据集成、DataWorks、QuickBI、机器学习 PAI、ADB、推荐引擎、移动数据...
通义灵码助力函数计算FC实现函数编写
现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具，可以帮助开发者快速编写高质量的代码，为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码，简化部署流程，提高开发效率。
填写函数名称 运行环境选择这里以python3.10为例，也可以选择自己平时使用的编程语言，目前，通义灵码支持Java、Python、Go、C#、C/C++、JavaScript、TypeScript、PHP、Ruby、Rust、Scala、Kotlin等多种主流编程语言。 使用示例代码hello，world！示例 配置环境变量，完成函数创建。 加入环境变量，使用JSON格式...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
配置video-sharding-transcoding-func函数 步骤1 以同样的方式在CADT控制台中双击video-sharding-transcoding-func图标，前往该函 数控制台，点击函数配置页签。文档版本：20240502 38基于函数计算FC实现物联网音视频处理最佳实践 场景验证 找到层配置，点击编辑。点击添加层->添加官方公共层。找到FFmpeg6x。选择并点击...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
创建函数前必须先创建服务，服务就像函 数的集合，同一个服务下的所有函数共享一些相同的设置，例如服务授权和日志配置 等。服务名称：根据实际业务自行填写，也可以保持默认。服务角色：默认选择 AliyunFcDefaultRole，如果下拉框没有，可以点击“创建默 认角色”，并在弹出框中点同意授权。文档版本：20240422 10 基于...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
硬盘规格＞512 MB：超出512 MB的 部分按 0.0000009元/GB*秒计费）实例并发度：1（函 数 实 例 并 发 度 详 情 参 见：https://help.aliyun.com/zh/fc/configure-instance-concurrency ）执行超时时间：默认为 60秒。（函数中业务代码的执行时长，可根据函数承载的 业务自行设置其他时间，最大支持 24小时）请求处理程序：...
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中， Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
基于函数计算 FC镜像部署 Stable Diffusion大模型 最佳实践 业务架构 场景描述 在现代 AI应用中，Stable Diffusion等模型因其 强大的功能而受到关注。然而，这些模型对计算资 源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算 FC的无服务器计算模式为这类模型的 部署提供了全新的解决方案。用户只需关注模型的 ...
基于函数计算FC实现大语言模型部署
在现代AI应用中， Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
基于函数计算 FC实现大语言模型部署最佳实践 业务架构 方式一：魔搭 SwingDeploy模型到 FC 方式二：FC3.0应用模板部署 场景描述 在现代 AI应用中，Qwen/chatglm2-6b等社区模型因其强大的功能而受到关注。然而，这些模型对计算 资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算 FC的无服务器计算模式为这类模型...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
硬盘规格＞512MB：超出512MB 的部分按0.0000009元/GB*秒计费） 实 例 并 发 度：1（函 数 实 例 并 发 度 详 情 参 见：https://help.aliyun.com/zh/fc/configure-instance-concurrency ） 执行超时时间：默认为60秒。（函数中业务代码的执行时长，可根据函数承载的 文档版本：20240330 15基于函数计算FC实现企业级权限...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
该最佳实践的 Callback 在 Web端视频录制应用创建成功后，除了 recorder函数外，还有 dest-fail和 dest-succ两个函 数，这两个函数就是用来当 recorder执行失败或者执行成功后回调的函数。如果在这两个函数 文档版本：20240325 20 基于 FC实现的 Web端视频录制最佳实践 场景验证 中可以自行实现被回调后的后续处理逻辑。...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
这里相当于添加一个非阿里云官方的公共层，也就是 Python 的 MongoDB 库 PyMongo4.6.1。将其挂载到函数中，这样在函数中就可以正常使用这个库了。31 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 ARN 的地址为：acs:fc:{region}:1730431480417716:layers/Python3x-PyMongo...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
创建函数前必须先创建服务，服务就像函 数的集合，同一个服务下的所有函数共享一些相同的设置，例如服务授权和日志配置 等。 服务名称：根据实际业务自行填写。 服务角色：默认选择AliyunFcDefaultRole，如果下拉框没有，请点击创建默认角 色。步骤5 双击函数计算函数img_handle，查看配置信息。文档版本：20240304 3...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
python pressure_test_56M.py 10 all fnf excutution is started 在函数工作流的监控页面，显示如下：10个流程执行时间在 395s~527s左右。可以用 ossutil查看生成的文件。文档版本：20201228（发布日期）44 Function Compute 实现弹性音视频处理系统 应用测试./ossutil ls oss:/video-fc/fnf_video/outputs/pressureTest ...
函数计算FC
阿里云函数计算（Function Compute）是一个事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码。更棒的是，您只需要为代码实际运行消耗的资源付费，代码未运行则不产生费用。
新浪微博使用函数计算-无服务器计算，处理每日数十亿次个性化图片处理，综合成本下降 35%.世纪联华使用函数计算+表格存储的方式，平滑支撑双 11 大促等突发业务.函数计算FC这种无服务器计算的模式帮助石墨文档有效解决了性能瓶颈，并节省了 58%的服务器成本.语雀使用函数计算处理 CPU 密集型任务，免去了搭建集群的代价....
来自：
云产品
Serverless图片分类和身份证过滤
场景描述 场景一：大型图库智能管理通过深度学习算法，自动识别图像中的常见的场景，客户可以基于函数计算对接智能媒体管理的图像识别功能，轻松实现图片的自动管理和分组，完成大型图像库的智能管理。 场景二：身份证图片过滤 通过扫描存储在OSSbucket中的图片，通 过智能媒体管理进行身份证识别，找到海量图片中的身份证图片，对敏感信息进行处理。 解决问题 1.通过无服务器计算实现图片处理自动化 2.OSS触发器的使用 3.使用函数计算调用阿里云的AIP或SDK 产品列表 函数计算 智能媒体管理IMM 对象存储OSS
文档版本：20200120 7 Serverless图片分类和身份证过滤 图片自动分类 2.2.Python代码解读 步骤1 函数计算的入口函数定义为 handler，OSS触发器触发的事件会通过 event传递给函 数计算，这里对 event进行 json解析，拿到 OSS bucket的 endpoint，另外从 context中拿到相关的鉴权信息。步骤2 初始化两个 bucket，原始文件上次...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
运行环境：函数计算支持多种编程语言的运行环境，这里选择 Python3。上传代码：函数计算根据不同的编程语言，有不同的代码上传方式，这里选择使用示例代码。函数入口：根据函数计算函数入口的命名规范，按实际情况输入。这里使用默认值即可。函数计算的高级设置：函数实例类型：根据函数承载的业务属性以及运行函数时对资源...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
运行语言：Python3 函数入口：index.handler 函数执行内存：选择默认的 512MB（最大 3072MB，如果不够可提交申请）超时时间：默认 60s（最大 300s，可提交申请）步骤5 在线编辑，将准备的 index01.py文件输入。文件获取“git clone https://code.aliyun.com/best-practice/114.git ”如下代码片段中，替换用户自己的 AK/SK...
ECS+EAIS弹性伸缩最佳实践
弹性加速计算实例EAIS通常与ECS配合使用，在大规模的弹性推理场景中，需要实现ECS弹性扩容的过程中自动创建弹性EAIS实例，并绑定到ECS上。当前弹性伸缩组ESS暂不满足此特殊场景的弹性伸缩需求。 本方案将通过结合CADT API、函数计算和Serverless工作流，演示如何快速且以可视化的方式进行此场景的弹性伸缩。
释放完成：SLB服务器组已没有该实例：文档版本：20220810 41 ECS+EAIS弹性伸缩 模拟定时扩缩容任务 云服务器只剩下 1台：EAIS也自动被释放：总结 上述过程简单模拟了通过 CADT API，结合函数计算和 Serverless工作流，制定了一 个通用场景的定时扩缩容流程，后续可以通过参数的变化，CADT模板的变化，来适 配更多，更复杂的...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
如果要复制的文件比较大（比如 50MB 到 1GB），会使用函 数 copyObjectWithMultipartUpload 多线程分片下载文件并分片上传到目标 Bucket。如果要复制的文件很大（比如 1GB 以上），会使用三个函数完成复制任务。ￚ 第一个函数 initMultipartUpload 开始分片上传，并将文件分成 group，每个 group 包含多个分片。ￚ 第二个...
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可以 通过利用OSS和CDN对网站进行架构优化， 做到网站文件的动静分离，提升用户访问体验， 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更，上传分支文件至OSS，通 过CDN进行前端资源加速。 方案优势 1.面向serverless：无需购买服务器 2.免运维：无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式：事件驱动方式触发响应 5.费用极低：按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
步骤2 可以看到对应的函数已创建，单击函数名称。步骤3 在代码编辑框中，替换本实践提供的演示代码。代码下载方式参见代码地址。文档版本：20211008 7 Function Compute计算搭建前端 CICD系统 环境搭建 步骤4 替换代码以及 oss 和 AK参数后,单击保存并部署。步骤5 打开触发器页签，保存路径,后续第 2章节需要用到。文档版本...
- 产品推荐
- 这些文档可能帮助您