基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
（可以选择开启，然后可以设置批量推送的条数，批量推送间 隔，根据需求选择是否批量推送）l 推送格式：RawData（也可以选择标准的 CloudEvents 格式，但函数中的代码需要 适配解析 CloudEvents 格式的逻辑）l 重试策略：指数衰减重试。（也可以选择退避重试）l 容错策略：允许容错。（允许异常容错，当异常发生时不会阻塞...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
python pressure_test_56M.py 10 all fnf excutution is started 在函数工作流的监控页面，显示如下：10个流程执行时间在 395s~527s左右。可以用 ossutil查看生成的文件。文档版本：20201228（发布日期）44 Function Compute 实现弹性音视频处理系统 应用测试./ossutil ls oss:/video-fc/fnf_video/outputs/pressureTest ...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
如何在 main 函数中读取本地文件?ￚ 通过“资源上传”，上传本地文件。ￚ 使用如下代码段，在代码中读取对应的本地文件。注：代码中"/flink/usrlib/"是平台存放用户通过“资源上传”功能上传文件的目录，不 能修改。File f=new File("/flink/usrlib/",fileName);3.5.其他操作指引 3.5.1.Flink SQL 性能优化操作指引 请参考:...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
第一个函数调用第二个函数 目前两个函数都创建好了，下面的工作就是由第一个函数接收到数据后拉起第二个函 数发送消息给 Kafka。我们只需要对第一个函数做些许改动即可。步骤1 进入函数计算控制台，找到我们创建的服务下的 fun01这个函数，需要在函数详情页在 线编辑 Python代码，代码修改如下：#-*-coding:utf-8-*-import ...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
torch.cuda.set_device(hvd.local_rank())"2020-03-23 07:01:16.159202 task0.perseus-bert:uploading/tmp/ncluster-shell/task0.perseus-bert-bg9bm/49192901370916 to/tmp/ncluster-shell/task0.perseus-bert-bg9bm/2.cmd 9 FastGPU极速 AI推理 运行 Bert模型训练 Demo 2020-03-23 07:01:20.257473 task0.perseus-bert:...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
步骤2 选择 MaxCompute Java进入下一步（本文使用 Java语言开发 UDF函数处理 IP地 址。文档版本：20211213 74 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 步骤3 输入项目名称创建项目。文档版本：20211213 75 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 步骤4 把 IP处理的源码（从 democode中获取）...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
示例效果如下：•相关函数介绍 函数功能 函数名称 下载文件 def download_file_from_url(url,filename):解压文件 def decompress_file(filename,path):获取当前机器的 def get_gpu_nums():GPU个数 管理 GPU内存 def initialize_rmm_pool():def initialize_rmm_no_pool():def run_dask_task(func,*kwargs):提交 DASK任务 def...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
ECS实例名 命令 loggen hostnamectl set-hostname loggen kafka hostnamectl set-hostname kafka mysql hostnamectl set-hostname mysql master hostnamectl set-hostname master master2 hostnamectl set-hostname master2 slave1 hostnamectl set-hostname slave1 slave2 hostnamectl set-hostname slave2 slave3 ...
通义灵码助力函数计算FC实现函数编写
现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具，可以帮助开发者快速编写高质量的代码，为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码，简化部署流程，提高开发效率。
填写函数名称 运行环境选择这里以python3.10为例，也可以选择自己平时使用的编程语言，目前，通义灵码支持Java、Python、Go、C#、C/C++、JavaScript、TypeScript、PHP、Ruby、Rust、Scala、Kotlin等多种主流编程语言。 使用示例代码hello，world！示例 配置环境变量，完成函数创建。 加入环境变量，使用JSON格式...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
配置video-sharding-transcoding-func函数 步骤1 以同样的方式在CADT控制台中双击video-sharding-transcoding-func图标，前往该函 数控制台，点击函数配置页签。文档版本：20240502 38基于函数计算FC实现物联网音视频处理最佳实践 场景验证 找到层配置，点击编辑。点击添加层->添加官方公共层。找到FFmpeg6x。选择并点击...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
创建函数前必须先创建服务，服务就像函 数的集合，同一个服务下的所有函数共享一些相同的设置，例如服务授权和日志配置 等。服务名称：根据实际业务自行填写，也可以保持默认。服务角色：默认选择 AliyunFcDefaultRole，如果下拉框没有，可以点击“创建默 认角色”，并在弹出框中点同意授权。文档版本：20240422 10 基于...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
硬盘规格＞512 MB：超出512 MB的 部分按 0.0000009元/GB*秒计费）实例并发度：1（函 数 实 例 并 发 度 详 情 参 见：https://help.aliyun.com/zh/fc/configure-instance-concurrency ）执行超时时间：默认为 60秒。（函数中业务代码的执行时长，可根据函数承载的 业务自行设置其他时间，最大支持 24小时）请求处理程序：...
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中， Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
基于函数计算 FC镜像部署 Stable Diffusion大模型 最佳实践 业务架构 场景描述 在现代 AI应用中，Stable Diffusion等模型因其 强大的功能而受到关注。然而，这些模型对计算资 源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算 FC的无服务器计算模式为这类模型的 部署提供了全新的解决方案。用户只需关注模型的 ...
基于函数计算FC实现大语言模型部署
在现代AI应用中， Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
基于函数计算 FC实现大语言模型部署最佳实践 业务架构 方式一：魔搭 SwingDeploy模型到 FC 方式二：FC3.0应用模板部署 场景描述 在现代 AI应用中，Qwen/chatglm2-6b等社区模型因其强大的功能而受到关注。然而，这些模型对计算 资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算 FC的无服务器计算模式为这类模型...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
硬盘规格＞512MB：超出512MB 的部分按0.0000009元/GB*秒计费） 实 例 并 发 度：1（函 数 实 例 并 发 度 详 情 参 见：https://help.aliyun.com/zh/fc/configure-instance-concurrency ） 执行超时时间：默认为60秒。（函数中业务代码的执行时长，可根据函数承载的 文档版本：20240330 15基于函数计算FC实现企业级权限...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
创建函数前必须先创建服务，服务就像函 数的集合，同一个服务下的所有函数共享一些相同的设置，例如服务授权和日志配置 等。 服务名称：根据实际业务自行填写。 服务角色：默认选择AliyunFcDefaultRole，如果下拉框没有，请点击创建默认角 色。步骤5 双击函数计算函数img_handle，查看配置信息。文档版本：20240304 3...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
该最佳实践的 Callback 在 Web端视频录制应用创建成功后，除了 recorder函数外，还有 dest-fail和 dest-succ两个函 数，这两个函数就是用来当 recorder执行失败或者执行成功后回调的函数。如果在这两个函数 文档版本：20240325 20 基于 FC实现的 Web端视频录制最佳实践 场景验证 中可以自行实现被回调后的后续处理逻辑。...
函数计算FC
阿里云函数计算（Function Compute）是一个事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码。更棒的是，您只需要为代码实际运行消耗的资源付费，代码未运行则不产生费用。
新浪微博使用函数计算-无服务器计算，处理每日数十亿次个性化图片处理，综合成本下降 35%.世纪联华使用函数计算+表格存储的方式，平滑支撑双 11 大促等突发业务.函数计算FC这种无服务器计算的模式帮助石墨文档有效解决了性能瓶颈，并节省了 58%的服务器成本.语雀使用函数计算处理 CPU 密集型任务，免去了搭建集群的代价....
来自：
云产品
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
运行语言：Python3 函数入口：index.handler 函数执行内存：选择默认的 512MB（最大 3072MB，如果不够可提交申请）超时时间：默认 60s（最大 300s，可提交申请）步骤5 在线编辑，将准备的 index01.py文件输入。文件获取“git clone https://code.aliyun.com/best-practice/114.git ”如下代码片段中，替换用户自己的 AK/SK...
- 产品推荐
- 这些文档可能帮助您