基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
基于函数计算 FC实现阿里云 Kafka消息轻量级ETL处理 最佳实践 业务架构 场景描述 基于函数计算 FC处理消息队列 Kafka中的数据，进行 ETL处理后，将清洗归档后的数据上传到 OSS存储。应用场景 在大数据 ETL场景，Kafka是数据的流转中心，Kafka 中的数据一般是原始数据，可能存在多种 数据混杂的情况，需要进一步做数据清洗后...
通义灵码助力函数计算FC实现函数编写
现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具，可以帮助开发者快速编写高质量的代码，为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码，简化部署流程，提高开发效率。
通义灵码助力函数计算FC实现函数编写 业务架构 场景描述 现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用 无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大 降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
演示环境整体部署 步骤1 单击右上角的保存按钮，填好应用名称（将模板保存为CADT中的应用），单击确认。步骤2 单击右上角部署应用。步骤3 进入资源验证阶段，这个阶段会对架构中的资源在可用区下的库存情况进行查询，同 时可以对资源规格进行review。资源验证是实时进行的，请耐心等待。文档版本：20240502 27基于函数计算...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。阿里云对象存储 OSS（Object Storage Service）：是一款海量、安全、低成本、高可靠的 云存储服务，可提供 99.9999999999%（12个 9）的数据持久...
网站静态资源访问加速
本方案使用阿里云CDN产品来分发OSS上的网站静态文件，不仅可以降低源站的负载压力，还能够提升网站的访问性能，同时还能在高并发场景下为您节约成本。
用很高的成本支撑全球用户接入效率和成本通过边缘云骨干网络进一步优化中间一公里的传输效率和应用程序安全接入；基于CDN的边缘计算服务实现算力下移，就近计算，进一步缩短延时提升并发，降低中心云压力。传统方案直接连接到云服务；完全依赖运营商网络和路由；缺少网络优化方案；用很高的成本支撑全球用户接入推荐方案...
来自：
解决方案
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。 云消息队列Kafka 版：云消息队列Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列Kafka版广泛用于日志收集、监控...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。 内容分发网络（ContentDeliveryNetwork，CDN）：是建立并覆盖在承载网上，由不同区 域的服务器组成的分布式网络。将源站资源缓存到全国各地...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
（函数中业务代码的执行时长，可根据函数承载的业 务自行设置其他时间，最大支持 24 小时）l 请求处理程序：index.handler（函数的入口函数名称，index 为文件名，handler 为 函数名）l 环境变量：默认设置连接 MongoDB 需要的属性，但具体的值需要后续在函数控制 台编辑。n mongodb_endpoint：MongoDB 连接地址 n mongodb_...
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
数据盘：4个 80G ESSD 数据盘 元数据选择 集群内置 MySQL EMR的软件配置项需要做初始化配置：“hbase.rootdir”的配置值为：oss:/${oss_bucket}.${endpoint}/${hbase-root-dir}，HBase 数据存储目录，配置为 OSS 路径，配置格式为 oss:/${oss_bucket}.${endpoint}/${hbase-root-dir}。例 如，oss:/test_bucket....
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
如本例中，如下：14企业上云实践 基于超级计算集群的自然语言处理AI训练 CPFS文件系统处于运行状态时，禁止对管理节点ECS做删除、停机或修改等操作，禁止对管理节点 上的软件、配置进行修改、删除等操作，否则会影响CPFS的IO业务。 创建挂载点成功后，CPFS文件系统会在您的阿里云账号下自动创建管理节点安全组。在CPFS...
基于ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上， 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景，特别是无状态服务、 易于容器化的场景，基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI， 可以灵活的抵扣相关资源费用；弹性容器实 例ECI，在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例，使用 ECI+RI+EIP的组合方式，通过RI抵扣计 算资源费用，按量支付流量费用，旨在能够 帮助客户快速验证云上服务，有效控制云上 资源成本。 方案优势 1.使用RI，可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境，更加 灵活、低成本，提高资源使用率。 3.ECI+RI+EIP的组合方式，资源使用率 高，通过RI抵扣计算资源费用，按量 支付流量费用，能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
3.2.docker镜像及制作 Docker容器镜像是一种轻量级、可执行的独立软件包，用来打包软件运行环境和基于 运行环境开发的软件，它包含运行某个软件所需的所有内容，包括代码、运行时、库、环境变量以及配置文件等。Docker的镜像实际上由一层一层的文件系统组成，实现上主要依赖 UnionFs（联合文 件系统）：union文件系统...
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
批处理作业 在高性能计算领域中，存在大批量、可同时处理的计算场景，如以下 freebayes 应用场景，不同任务均使用 freebayes 应用程序，但是每个任务处理不同的输入文件(-bam-list)、不同 的参数(-r)和不同的结果文件(-vcf)。由于作业量巨大，需要任务的并发执行，以缩短任务处 理时间。3.5.2.数组作业介绍 高性能计算集群...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
应用程序的分布度、可扩展性和容错能力越高，越 适合使用抢占式实例节省成本和提升吞吐量。有状态应用不宜使用抢占式实例，例如 数据库。因为竞价失败等原因导致抢占式实例被释放时，应用状态难以保存。文档版本：20210329 21 云上成本优化 workshop 计费优化 在使用抢占式实例时，要重点注意以下两点 保护期：抢占式实例...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
横向扩展数据库读能力，每个只读实例拥有独立的连接地址，可由应用端控制压力分配，满足大量的数据库读取需求，增加应用的吞吐量.支持将其他数据库引擎的SQL翻译成PostgreSQL的SQL，目前仅支持将Oracle的SQL翻译成PostgreSQL的SQL.逻辑复制槽高可用.支持逻辑复制槽slot failover功能，当数据库发送HA切换时，slot信息不会...
来自：
云产品
GPU云服务器
阿里云GPU云服务器（GPU Cloud Computing，GPU）是提供 GPU 算力的弹性计算服务，具有超强的计算能力，服务于深度学习、科学计算、图形可视化、视频处理多种应用场景。阿里云作为亚洲第一的云服务提供商，随时为您提供触手可得的算力，有效缓解计算压力，提升您的业务效率，助您提高企业竞争力。
您可以针对您的应用程序的整体计算和内存需求在 Alibaba Cloud 中选择最适用的ECS实例，然后再配置所需量级的 GPU 驱动推理加速，有效利用资源，同时火速节约成本高达50%.满足用户选择最合适应用的ECS总体计算实例类型，单独制定所需GPU推理加速量级，相比GPU推理实例成本降低50%.推理成本降低50%.根据用户需求灵活配比CPU...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您