SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
您可以登录阿里云控制台，并前往实名认 证页面（https://account.console.aliyun.com/v2/#/authc/home）查看是否完成 实名认证。 购买按量付费资源，阿里云账户余额需要大于100元。考虑到部署后每小时会 产生费用，建议账号内余额或者代金卷金额大于200元。您可以登录阿里云控 制台，前往账户总览页面...
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，当应用出现业务异常问题时，您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析，精准定位业务异常。
注意：页面顶部的地域要选择对应本章节 3.2-步骤一 中所配置的地域信息•应用：以 opentelemetry-demo-adservice 为例，应用名为 adservice。如果多个 应用对应一个 Logstore，在应用中可配置多个。日志服务 Project：参考本章节 3.3-步骤一 中所使用的 Project•日志服务 Logstore：参考本章节 3.3-步骤二 中所使用的 ...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
（函数中业务代码的执行时长，可根据函数承载的 业务自行设置其他时间，最大支持24小时） 请求处理程序：index.handler（函数的入口函数名称，index为文件名，handler为 函数名） 环境变量： rtmp_server：RTMP推流地址 步骤20双击名为stop_push_streamming_func的函数计算具体函数，查看配置信息。该函数负 责停止推...
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中， Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
文档版本：20240426 5 基于函数计算 FC镜像部署 SD大模型 场景验证 步骤3 用Docker tag命令为想要上传到 ACR的镜像打上新的标签 步骤4 在ECS上将输入下图对应的命令将本地镜像推送到 ACR 文档版本：20240426 6 基于函数计算 FC镜像部署 SD大模型 场景验证 在阿里云 ACR打开应用的镜像仓库，点击镜像版本，可以看到刚刚推送...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
index.handler（函数的入口函数名称，index为文件名，handler 为函数名）环境变量：本 demo中的程序为过滤关键词，将过滤后的数据存储到 OSS路径，程 序中需要依赖两个环境变量 BUCKET_NAME和FILTER_KEYWORD，根据实际情况设置，BUCKET_NAME需要与后面 OSS设置中的 bucket名字一致，OSS后续修改都需要保 证同步修改，否则会...
阿里云日志服务SLS多云统一日志方案之腾讯云日志采集最佳实践
使用日志服务SLS统一采集、存储、查询和分析阿里云、腾讯云等不同云厂商上的业务日志、系统日志和云产品日志，实现在一个平台上管理多云架构下的所有日志。
您可以登录阿里云控制台，并前往实名认证页 面（https://account.console.aliyun.com/v2/#/authc/home）查看是否完成实名认证。注册腾讯云账号，并完成实名认证。购买按量付费资源，阿里云账户余额需要大于 100元。考虑到部署后每小时会产 生费用，建议账号内余额或者代金卷金额大于 200元。您可以登录阿里云控制台，前往...
基于函数计算FC实现大语言模型部署
在现代AI应用中， Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
您可以登录阿里云控制台，并前往实名认证页面（https://account.console.aliyun.com/v2/#/authc/home）查看是否完成实名认证。购买按量付费资源，阿里云账户余额需要大于 100元。考虑到部署后每小时会产生费 用，建议账号内余额或者代金卷金额大于 200元。您可以登录阿里云控制台，前往账户 总览页面...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
例如，您配置了使用函数计算实现自动解压上传到 OSS的 ZIP文件，解压完成后想要接收消息通知，可采用为目标函数配置异步调用结果回调目 标服务。3.4.该最佳实践的 Callback 在 Web端视频录制应用创建成功后，除了 recorder函数外，还有 dest-fail和 dest-succ两个函 数，这两个函数就是用来当 recorder执行失败或者执行成功...
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板，帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS，BGP公网精品IP等产品，实现低成本的出海业务加速。
您可以登录阿里云控制台，并前往实名认 证页面（https://account.console.aliyun.com/v2/#/authc/home）查看是否完成 实名认证。购买按量付费资源，阿里云账户余额需要大于 100元。考虑到部署后每小时会 产生费用，建议账号内余额或者代金卷金额大于 200元。您可以登录阿里云控 制台，前往账户总览页面...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
（函数中业务代码的执行时长，可根据函数承载的 业务自行设置其他时间，最大支持 24小时）请求处理程序：index.handler（函数的入口函数名称，index为文件名，handler 为函数名）时区：选择 Asia/Shanghai（对齐北京时间）双击OSS查看配置信息。购买方式：可以选择新购或者导入已保有，可以根据实际情况选择。Bucket名称：...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
20240322 28容器多云统一监控日志 场景验证 步骤4 双击CADT画布中上海region名为ecs_k8s_cluster的ecs实例，点击“远程登录”步骤5 通过命令终端查看上海ECS上自建K8Spod运行状态，执行命令:kubectlgetpo-A 需要确认全部状态为Running，文档版本：20240322 29容器多云统一监控日志 场景验证 步骤6 在ECS上创建名为tunnel....
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
（函数中业务代码的执行时长，可根据函数承载的业 务自行设置其他时间，最大支持 24 小时）l 请求处理程序：index.handler（函数的入口函数名称，index 为文件名，handler 为 函数名）l 环境变量：默认设置连接 MongoDB 需要的属性，但具体的值需要后续在函数控制 台编辑。n mongodb_endpoint：MongoDB 连接地址 n mongodb_...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步，跨帐号阿里云Kafka实例 之间消息、元数据同步，阿里云Kafka实例和IDC 自建Kafka（其他云Kafka）之间消息、元数据同步。应用场景 在大数据场景，企业的Kafka实例...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
您可以登录阿里云控制台，并前往实名认证 页面（https://account.console.aliyun.com/v2/#/authc/home）查看是否完成实名 认证。 购买按量付费资源，阿里云账户余额需要大于100元。考虑到部署后每小时会产 生费用，建议账号内余额或者代金卷金额大于200元。您可以登录阿里云控制台，前往账户总览页面...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
在阿里云 EMR服务中，为使用者提供了多种企业级安全机制，从集群管理、用户认 证、访问授权、审计和数据保护等多方面提供了保护。名词解释 E-MapReduce：阿里云 E-MapReduce（EMR）是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink生态大数据 PaaS 产品。提供 用户在云上使用开源技术建设数据仓库、...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
b)ehpc_serverless:serverless 版本的 HPC高性能计算集群，是批量计算主 文档版本：20240204 1 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 最佳实践概述 要的算力环境，按使用时长和规格付费。c)acr-for-ehpc-image:容器镜像服务 ACR实例，ehpc集群运行时需要提供一 个容器镜像，这些镜像通常由用户打包后上传...
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
查看详情Q：开通免费试用时，为什么显示不符合试用资格？A：以下 5 种情况暂不支持试用开通：1）账号未完成实名认证；2）账号类型为虚商类型；3）当前账号曾经参与过试用或购买过 Quick BI；4）实名认证下的其他账号曾经参与过试用或购买过 Quick BI.查看详情Q：Quick BI 是否支持按月订购？A：目前两个规格支持按月订购：1...
来自：
云产品
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
首 先要知道为什么要使用 filebeat呢？因为 logstash是 jvm跑的，资源消耗比较大，启 动一个 logstash就需要消耗 500M左右的内存，而 filebeat只需要 10来 M内存资源。工作原理：Filebeat由两个主要组件组成：prospector 和 harvester。这些组件一起工作来读取文 件（tail file）并将事件数据发送到您指定的输出。启动 ...
RAM用户集成企业AD FS身份认证
介绍阿里云RAM集成Windows AD FS，使用企 业AD对员工的身份认证及管理功能，配置RAM 用户与AD用户的映射关系，实现企业员工使用企 业AD域账号以单点登录（SSO）的方式访问阿里 云控制台。 解决问题 1.Windows AD域部署。 2.Windows AD证书服务及Web服务部署。 3.Windows AD FS部署。 4.阿里云用户SSO配置。 5.AD FS集成RAM用户SSO。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS
注意：[uid].onaliyun.com 可以在RAM控制台的概览页面获取，请将[uid]替换为实 际的uid信息：因test.com为企业内网域名，阿里云将无法验证企业对域名的所有权。RAM 就只能 使用默认域名[uid].onaliyun.com。文档版本：20200120 74RAM用户集成企业ADFS身份认证 ADFS中配置阿里云为可信SAMLSP 在 ADFS 给阿里云颁发的 SAML ...
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP， 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系，实现企业员工使用企业OpenLDAP账 号以单点登录（SSO）的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak，并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
您可以登录阿里云控制台，并前往实名认证页 面（https://account.console.aliyun.com/v2/#/authc/home）查看是否已经完成实名 认证。阿里云账户余额大于 100元。您可以登录阿里云控制台，并前往账户总览页面（https://expense.console.aliyun.com/#/account/home）查看账户余额。文档版本：20210616 3 RAM角色以 KeyCloak...
- 产品推荐
- 这些文档可能帮助您