基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
（函数中的代码在后续需要进入函数计算控制 台补充）vCPU规格：1 vCPU（函数计算有多种 CPU资源规格，可以根据实际情况自行选择）内存规格：1024 MB（函数计算有多种内存资源规格，可以根据实际情况自行选择）硬盘大小：512MB（函数计算提供免费的 512MB的存储空间，如果超过 512MB，会 提供10GB的存储空间，但是会有额外...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
步骤2 查看应用链路拓扑，可以看到业务完整链路拓扑，同时可以看到此链路的请求数，响 应时间，错误数等核心指标信息 文档版本：20240329 34容器场景下的应用性能监控、调用链拓扑、内存剖析 场景验证 5.2.调用链性能分析 步骤1 选择调用链分析，点击traceid，可以看到这个trace下面的详细链路调用及耗时，点击 ➕加号，...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
应用场景 在物联网场景中，智能设备会产生大量的非结构化数 据，并且采集量和频率都很高。比如各类摄像头（家 用摄像头、车载摄像头、工业监控摄像头等）采集的 数据。企业需要对这些非结构化数据做快速的分析和 处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场 景。解决...
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问体验，无感知的将海量云存储数据接入本地数据中心，拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及，越来越多的用户把自己的业务放到了云上。但是随着业务的发展，如何提高业务的可靠性和连续性，跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持，可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例，对接同一个阿里云OSS Bucket，可以实现快速的异地文件共享和分发，非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合，老业务是从数据中心迁移过来的使用的是标准的存储协议，例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术，支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情，云存储网关正好起到一个桥梁的作用，可以便捷的沟通新旧业务，进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具，用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低)，同时挂 载在用户的客户端需要额外的配置和缓存资源，对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关，用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
本地数据中心基于 SMB/NFS协议访问对象存储 最佳实践 业务架构 场景描述 本地数据中心在本地存储有限的情况下可以基 于云存储网关搭建一个海量文件系统的文件存 储服务，实现多个数据中心互相之间高效的同步 和共享数据。云存储网关以对象存储 OSS为后 端存储，为云上和云下应用提供业界标准的文件 服务（NFS和 SMB）和块...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
基于函数计算 FC实现阿里云 Kafka消息轻量级ETL处理 最佳实践 业务架构 场景描述 基于函数计算 FC处理消息队列 Kafka中的数据，进行 ETL处理后，将清洗归档后的数据上传到 OSS存储。应用场景 在大数据 ETL场景，Kafka是数据的流转中心，Kafka 中的数据一般是原始数据，可能存在多种 数据混杂的情况，需要进一步做数据清洗后...
无代理ECS数据备份与高效环境搭建
本方案是基于快照提供数据保护和环境搭建的解决方案。可以帮助您实现无代理且有效可靠的数据备份，同时还可以帮助您快速克隆部署开发测试环境。使用基于快照的备份不仅简单有效，在数据备份以及恢复中也能保证稳定可靠，同时基于快照的环境搭建，不仅可以免于从0到1搭建环境，还可以将环境、数据等全部打包克隆到新机器上。
相关产品云服务器 ECS块存储 EBS专有网络 VPC弹性公网 IP在线咨询方案优势无代理简单有效不占用云服务器CPU和内存，不影响生产，不借助第三方备份，不依赖任何插件，充分保证数据备份有效可靠且简单易用。灵活高效的备份和环境搭建提供手动/自动快照两种方式，可满足一次性的数据保护和按需的数据保护，提供快照和镜像等...
来自：
解决方案
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（函数中的代码在后续需要进入函数计算控制 台补充） vCPU规格：0.35c（函数计算有多种CPU资源规格，可以根据实际情况自行选择） 内存规格：512MB（函数计算有多种内存资源规格，可以根据实际情况自行选择） 硬盘大小：512MB（函数计算提供免费的512MB的存储空间，如果超过512MB，会提供10GB的存储空间，但是会有额外...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
（函数中的代码在后续需要进入函数计算控制 台补充） vCPU规格：0.35c（函数计算有多种CPU资源规格，可以根据实际情况自行选择） 内存规格：512MB（函数计算有多种内存资源规格，可以根据实际情况自行选择） 硬盘大小：512MB（函数计算提供免费的512MB的存储空间，如果超过512MB，会提供10GB的存储空间，但是会有额外...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
（函数中的代码在后续需要进入函数计算控制台 补充）l vCPU 规格：0.35c（函数计算有多种 CPU 资源规格，可以根据实际情况自行选择）l 内存规格：512MB（函数计算有多种内存资源规格，可以根据实际情况自行选择）l 硬盘大小：512MB（函数计算提供免费的 512MB 的存储空间，如果超过 512MB，会提供 10GB 的存储空间，但是会...
云原生内存数据库Tair
云原生内存数据库Tair是阿里云推出的，基于云原生架构的内存数据库，兼容Redis API，支持内存、持久内存、ESSD三种存储介质，并提供大量扩展型数据结构及企业级能力。
据测算，相比原有数据库产品，Tair帮助行情业务系统的数据库成本降低50%以上.Tair内存型的高性能以及 TairRoaring 模块支持的 RoaringBitmap 数据结构，成功支持了神策数据的精准营销场景。TairRoaring 将用户数据体积降低至原始数据体积的1/7，访问延时降低至亚毫秒级，吞吐达到每秒百万次请求.十荟团采用云数据库Tair内存...
来自：
云产品
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：以上是整体的架构图，下面我们来逐步拆解：数据源 这里来模拟采集用户一些行为数据，数据格式如下：{"action":"readArticle","articleTitle":"FC+Kafka最佳实践","articleAuthorId":1,"articleAuthorName":"jiyuan","ts":1621577423 } 文档版本：...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
高效：自动云分层，热数据存放在本地存储空间，确保了数据的高速访问，冷数 据放在云端，充分利用公共云存储的海量空间。云缓存功能确保当数据存放在云 端的时候，也能利用本地存储空间的缓存功能，为应用提供快速响应。 可靠：阿里云混合云存储阵列采用了全冗余的硬件设计，支持数据加密，集成 AD/LDAP，支持ACL，...
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
满足高性能、高稳定性、可弹性的计算需求.Databricks Delta Lake为数据湖分析提供了ACID事务能力，轻松处理包含数十亿文件的PB级表的元数据信息，实现了批流一体的数据处理方式.同时满足数据科学家、数据工程师以及业务分析师的计算需求，提供交互式的协同分析工作平台.计算存储分离，减少数据冗余，实现多引擎间的数据共享...
来自：
云产品
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
JindoFS采用了本地存储和OSS的异构多备份机制，StorageService提供了数据存 储能力，首先使用OSS作为存储后端，保证数据的高可靠性，同时利用本地存储实现 冗余备份，利用本地的备份，可以加速数据读取；另外，JindoFS 的元数据通过本地 服务NamespaceService管理，从而保证了元数据操作的性能（和HDFS元数据操 作性能相似...
Alibaba Cloud Linux
Alibaba Cloud Linux 是阿里云打造的 Linux 服务器操作系统发行版。为云上应用程序提供 Linux 社区的增强功能，同时通过引入更完善的发行版质量体系，确保产品品质，提供云上最佳用户体验。
相关产品云服务器 ECS容器服务 ACK在线咨询产品定价Alibaba Cloud Linux 是免费镜像，但当您选用 Alibaba Cloud Linux 镜像创建 ECS 实例时，需要支付其他资源产生的费用，如 vCPU、内存、存储、公网带宽和快照等。免费试用计费方式使用其他资源产生的计费详情，请点击右侧“计费详情”了解。了解云服务器 ECS 的计费详情...
来自：
云产品
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
云原生数据湖分析提供数据采集、快速查询分析及存储的全链路支持，全站加速、日志存档分析一步到位，实现数据驱动业务增长.日志返还全链路产品化，无需关注中间ETL过程，直接拿到清洗后的结果日志表.快速搭建报表，例如分析错误码分布、分析用户访问链路，实现链路可追溯.满足日志合规需求，满足上级主管部门关于日志数据...
来自：
云产品
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，无需对数据分析应用做...
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内 存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处 理的实时性，同时保证了高容错性和高可伸缩性。本文采用 spark standalone集群模式演示基于弹性供应组...
- 产品推荐
- 这些文档可能帮助您