基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
应用场景 在大数据 ETL场景，Kafka是数据的流转中心，Kafka 中的数据一般是原始数据，可能存在多种 数据混杂的情况，需要进一步做数据清洗后才能 进行下一步的处理或者保存。利用函数计算 FC，可以快速高效的搭建数据处理链路，用户只需要 关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步，跨帐号阿里云Kafka实例 之间消息、元数据同步，阿里云Kafka实例和IDC 自建Kafka（其他云Kafka）之间消息、元数据同步。应用场景 在大数据场景，企业的Kafka实例...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
弹性公网IP：是独立的公网IP资源，可与阿里云专有网络VPC类型的云服务器ECS、NAT 网关、ENI网卡、私网负载均衡SLB绑定，并可以动态解绑满足灵活管理的要求。弹性公 网IP可为您在云上部署的网站提供Internet访问服务。 云速搭CADT（CloudArchitectDesignTools）：是一款为上云应用提供自助式云架构管理 的产品，显著地...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
日志服务SLS：是云原生观测与分析平台，为Log、Metric、Trace等数据提供 大规模、低成本、实时的平台化服务，日志服务一站式提供数据采集、加工、查 询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。文档版本：20240322 2容器多云统一监控日志 最佳实践概述 应用...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
基于OSSObjectFC实现非结构化文件实时处理最佳实践 业务架构 场景描述 基于阿里云OSS和函数计算共同实现的产品化 集成解决方案OSSObjectFC，实现可以OSS 中的非结构化数据在读取时插入自定义业务逻 辑，对非结构化数据做实时处理后再返回。应用场景 现在绝大多数客户都有很多非结构化的数据存 在OSS中，以图片，视频，音频...
数据安全中心
敏感数据保护（Sensitive Data Discovery and Protection），在满足等保v2.0“安全审计”、等保v3.0及“个人信息保护”的合规要求的基础上，为客户提供敏感数据识别、分级分类、数据安全审计、数据脱敏、智能异常检测等数据安全能力，形成一体化的数据安全解决方案。
多种预置合规方案与报告，能更清晰、更有条例的展示网络中符合等保相关规定的安全措施，为您的网络通过等保测评助力.重点解决的数据安全问题.审计日志远端存储，满足合规性.提供事前、事后、普通用户、管理员等维度的审计报告.提供性能、数据、行为异常的监控.产品动态时间线组件.唐家哲,靖鑫,也树.《数据安全法》、《个人...
来自：
云产品
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：以上是整体的架构图，下面我们来逐步拆解：数据源 这里来模拟采集用户一些行为数据，数据格式如下：{"action":"readArticle","articleTitle":"FC+Kafka最佳实践","articleAuthorId":1,"articleAuthorName":"jiyuan","ts":1621577423 } 文档版本：...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
值 topic test_kafka_perf1 test_kafka_perf1 test_kafka_perf1 group perf-consumer perf-consumer perf-consumer 分区数 24 24 24 产品介绍 专有网络VPC（VirtualPrivateCloud）：是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和 管理云产品实例，比如...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
u 分区数：默认 12 个分区，通常建议分区数是 12 的倍数，减少数据倾斜风险。u 存储引擎：阿里云 Kafka 架构，有云存储和 Local 存储。（详细对比参见文档：https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for- kafka/product-overview/comparison-between-storage-engines ）u 消息类型：普通消息。...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
2.2 引擎规格 1核2G 集群节点数 3 网络类型 专有网络 公网带宽 0 实例监控 可观测监控Prometheus版 节点 属性 配置 说明 开通产品 应用实时监控服务 arms 默认 服务规格 试用版 节点 属性 配置 说明 实例名 PTS压测包 商品类型 按量抵扣资源包 资源包类型 基础版 PTS压测包 最高虚拟用户(VU)5万 VUM 3万 购买时长 预付费/按...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
应用计价成功后，CADT会实时生成一个应用架构成本分析报告，可以单击查看报 告。步骤9 如果确认价格符合预期，可以单击下一步：确认订单。互联网电商行业离线大数据分析 搭建电商网站Demo 确认订单阶段会列出架构中所有的产品及其价格，需要用户确认无误后勾选接受《云 速搭服务条款》，此时下一步：支付并创建才会高亮，...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
结论：云数据库 ClickHouse更加适合海量数据分析型业务、大宽表聚合查询分析、数 据 Hash对齐 Join场景、实时日志分析场景等等 文档版本：20201224 6 基于 Flink+ClickHouse构建实时游戏数据分析 架构设计 2.架构设计 2.1.架构图 本实践主要以流处理为主线，搭建实验环境，构建在线用户行为分析平台：2.2.核心模块 游戏服...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
应用计价成功后，CADT会实时生成一个应用架构成本分析报告，可以单击查看报 告。基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测 步骤10如果确认价格符合预期，可以单击下一步：确认订单。确认订单阶段会列出架构中所有的产品及其价格，需要用户确认无误后勾选接受《云 速搭服务条款》，此时下一步：支付并创建才会高亮...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
应用计价成功后，CADT会实时生成一个应用架构成本分析报告，可以单击查看报 告。步骤8 同意并勾选《云速搭服务条款》，单击下一步：支付并创建。因为有包月服务，再点 击确认包月的datav服务。步骤9 部署预计5分钟～10分钟左右，部署成功后，如下图所示：2.3.创建子用户 步骤1 登录RAM访问控制管理控制台。...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
弹性公网 IP：弹性公网 IP是独立的公网 IP资源，可与阿里云专有网络 VPC类型 的云服务器 ECS、NAT网关、ENI网卡、私网负载均衡 SLB绑定，并可以动态解 绑满足灵活管理的要求。弹性公网 IP可为您在云上部署的网站提供 Internet访问 服务。文档版本：20240423 VII 基于MSE云原生网关同城多活最佳实践 前置条件 前置条件 在...
云速搭-ECS结合网络相关优化方案
本实践设计了不同的ECS结合网络部署方案，并使用云速搭CADT做预算，可以快速对比出不同方案根据当前账户的折扣的价格差，根据需要部署系统的需求和享有的折扣，可以灵活配置ECS和网络产品，节约成本。
步骤9 耐心等待一段时间后，部署成功，单击查看报告，可以实时生成应用架构方案部署报 告。文档版本：20211103 18 云速搭-ECS结合网络相关优化方案 通过云速搭部署资源 部署成功后，资源右上角会有一个绿色的状态灯，部署成功的架构图会默认进入浏览 状态，这时是不能对架构图进行修改，防止误操作。至此一个简单架构设计-...
- 产品推荐
- 这些文档可能帮助您