基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送）推送格式：RawData（也可以选择标准的 CloudEvents格式，但函数中的代码需要 适配解析 CloudEvents格式的逻辑）重试策略：指数衰减重试。（也可以选择退避重试）容错策略：允许容错。（允许异常容错，当异常发生时不会阻塞执行，...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
（可以选择开启，然后可以设置批量推送的条数，批量推送间 隔，根据需求选择是否批量推送）l 推送格式：RawData（也可以选择标准的 CloudEvents 格式，但函数中的代码需要 适配解析 CloudEvents 格式的逻辑）l 重试策略：指数衰减重试。（也可以选择退避重试）l 容错策略：允许容错。（允许异常容错，当异常发生时不会阻塞...
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
把数据报表添加到仪表盘，推送到邮件或钉钉。文档版本：20220127 I 电商网站数据埋点及分析 最佳实践概述 方案优势 支持 30+采集端，无论是嵌入式设备，网页，服务器，程序等都能轻松接入。在消费端，支持与 Storm、Spark Streaming、云监控等对接，完美对接开源软件 及阿里生态。提供完整监控、报警等功能数据，并支持弹性...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
随着客户业务规模的扩大，对系统高可用性要求越 数据库双向同步 来越高，越来越多用户采用异地双活/多活架构，多 数据库全局 ID不冲突 活架构往往涉及业务侧做单元化改造，本方案仅模 双活架构的数据库建设问题 拟用户已做单元化改造后的数据双向同步，数据库 采用双主架构，本地写本地读，同时又保证双库的数 据一致性，为...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据，我们如何进行数据库的选项，这里对比了开源的两种常见分析性数 据库。ClickHouse对数据采用有序存储的方式，其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征，并且结合 LSM tree的设计进一步进行优化，使得 写性能达到最优（可达到 200MB/S...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
Hologres常见使用场景 联邦分析实时数据和离线数据 业务数据分为冷数据和热数据，冷数据存储在离线数据仓库MaxCompute中，热数 据存储在Hologres中。Hologres可以联邦分析实时数据和离线数据，对接BI分析 工具，快速响应简单查询与复杂查询的业务需求。图1.联邦分析架构图 实时数据仓库 实时写入业务数据至实时计算，使用...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
E-HPC低成本实现量化策略回测 最佳实践 业务架构图 场景描述 在量化交易场景下，量化策略的构建流程一般包 括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数 据的分析和处理，如何快速、高效和低成本的进 行批量任务的调度，并快速获取结果是量化领域 遇到的普遍挑战，这也是...
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后，企业在享受K8S带来应 用管理的便利的同时，存在硬件性能不足，本 地扩展性差，容器容灾难，K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性：如何通过弹性裸金属服务 器的强劲硬件性能，实现云端资源急速扩 展，从容应对应用访问压力大的问题。 2.如何简化云端K8S运维：通过阿里云容器服 务（ACK）实现敏捷开发和部署落地，加速 企业业务迭代。 3.如何综合考虑迁移和容灾：如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云：如何实现应用上云数据 库连接零修改。 5.数据库上云及回退：如何实现上云回退； 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
机型：通过 ECS模拟 RDS：实际迁移过程-规格：ecs.c6.xlarge（4C/8G）-区域：华东 1（杭州）中建议 RDS配-数量：1-数据库类型：置和线下 IDC-主机名：DB001 MySQL5.6 单可用版 数据库配置对 数据库服务-内网 IP：10.0.0.20（可用区 J）齐，本例为测试 器-业务库：magento_db-实例规格：2核 4G 选较小规格实-用户和权限：...
事件总线 EventBridge
事件总线 EventBridge是阿里云提供的一款无服务器事件总线服务，支持阿里云服务、自定义应用、SaaS应用以标准化、中心化的方式接入，并能够以标准化的 CloudEvents 1.0 协议在这些应用之间路由事件，帮助您轻松构建松耦合、分布式的事件驱动架构。
视频网站上传视频文件到OSS OSS处理请求后发布PutObject事件到事件服务 PutObject事件根据用户的规则路由到MTS服务 MTS服务根据OSS事件对视频文件转码并上传 MTS转码完成后发布转码完成事件到事件服务 转码完成事件根据用户配置的规则，推送通知到原视频网站，并发送短信通知用户.多任务间松耦合设计，提高业务并发处理能力...
来自：
云产品
云监控
云监控（CloudMonitor）是阿里云提供的一站式、全链路、开箱即用的云资源监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控，提供丰富的指标数据和强大开放的平台能力，第一时间发现和定位问题构建完善的监控运维体系。
除了语音、短信、邮件、钉钉群外还可以推送到指定的WebHook、消息队列、函数计算、日志服务中.云服务事件的自动化处理.基于云产品事件进行自动化处理.云监控提供常用云服务的系统事件、状态变更事件等信息（例如ECS 服务器的状态变化事件、磁盘性能受损事件等）。您可以订阅这些事件，云监控会将事件实时投递到您的消息服务...
来自：
云产品
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构，某可用区挂掉后，不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB，RDS，Redis等产品，实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB，RDS，REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
文档版本：20220622 27 容器跨可用区高可用最佳实践 部署 wordpress应用 步骤5 登录 ECS，下载并制作镜像，然后推送到阿里云的镜像服务里。打开 terminal或者 putty（windows电脑上）连接开发环境 1.[jinghai@ali-6c96cfdfeb75~]$ssh root@${EIP} 2.[root@ecs-test~]#3.4.#安装docker并启动服务 5.6.#yum install-y yum-...
- 产品推荐
- 这些文档可能帮助您