SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
步骤4通过对等连接打通上海和北京两个VPC网络，方案中需要配置的对等连接路由清单，路由策略 源网段 目标网段 出口 备注 上海IDC 出口设备路由表（下一 VPC-SH-TO-BJ 172.16.0.0/12 192.168.0.0/16 CADT架构图中已经预先配置好 跳）北京VPC 出口设备路由表（下一 VPC-BJ-TO-SH 192.168.0.0/16 172.16.0.0/12 CADT架构图中...
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
2023-11-05Quick BI 怎么根据某个维度字段生成相同样式的表，例如有一个销售表，要根据不同的区域生成多个表？使用 Quick BI 根据某个维度字段生成相同样式的表的步骤：导入数据：首先，您需要将销售表导入到 Quick BI 中。您可以通过文件上传、数据库连接等方式将销售表导入到 Quick BI 中。分析数据：在导入数据后，您...
来自：
云产品
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
文档版本：20220127 XVI 电商网站数据埋点及分析 电商网站数据埋点 步骤3 找到 customer_entity这张表（即用户表），执行 SQL操作，发现当前仅一条示例数据（如果有数据可以先删除，再执行数据生成）。文档版本：20220127 XVII 电商网站数据埋点及分析 电商网站数据埋点 步骤4 执行数据生成，构建假数据。文档版本：...
企业用户多账号合并之存储迁移集中
场景描述 本文介绍使用在线迁移服务，将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求，统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问，数据统一需求。 3.系统架构及资源成本优化需求，多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
解决问题 1....2.业务系统相互访问，数据统一需求。...执行迁移任务 步骤1 任务创建成功后会在预设可执行时间段自动执行，并可以通过管理入口查看任务详情：步骤2 检查任务执行详情及生成迁移报表。可根据迁移报表内的详细迁移日志文件确认每个文件迁移状态，详细迁移日志保存在 目的地址 bucket下。文档版本：20220505 20
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
步骤3 找到数据表 mc_weblog，拖拽到图中，见下图：文档版本：20211213 95 基于 MaxCompute的大数据 BI分析 数据分析及QuickBI展示 再选择 customer表，拖拽到图中：再新增关联关系：文档版本：20211213 96 基于 MaxCompute的大数据 BI分析 数据分析及QuickBI展示 步骤4 配置 weblog与 product的关联关系 再新增关联关系：...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
DTS 提供了数据迁移、实时数据 Data 订阅及数据实时同步等多种数据传输能力，可实现 DTS Transmission 不停服数据迁移、数据异地灾备、异地多活(单元 Service 化)、跨境数据同步、实时数据仓库、查询报表分 流、缓存更新、异步消息通知等多种业务应用场景，助您构建高安全、可扩展、高可用的数据架构。阿里云关系型数据库...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
步骤5 系统基于模板生成应用架构图。文档版本：20210725 4 阿里云数据库快速搭建疫情分析系统最佳实践 通过 CADT部署资源 注意事项：1.架构图中 ECS中的登录密码，和 PolarDB连接线上的账号密码未包含在模板中，请自行设置。2.根据实际情况调整可用区后，请确认资源在对应可用区是否有库存。3.修改可用区等网络配置后，请...
大数据workshop
大数据workshop
对于维表数据 量比较大，维表变化不是特别敏感且增长不是特别快的情况，可以使用 HBase作为维 表的存储引擎。本实践使用了 RDS MySQL作为维表数据存储引擎作为演示，也推荐 用户可以直接参考 Hologres的产品帮助文档直接使用 Hologres作为维表的存储引擎。文档版本：20210628（发布日期）4 阿里云最佳实践大数据 WorkShop ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
本产品提供丰富的预制应用架构模板，同时也支持自助拖 拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可以方便的 对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。详见：https://www.aliyun.com/product/developerservices/cadt 文档版本：20210803（发布日期）IV阿里云最佳实践大数据...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
MaxCompute向用户提供了完善的数据导入方 案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有 效 降 低 企 业 成 本，并 保 障 数 据 安 全。详 见：https://help.aliyun.com/product/27797.html Dataworks：DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引 文档版本：20210802（发布...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
智能外呼机器人
阿里云智能外呼机器人即通过业务的场景自动发起的电话外呼任务。支持灵活画布配置，精准语音识别、自然人声合成、丰富开放API。通过人与机器人的语音对话交互收集业务结果，并对数据加以统计处理，获取用户反馈，帮助客户轻松实现智能化外呼。能够降低呼叫中心人力外呼成本，提升信息筛选及反馈效率。
实时采集通话内容中需要调研的相关信息并生成报表，便于医疗从业者随时查看。业务效果•日均接通率60%；日常外呼量20000+通；高峰期外呼量单日60W通.更多产品与服务.通过智能机器人外呼平台，能够良好进行该几类外呼场景作业，达到与人工坐席接近的水平.彻底解决场地、设施、人力资源等痛点，一键扩张多倍产能，低边界成本....
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
本实践基于 Spring-boot模拟的游戏服务器，提供 Restful API模拟用户行为数据的生 成（一种：生成的用户行为数据直接写到 Kafka，另一种：生成的用户数据写入到日志 文件）。步骤1 运行 Git命令，进行本地下载游戏服代码，下载地址：https://code.aliyun.com/best- practice/game-server-188.git 步骤2 采用你熟悉的 IDE...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
文档版本：20200127 120 部署云防火墙 企业上云 workshop-IDC业务迁移上云 步骤3 在新增外-内策略对话框中，参考下表，配置相关参数，放行目的 80端口的访问。配置项 说明 源类型 IP 访问源 0.0.0.0/0 目的类型 IP 目的 0.0.0.0/0 协议类型 TCP 端口类型 端口 端口 80/80 应用 ANY 动作 放行 描述 放行 80端口 优先级 最前 ...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
与开源社区背后商业公司 Elastic战略合作，为客户提供企业级权限管控、安全监控告警、自动报表生成等场景服务。Logstash 文档版本：20210802 III 自建 ElasticSearch快照备份 OSS 前言 Logstash是一个开源数据收集引擎，具有实时流水线功能。Logstash可以动 态统一来自不同来源的数据，并将数据规范化之后投递到您选择的...
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
如果想生成更多数据，可以将 dbgen-s后的数据设为要 生的数据容量(G)。cd/root/2.18.0_rc2/dbgen./dbgen-s 10 从本最佳实践的 git库下载脚本，其中 load.ddl是加载数据，dss.ri是主键生成命令，都拷贝到 dbgen目录下。步骤6 安装 MySQL。在本主机上建议安装 MySQL client端，执行如下命令：yum install mysql-y 文档版本：...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
本产品提供丰富的预制应用架构模板，同时也支持自助拖 拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可以方便的 对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。详见：https://www.aliyun.com/product/developerservices/cadt RI：预留实例券（Reserved Instance）：是一种计算资源的抵扣...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
对应传统的运营分析方式，存在如下痛点：关系型数据库性能较差，统计分析场景一般是基于大表、超大表，而普通关系型 数据库对于大表、多表关联查询性能不足。实时性差，传统数仓一般只能抽取头一天的数据，然后凌晨跑报表任务，时延一 般 T+1。单机存储限制以及成本比较高，云数据库或者自建数据库都会遇到单机的存储 瓶颈...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
明细数据层生成 从消息队列 Kafka的 Topic：app_log读取预处理日志，通过实时计算 Flink进行实时 ETL处理（维表 JOIN和自定义函数处理），再将生成的明细数据层数据发送到消息队 列 Kafka的 Topic：app_log_dwd。4.2.2.1.自定义函数 UDX开发 步骤1 搭建实时计算自定义函数的环境。从演示环境说明中下载的示例 demo代码包含 ...
- 产品推荐
- 这些文档可能帮助您