SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SLS 数据入湖 Kafka 最佳实践 业务架构 场景描述 应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的 聚合、分析处理和导出等，本方案给出了在多 云/混合云场景下，构建通过标准的Kafka协议 和托管服务，SLS可以连接Kafka数据入湖导 入，然后进行统一的海量数据的集中存储、智 能转储、...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
大模型 RAG对话系统部署 最佳实践 业务架构 场景描述 大语言模型（LLM）在生成准确和实时的回复方面存 在局限性，不适合直接用于需要精确信息的客服或问 答等场景。当前业界普遍采用基于检索增强的 RAG 技术来改善 LLM的表现。该方法通过结合 LLM的归 纳生成能力和向量检索库的检索能力，增强对用户查 询的理解，并产生更加...
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
相关产品智能商业分析 Quick BI在线咨询可视化解决方案本方案通过对可视化分析、渲染流程进行标准化，拉齐不同系列图表（统计/关系/表格等）、不同技术栈（G2/D3/L7 等）形成通用可视化底座，使得可视化图表/组件可以物料化的方式在仪表板、电子表格、大屏等应用系统中互通调用。并且建立了独立的分析层（联动/钻取/预测等...
来自：
云产品
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
传统的Hadoop 方案中原始数据和ETL之后的数据都存储于HDFS，随着业务数据量增大，特别是在 线教育学习平台，文本、图片、音频、视频等文件对于数据存储的需求非常大，对大 数据集群规模的压力越来越大，对存储的压力越来越大，集群扩展时DataNode节点 需要退役更换，移动数据的成本很大，造成集群扩展的时间太长。...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
类别 配置项 说明 基本属性 中文名 销售数据统计 表结构设计 添加字段 total_quantity，DOUBLE total_sales，DOUBLE 步骤5 添加完两个字段后，单击保存按钮，并单击上方的提交到生产环境。步骤6 在提交生产确认页面，点击确认提交。互联网电商行业离线大数据分析 步骤7 切换到业务流程，将ODPSSQL点击拖入。步骤8 在新建...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
通过 DMS登录云 ClickHouse集群并建表，注意该表在建表的时候设置 TTL策略。本 实例中的 TTL表超过 50天的数据会自动归档到冷存。步骤2 写入测试表数据。通过 SQL向 hybrid_ttl_distribute分布式表中用 insert语句造 4个月 7亿 100多列宽 表数据，写入的数据是 50天前的数据，会自动归档到冷存。造数据的方法是每天插入 1个...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本：20211213 89 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 步骤3 在 HoloWeb中新建内部表，并设置相应 distribution_key 说明：因为本次数据不多，所以建议在 holo中使用非分区表 代码：BEGIN;CREATE TABLE public.mc_weblog(item_id text,user_id text,client_ip text,country text,province text,city ...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
快速分析哪个渠道是有效渠道，使每分钱都花在刀刃上：实时的分渠道数据统 计可以监测到不同渠道用户的增长、活跃、留存状况以及充值状况，更加全面、快速的分析出投资回报率，让开发者对渠道的评估更加准确。针对付费用户追踪分析，了解付费用户的习惯：针对付费用户群，通过简单易懂 的数据分析模型和图表，跟踪付费用户的...
大数据workshop
大数据workshop
阿里云 最佳实践 大数据 WorkShop 文档版本：20210628（发布日期）阿里云最佳实践大数据 WorkShop 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 阿里云最佳实践大数据 WorkShop 文档版本 V1.8 版本日期 2021-06-28 文档状态 对外发布 制作人 明誉、弦望、川知、衾影 审阅人-文档变更记录 版本编号 日期 作者 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
阿里云 最佳实践 金融大数据WorkShop 文档版本：20210708（发布日期）阿里云最佳实践金融大数据WorkShop 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 阿里云最佳实践金融大数据WorkShop 文档编号 文档版本 V1.7 版本日期 2021-08-03 文档状态 对外发布 制作人 衾影 审阅人 明誉 文档变更记录 版本编号 日期 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
hdfs dfs-ls-R \/user/hive/warehouse/log_data_warehouse.db/apache_logs/year=2020/month=12/day=07 通过该命令的执行结果我们也可以看出，在 hive中创建的 database 和分区表，在 HDFS文件系统都是以目录的形式进行组织和保存的。步骤7 执行 HQL命令查询分区表，验证数据已经正确导入，并将结果集导出到 HDFS上。hive 1....
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
收集统计信息 SELECTa.rmid,count(*),b.os fromlog_pvasajoinpush_historyasb ona.rmid=b.rmid groupbya.rmid,b.os从该例子中，我们可以利用模拟数据进行推送效果在两大收集操作系统间的曝光比例 来进行后续相同内容的推送时，针对手机系统做一定的倾斜。最后我们就可以看到当实时广告的曝光数据命中了推送的时候，我们所...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
提供用户在云上 使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等 场 景 下 的 大 数 据 解 决 方 案。更 多 信 息，请 参 见：https://www.aliyun.com/product/emapreduce 文档版本：20220402 III MaxCompute湖仓一体方案 目录 目录 文档版本信息.I 法律声明.II 产品介绍.III 目录.IV 最佳实践...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
文档版本：20211222 19 开源 Flink迁移实时计算Flink全托管版 作业迁移 2.1.2.Table作业迁移至 SQL 步骤1 在 RDS控制台创建新表（rds_new_table1）,对于 DDL如下：CREATE TABLE `rds_new_table1`(`window_start` timestamp NOT NULL,`window_end` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,`order_type` varchar(8)NOT...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
详情请参考：文档版本：20201224 32 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 https://help.aliyun.com/document_detail/156340.html 步骤1 创建本地表，用于数据的存储，采用 MergeTree系列中的 ReplicatedMergeTree，其 中的参数 '/clickhouse/tables/{shard}/user_behavior_uv_local',它可以理解为表在 ...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
基于 SLS实现统一告警 最佳实践 业务架构 场景描述 告警监控对于一个企业有着至关重要的作 用，然而很多企业在告警运维方面存在着重 复建设、监控质量差、告警风暴、触达不人 性化、无法闭环等问题。SLS告警提供了一站式云上告警管理方案，能够有效的解决企业在使用告警中的痛点。本文以通过自定义告警、Prometheus 告 警、...
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 电商网站数据埋点及分析最佳实践 文档编号 031 文档版本 V1.3 版本日期 2022-01-27 文档状态 外部发布 制作人 洁谦 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-04-24 弦望 创建文档 V1.1 2019-05-06 弦望 增加最佳实践概述、优化 模板 V1.2 ...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
hadoop fs-ls-R \/user/hive/warehouse/log_data_warehouse.db/apache_logs/year=2019/month=12/day=07 通过该命令的执行结果我们也可以看出，在 hive 中创建的 database 和分区表，在 文档版本：20210721 18 自建Hive数据仓库跨版本迁移到阿里云 EMR 基础环境搭建 HDFS文件系统都是以目录的形式进行组织和保存的。...
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段，但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜，都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验，为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
电商网站业务安全 最佳实践 业务架构图 场景描述 业务运营活动...查看调用统计 步骤1 在风险识别管理控制台的左侧导航栏选择调用统计。步骤2 在全品类抵扣包页面，可以看到最近 API的抵扣量、各个服务接口的调用次数等。文档版本：20210806 69 企业上云实践 电商网站业务安全最佳实践|开通风险识别服务 文档版本：20210806 70
- 产品推荐
- 这些文档可能帮助您