自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
云数据库 ClickHouse 冷热数据分层存储是一种更具性价比的单实例多类型并存的数 据存储方式，提供热数据存储和冷数据存储两种方式，以及不同数据存储介质之间的 转存策略。热数据指的是实时性查询要求高、访问频次较高的数据，采用 ESSD或高 效云盘存储，满足高性能访问的需求。冷数据指的是查询频度相对较低、访问频次较 ...
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
Git下来后 031目录里面包含文档中用到的命令行脚本文件（democode.txt）、数据埋 点代码和脚本、terraform脚本等等。文档版本：20220127 II 电商网站数据埋点及分析 资源环境部署 2.资源环境部署 本实践可使用云速搭 CADT 快速部署资源环境，CADT 使用手册请参见：https://help.aliyun.com/document_detail/186134.html ...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
类别 配置项 说明 基本属性 中文名 销售数据统计 表结构设计 添加字段 total_quantity，DOUBLE total_sales，DOUBLE 步骤5 添加完两个字段后，单击保存按钮，并单击上方的提交到生产环境。步骤6 在提交生产确认页面，点击确认提交。互联网电商行业离线大数据分析 步骤7 切换到业务流程，将ODPSSQL点击拖入。步骤8 在新建...
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
产品功能个人版高级版专业版数据分析仪表板支持支持支持即席分析不支持不支持支持模板市场支持查看所有模块支持查看所有模块，应用已购模块支持查看及应用所有模块电子表格不支持单独购买支持数据大屏不支持单独购买赠送基础容量，可按需增购数据应用企业门户不支持支持支持订阅推送(邮件)不支持支持支持自助取数不支持...
来自：
云产品
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
在HoloWeb控制台，选择SQL编辑器，然后点击新增SQL窗口，选择对应的数 据库，编辑填写相应的DDL建表语句（默认数据表的属性是列存模式，列存模式更 适合OLAP数据分析，数据表的行存模式更适合高QPS点查询场景）。1.首先创建ads_province_info表。文档版本：20210803（发布日期）39阿里云最佳实践金融大数据WorkShop 最佳...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段，但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜，都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验，为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
若有数据迁移相关需求，请参考其他搬站和数据迁移相关方案。本最佳实践中使用的脚本可以使用 https://code.aliyun.com/best-practice/065.git 进行下 载。注意：◼ 本实践需要提前准备一个备案的域名，本文以 magento.lustre.site为例。◼ 要使用风险识别的按量付费，还需要账号通过企业实名认证。文档版本：20210806 V ...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hive数据仓库跨版本迁移到阿里云 EMR 场景描述 解决的问题 客户在IDC或者公有云环境自建Hadoop集群构建 Hive数据仓库的数据迁移方案 数据仓库和分析系统，购买阿里云 EMR集群之后，Hive元数据库的迁移方案 涉及到将数据仓库和Hive元数据的数据库迁移上 Hive跨版本迁移后的数据订正 云。目前主流 Hive数据仓库迁移场景...
大数据workshop
大数据workshop
在 HoloWeb控制台，选择 SQL编辑器，然后点击新增 SQL窗口，选择对应的数 据库，编辑填写相应的 DDL建表语句（默认数据表的属性是列存模式，列存模式更 适合 OLAP数据分析，数据表的行存模式更适合高 QPS点查询场景）。1.首先创建 ads_province_info表。文档版本：20210628（发布日期）42 阿里云最佳实践大数据 WorkShop ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
比如数据是否要做到无状态，无状态的话水平 文档版本：20210519 3 新零售商超基于 Serverless服务化改造 前置条件 扩展会比较容易，而如果是有状态，数据可能就需要做缓存，这就会涉及到数 据库相关的问题，例如数据过期、一致性等。如果对这些了解不够透彻，做水 平扩展就会比较困难。ￚ 水位监控 许多开发者在水位监控上...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
Intel Mac OS X 11_1_0)AppleWebKit/537.36(KHTML,like Gecko)Chrome/87.0.4280.88 Safari/537.36""-"步骤14 检查日志导入后的数据（可能需要等 1分钟左右，可单击刷新按钮），单击下一步。文档版本：20211021 28 基于 SLS实现统一告警最佳实践 配置自定义告警 步骤15 配置完成，点击查询日志。步骤16 返回到日志首页，检查...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本：20211213 1 基于 MaxCompute的大数据 BI分析 最佳实践概述 方案优势 以 Hologres+QuickBI快速实时数据分析的核心能力为切入点，将客户的业务数 据、日志数据引导至阿里云的日志服务和分析性数据库。融合阿里云的日志服务 SLS 的生态，增强用户体验(如无缝对接 Flink、Elasticsearch、RDS、Hologres、EMR、dataV ...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
3.数据加工：消息队列收到的原始数据，往往存在格式不齐或内容不全，需要经过数 据清洗（ETL）之后，才能更好的被下游业务使用。而整个 ETL过程，是实时数 仓架构设计上非常重要的一环，该环节要做到延时小，成本低，可扩展性好，业务 指标计算准确。在系统选型上，推荐使用实时计算 Flink对数据进行处理，因为 Flink具有...
音视频终端 SDK
音视频终端 SDK集成了阿里云视频直播和视频点播业务中拍摄、编辑、上传、推流和播放的核心能力，同时融合视频特效、音频特效等音视频AI能力，为用户提供一体化SDK，支持多终端接入，搭配产品级Demo，支持用户根据业务需求快速集成所需
支持横屏、镜像、纯音频、静音、后台等多种推流方式.超低延时直播.提供基于 UDP 协议的 WebRTC 推流，且控制台支持自助开通 WebRTC 推流域名，优秀的弱网抗性，带给用户毫秒级超低延迟直播体验.提供基于实时音视频 RTC 的直播连麦解决方案，帮助客户实现超低延时、更多人数的直播实时互动.动态码率支持根据网络情况自动调整...
来自：
云产品
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
文档版本：20200630（发布日期）34 云上日志集中审计 集中云安全产品日志 步骤3 根据需要，选择配置参数，本实践示例配置：配置项 说明 当前版本 企业版 资产数 50台 带宽（互联网防火墙吞吐量）50Mbps 日志分析 是 日志存储容量 4000GB 购买时长 1个月 文档版本：20200630（发布日期）35 云上日志集中审计 集中云安全产品...
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
应用场景 客户在阿里云不同region、阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）、或者IDC等业务数据或应用系统产品的日志数据等，汇总处理后，通过标准的通用的协议Kafka，数据入湖到阿里云SLS日志中心，进行统 一分析和处理。主要步骤：1.通过CADT快速完成SLS数据入湖Kafka最佳实践需要的...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 业务架构 场景描述 日志服务SLS提供Elasticsearch兼容接口，支 持客户将日志采集到日志服务后，仍可以继续沿 用Elasticsearch的查询方案，即通过使用 Kibana访问日志服务的Elasticsearch兼容接 口，实现查询SLS数据。应用场景 自建ELK日志系统的客户迁移到阿里云日志服 务...
ECS 数据备份与保护
随着企业核心业务规模不断扩大，需要根据业务需求对生产环境中的关键数据进行定期备份。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台ECS 数据备份与保护方案介绍方案优势应用场景方案部署ECS 数据备份与保护随着企业核心业务规模不断扩大，需要根据业务需求对生产环境中的关键数据进行定期备份，在发生误操作、病毒感染、或攻击等情况时，能够快速从已有的快照恢复到某个...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您