阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
详见：https://www.aliyun.com/product/ecs 云数据库RDSMySQL版：云数据库RDSMySQL版是全球最受欢迎的开源数据 库之一，作为开源软件组合LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中 的 重 要 一 环，广 泛 应 用 于 各 类 应 用 场 景。详 见：https://www.aliyun.com/product/rds/mysql OSS：海量、安全、低成本...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
如果 binlog没有打开，那么需要修改源数 据库配置文件中的 log_bin，开启二进制日志 log_bin=mysql_bin。配置完成后重启源 数据库,参考 MySQL，重新进行预检查。访问数据库：mysql-h-P 3306-u admin-p 输入密码：show global variables like"log_bin;文档日期：20200114 30 小型互联网迁移上阿里云最佳实践 数据迁移准备 ...
PolarDB 应对大并发复杂查询实践
MySQL架构是单线程处理SQL，遇到大并发复杂查询时，需要排队长时间等待，容易形成慢查询，影响业务。PolarDB并发查询能力可以很好解决此问题。
步骤6 在安装 TPC-H的 ECS连接 PolarDB数据库。步骤7 PolarDB上创建测试用数据库。create database tpch100g 步骤8 创建表。source./dss.ddl/dss.ddl在 TPC-H中 dbgen目录下 步骤9 加载数据。1.创建 load.ddl，脚本内容如下。load data local INFILE 'customer.tbl' INTO TABLE customer FIELDS TERMINATED BY '|';load ...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
产品列表：E-MapReduce、专有网络 VPC、云服务 最佳实践频道 阿里云最佳实践分享群 器 ECS、云数据库 RDS版 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 EMR集群安全认证和授权管理 最佳实践 文档版本：20200330 文档版本：20150122（发布日期）II EMR集群安全...
Elasticsearch
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供ELK等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级产品服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品特性。
云数据库RDS MySQL版.机器学习平台PAI.推荐搭配使用产品.综合检索分析.综合检索分析.查看全部日志.丰富的行业应用场景，支持智能运维监控、数据检索加速、数据分析、信息检索等场景，涵盖十几个行业线.某用户在小型网站建站场景使用 ES Serverless 服务提供检索能力。Serverless 应用一天内经历了8个小时的业务高峰，写入和...
来自：
云产品
企业应用（酒店PMS）混合云组网最佳实践
酒店上云是分阶段实施，线下和云上的混合云是长期 状态，需要保证线下多地域多分支、云上多地域之间 互相访问，且需要满足不同类型的企业节点的服务要 求，比如总部 IDC 要求带宽大，对安全可靠性要求 高等。
前言 前言 概述 本实践重点提供一种简单且具备成本效益的混合云网络解决方案，通过云服务器和数 据库来搭建云上应用系统，通过部署 SLB提供后续业务发展的横向扩展性以及应用容 灾。产品介绍 VPC：专有网络（Virtual Private Cloud），是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离，用户可以在...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 部署完成后，重启 Hive MetaStore和 HiveServer2 步骤3 由于在创建 EMR集群时我们指定了 RDS for MySQL实例的数据库作为 Hive的元数 据库，但是此时元数据库还未创建，因此在 EMR控制台可以看到 Hive MetaStore服 务异常停止。文档版本：20210721 25 自建Hive数据仓库跨版本迁移到阿里云 EMR 创建 EMR集群 通过查看 ...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
云数据库 RDSMySQL 版：基于阿里巴巴的 MySQL源码分支，经过双十一高并发、大数据量的考 验，拥有优良的性能。RDSMySQL支持实例管理、账号管理、数据库管理、备份恢复、白名单、透 明数据加密以及数据迁移等基本功能，还支持读写分离、SQL审计、多可用区集群等高级功能。 云服务器ECS：是阿里云提供的性能卓越、稳定...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据，我们如何进行数据库的选项，这里对比了开源的两种常见分析性数 据库。ClickHouse对数据采用有序存储的方式，其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征，并且结合 LSM tree的设计进一步进行优化，使得 写性能达到最优（可达到 200MB/S...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
本例中使用外部独立的 MySQL数据库，故关闭内置的 MariaDB。3.服务模式从 LoadBalancer改为 NodePort，并设置 http端口为 30080。文档版本：20210520 48 混合云 IDC自有 K8S弹性使用 ECI ECI使用示例 4.关闭持久化存储挂载。注：实际当扩展 WordPress Pod实例时，需要使用统一的持久化存储来保证数 据一致性。本例中重点...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
pip install PyMySQL 若安装的 PyMySQL 版本号>1.0，修 改 数 据 库 连 接 语 句 为：db=pymysql.connect(host=dbhost,user=dbuser,password=dbpass,database=dbname)步骤4 通过运行脚本 python insert_demodata_into_TDE_finance_table.py(使用前先替换文 件里 rds的域名，用户名以及密码)，往 finance表中插入一条数据，...
容器Swarm集群向ACK集群灰度迁移
场景描述 随着K8S生态的完善，越来越多的客户需要从 Swarm集群迁移向ACK集群 解决问题 1.迁移过程中维持业务的延续性 2.迁移过程业务高可用 3.迁移过程可灰度 4.迁移过程可回滚 5.迁移进度可把控 产品列表 专有网络VPC 云数据库RDSMySQL 容器服务ACK 云服务器ECS
迁移进度可把控 产品列表 专有网络 VPC 云数据库 RDS MySQL 容器服务 ACK 云服务器 ECS 文档版本：V1.0 发布日期：20190401 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 容器 Swarm集群 向ACK集群灰度迁移 最佳实践 文档版本：20150122（发布日期）II 容器 Swarm集群向 ACK集群灰度迁移最佳实践 ...
云备份 Cloud Backup
云备份 Cloud Backup作为阿里云数据统一灾备平台，是一种简单易用的公共云灾备服务，可以为阿里云ECS上的数据库、文件系统、NAS、OSS以及自建机房内的文件、虚拟机、大规模NAS等提供安全、高效的备份和容灾保护。图形化界面集中配置备份策略，并完全托管备份活动，轻松满足业务与合规需求。
场景需求与痛点.Cloud Backup 支持阿里云 ECS 上的文件，自建数据库 MySQL、Oracle、SQL Server 以及 SAP HANA 备份。针对 ECS 自建数据库提供全量、增量、日志和实时备份能力。支持任意时间点数据可恢复.解决方案与优势.ECS 文件、自建数据库备份：文件、表空间级别细粒度备份恢复，保护客户 ECS 数据.SAP HANA 备份：亚洲...
来自：
云产品
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构，某可用区挂掉后，不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB，RDS，Redis等产品，实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB，RDS，REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
解决问题 利用容器服务 ACK搭建跨可用区高可用 产品列表 的应用 容器服务 ACK 容器服务 ACK结合 SLB，RDS，REDIS构 RDS for Mysql版 建高可用应用 云数据库 Redis 版 文件存储 NAS 云速搭 CADT 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 容器跨...
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段，但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜，都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验，为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
运营优惠给到真实的客户 产品列表 Web应用防火墙 风险识别 DDoS防护包 RDS MySQL版 负载均衡 SLB 云服务器 ECS 云速搭 CADT 阿里云最佳实践技术分享群 最佳实践频道 如二维码过期，请搜索群号：31852400 企业上云实践 电商网站业务安全最佳实践|文档版本信息 阿里云 企业上云实践 电商网站业务安全最佳实践 文档版本：...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
通过 BDS查看数据实时同步通道的状态 文档版本：20210723 39 自建Hadoop迁移MaxCompute Hbase表数据迁移到云数据库 Hbase版 在下面的日志详细信息页面也可以看到对应时间段的同步记录：文档版本：20210723 40 自建Hadoop迁移MaxCompute 数据接入组件 Kafka迁移到 Datahub 5.数据接入组件 Kafka迁移到 Datahub 自建 Hadoop...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
web-mysql zabbix-agent#安装 mariadb数据库 yum install-y mariadb-server systemctl start mariadb.service systemctl enable mariadb.service#导入 Zabbix数据到 Mysql数据库 mysql-uroot-p Enter password:/空密码直接按回车键 文档版本：20211021 60 基于 SLS实现统一告警最佳实践 配置自定义告警#执行 SQL脚本 ...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
创建 ADB高性能库 步骤1 通过产品与服务导航，定位到分析型数据库 MySQL版，单击进入 AnalyticDB控 制台。步骤2 切换地域为华东 2（上海），在左侧导航栏选择集群列表，并单击新建集群。步骤3 选择按量付费模式，完成以下配置，并单击立即购买。文档版本：20210224 37 游戏数据运营融合分析 部署 RDS-ADB高性能库数据采集 ...
办公安全平台SASE
阿里云办公安全平台（Security Access Service Edge）依托阿里云海量的边缘节点，将安全能力延伸至用户边缘，为企业分支机构/门店、远程移动办公场景的访问互联网及云上服务流量提供就近接入的安全防护能力。
高可用，高安全的云数据库.跨数据库查询为不同环境下的在线、异构数据源，提供及时的关联查询服务。不论数据库是MySQL、SQLServer、PostgreSQL还是Redis，不论数据库实例部署在哪个region哪个环境，通过一条SQL就能实现这些数据库实例之间的关联查询.通用：DMS跨数据库查询.各种关联查询.产品应用场景及功能.产品实战场景....
来自：
云产品
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
详 见：https://www.aliyun.com/product/bigdata/hologram 云数据库RDSMySQL版：云数据库RDSMySQL版是全球最受欢迎的开源数据 文档版本：20210803（发布日期）III阿里云最佳实践大数据WorkShop 产品介绍 库之一，作为开源软件组合LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中 的 重 要 一 环，广 泛 应 用 于 各 类 应...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
- 产品推荐
- 这些文档可能帮助您