大数据workshop
大数据workshop
Flink SQL作业读取了 Datahub的历史脏数据，可以在 修改 Flink SQL作业以后并将 Flink SQL作业的恢复策略设置为 NONE再重新上 线启动 Flink SQL作业，因为 Flink SQL作业改代码/增加一些参数，是要停止重 启，且恢复策略要为 NONE，原因是因为 DAG 会变化导致 state 不兼容。文档版本：20210628（发布日期）55 阿里云最佳...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
办公网络 IP段 sap router IP地址 出方向 全部-1/-1 测试应用 IP段 生产应用 IP段 办公网络 IP段 3601/3601 sap router IP地址 入方向 TCP 3200/3200 开发应用 IP段 生产应用 IP段 测试应用安全组 sap router IP地址 入方向 TCP 3300/3300 开发应用 IP段 生产应用 IP段 8000/8000 办公网络 IP段 入方向 TCP 44300/44300 sap...
可观测可视化 Grafana 版
可观测可视化 Grafana 版作为云原生数据可视化平台，为运维SRE、研发工程师、产品经理、市场营销等不同角色提供开箱即用的一站式可视化平台，满足运维监控、经营分析、汇报展示等不同场景的查询、可视化、告警需求。
自行购买服务器、网络服务、Grafana 镜像、公网IP、域名备案等.资源购买&系统搭建.是否可访问 VPC 数据源.自行配置且无法跨 Region.默认集成可观测监控 Prometheus 版、日志服务、云监控.数据源数据存储时长及费用.支持（Prometheus监控大盘模板一键同步，其他类型模板可自选Grafana官方模板）.无需单独配置，支持独立公网 ...
来自：
云产品
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
Hostname和 Server Hostname=ecs_client Server=39.107.235.177#此 IP为 ecs-zabbix云主机的公网 IP#启动 zabbix server systemctl start zabbix-agent.service systemctl enable zabbix-agent.service systemctl status zabbix-agent.service 步骤3 停止 3.3章节中 prometheus的监控，以免引起数据的干扰。systemctl stop ...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
echo"ElasticSearch服务器的私网 IP地址 elasticsearch">>/etc/hosts 步骤3 执行下面命令，将自动下载并解压 Logstash和一个样例配置文件，并启动 Logstash 工具，配置文件中将 Magento的接入日志/var/log/httpd/magento-access_log内容作 为输入，并输出到 ElasticSearch的索引 magento_access_logs中。cd~#wget ...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
云监控涵盖 IT 设施基础监控和外网网络质量拨测监控，是基于事件、自定义指标和日志的业务监控，为您全方位提供更高效、全面、省钱的监控服务。使用云监控，不但可以帮助您提升 系统服务可用时长，还可以降低企业 IT运维监控成本。云监控通过提供跨云服务和跨地域的应用分组管理模型和报警模板，帮助您快速构建 支持几十种...
ACK集群神龙资源错峰利用
场景描述 使用ACK构建容器集群环境，神龙资源为 集群节点资源部署应用。在主业务低谷 期，通过将部分神龙节点从容器集群中移 除，更换镜像切换操作系统及应用环境， 使得这部分神龙实例资源服务于其他业 务。在主业务高峰期前将神龙资源重新加 入ACK集群。从而达到错峰利用神龙资源 的目的，以便充分利用神龙资源，降低资 源成本。 解决问题 1.基于ACK及神龙资源构建容器集群环 境，典型部署应用。 2.ACK内挂载NAS存储。 3.ACK集群神龙实例节点移除和重新加入 集群。 产品列表 弹性裸金属服务器EBM 容器服务ACK 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云数据库RDS MySQL版 云数据库Redis版 文件存储NAS 访问控制RAM 日志服务SLS 云监控CloudMonitor 运维编排OOS
产品列表 弹性裸金属服务器 EBM 容器服务 ACK 专有网络 VPC 弹性公网 IP EIP 负载均衡 SLB 云数据库 RDS MySQL版 云数据库 Redis版 最佳实践频道 阿里云最佳实践分享群 文件存储 NAS 访问控制 RAM 日志服务 SLS 如二维码过期，云监控 CloudMonitor 请搜索群号：31852400 云速搭 CADT 云服务器 ECS（产品名称）文档模板...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
步骤4 本实践会在每台 DDH上面各创建一台 ECS，镜像选择公共镜像 CentOS 7.6，40G系 统盘（高效云盘），暂不分配公网 IP（安装 wordpress之前需要绑定 EIP，后续会通过 创建 SLB+EIP外网暴露服务）。步骤5 进一步选择密钥对作为登录凭证，然后配置实例名称及主机名。如果没有配置密钥对，可以单击创建密钥对，便可以跳转到...
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
对 dubbo-provider、dubbo-consumer的 dubbo配置进行修改：将 zookeeper的 地址配置为虚拟机 dubbo-zk的私网 IP地址。大图显示如下：2.MySQL配置。对 dubbo-provider的 MySQL配置进行修改：文档版本：20220208 12 Dubbo应用上云 模拟Dubbo应用 大图显示如下：步骤4 编译 demo应用。在应用的根目录执行命令：cd~/132 文档...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
（2）在环境搭建过程中分配公网 IP地址仅 用于 SSH登录和必要的软件包下载，在环境搭建完 成之后，建议释放部分公网 IP地址。安全组 使用默认安全组，并勾选下面所有的端口。（如下图）类别 配置项 说明 系统配置 登录凭证 自定义密码 登录密码 按要求设置登录密码。说明：记录下设置的登录密码，后续登录要用到。确认密码 ...
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
您可以直接访问堡垒机的公网IP，也可 文档版本：20220210 94传统企业业务上云基础安全防护 堡垒机 以设置一个域名，添加解析A记录，将其指向堡垒机的公网IP地址，然后通过域名访 问堡垒机。6.5.1.登录堡垒机 步骤1 登录云堡垒机控制台，在主机运维下选择要运维的机器，点击登录图标。6.5.2.运维ECS服务器 步骤1 在服务器上...
基于MyBase构建自主可控数据库和高弹性应用实践
一些企业级客户上云前，会重点关心数据库是否自主可控，包括云资源独享、自主可运维、获取OS 权限等特点，同时又要兼顾数据库合规性、安全性和高性能的要求；并力求在业务弹性下合理利用云产品降低数据和应用成本，弹性地支持业务。本实践为此类用户提供相关实践参考。
支持系统监控和自定义监 控类型。文档版本：20210323 30 基于 MyBase构建自主可控数据库和高弹性实践 业务应用弹性伸缩 目标追踪规则：选择一项云监控指标，并指定目标值。弹性伸缩会自动计算所需的 实例数量并进行扩缩容，从而将云监控指标维持在目标值附近。举例按照“ECS 平均 CPU使用率”。预测规则：用于设置伸缩组...
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
关于 hive-testbech 的更多介绍和源代码，可以参考 Github 链接（https://github.com/hortonworks/hive-testbench）步骤1 登录集群 Master节点 获取 Master节点公网 IP地址，以本实践里的集群为例，首先点击选择创建的集群，然后在集群基础信息里就可以获取主节点的公网 IP地址 ssh root@ip#ip为集群 Master节点公网 IP地址...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
因此需要将上海热备中心 RDS实例中 wp_options记录的公 网 IP地址，更新为上海热备中心的 ECS公网地址（章节 1.3步骤 6）。步骤4 运行以下两条命令修改数据库中 WordPress Address(URL)配置：update `wordpress`.`wp_options` set `option_value`='http://上海热备环境 ECS 公网 IP/' where `option_name`='siteurl';update...
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
1.选择智能接入网关接入，输入 IDC数据库的私网 IP地址，测试通过后单击授权白 名单并进入下一步：文档版本：20201224（发布日期）42 混合云数据库统一管理 IDC数据同步 RDS 2.为 RDS授权白名单：3.给 RDS配置完白名单后，设定迁移属性。选择全量数据迁移，目标库名修改为 poc_prod。文档版本：20201224（发布日期）43 混合...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本：20201224 33 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 为了方便理解，其逻辑视图大致和下图类似：步骤3 返回集群信息页面，可申请外网 IP（也可通过 vpc内访问，这里演示通过外网地址的 方式），用于后续 Quick BI数据连接。文档版本：20201224 34 基于 Flink+ClickHouse构建实时游戏数据分析 ...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
2.迁移到 EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。产品列表 企业级分布式应用服务（EDAS）负载均衡（SLB）专有网络（VPC）云服务器（ECS）云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 Spring Cloud Netflix应用 迁移EDAS 最佳实践 文档...
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段，但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜，都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验，为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
为简化本机远程操作流程，本方案中在购买部分服务器时勾选分配公网 IP地址选项做为 临时访问方式，实际业务场景建议您使用堡垒机、VPN等方式操作，保障云上系统安全。若有数据迁移相关需求，请参考其他搬站和数据迁移相关方案。本最佳实践中使用的脚本可以使用 https://code.aliyun.com/best-practice/065.git 进行下 载。...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
更多信息，请参见：www.aliyun.com/product/rds/mysql Elasticsearch：阿里云 Elasticsearch兼容开源 ELK功能，提供免运维全托管服务 的弹性云搜索与分析引擎，致力于数据库加速、数据分析、信息检索、智能运维监 控等场景服务；独有的云原生高性能内核、达摩院 NLP分词、向量检索、智能运 维、免费 X-Pack高级商业特性等...
- 产品推荐
- 这些文档可能帮助您