大数据workshop
大数据workshop
阿里云 最佳实践 大数据 WorkShop 文档版本：20210628（发布日期）阿里云最佳实践大数据 WorkShop 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 阿里云最佳实践大数据 WorkShop 文档版本 V1.8 版本日期 2021-06-28 文档状态 对外发布 制作人 明誉、弦望、川知、衾影 审阅人-文档变更记录 版本编号 日期 作者 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
抢占式实例有两种出价模式：用户指定能接受的最高价，和系统自动出价（最高 为按量付费价格）。抢占式实例的适用场景 抢占式实例适用于无状态的应用场景，例如可弹性伸缩的 Web站点服务、图像渲染、大数据分析和大规模并行计算等。应用程序的分布度、可扩展性和容错能力越高，越 适合使用抢占式实例节省成本和提升吞吐量。...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
企业应用（酒店PMS）混合云组网最佳实践
酒店上云是分阶段实施，线下和云上的混合云是长期 状态，需要保证线下多地域多分支、云上多地域之间 互相访问，且需要满足不同类型的企业节点的服务要 求，比如总部 IDC 要求带宽大，对安全可靠性要求 高等。
ECS、RDS规格依据线下现有配置对标，根据 PMS系统对操作系统和数据库的 类型选择，考虑数据库容灾设计，数据库选择多可用区，以某 PMS为例，ECS 操作系统为 Centos 7.6 64位中文，RDS为 MySQL 5.7 多可用区版本；基于安全考虑，PMS系统采取内网访问方式，使用私网 SLB。如果需要提供公网 访问能力，SLB选择公网实例类型，...
Elasticsearch
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供ELK等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级AI搜索服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品特性。
立即购买产品计费产品计费项 查看产品计费项组成 价格计算器 估算产品价格 产品计费方式 查看产品计费方式 常见计费问题 查看常见计费问题产品动态2017-09-19 新产品 阿里云Elasticsearch公测发布 查看详情 2017-11-02 新产品 阿里云Elasticsearch(商业化)发布 查看详情 2017-12-12 新地域/新可用区 阿里云Elasticsearch-...
来自：
云产品
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
开箱即用 开发运维全周期 计费灵活.流批一体的一站式开发运维平台 Flink CDC实时入湖入仓 动态CEP助力实时风控/营销 作业自动调优充分利用资源、智能诊断快速定位问题.内核引擎优化：CPU每秒数十万记录处理能力 Nexmark 测试性能较开源提升200%状态存储后端优化.100%兼容Apache Flink 支持开源 Flink 平滑迁移上云 无缝对接...
来自：
云产品
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
文档版本：20211021 6 基于 SLS实现统一告警最佳实践 资源环境部署 步骤10 部署完成后，还可以下载云速搭 CADT输出的部署报告，包含以下内容以备查阅：类别 部署报告 部署方案架构图 成本测算 – 预付费资源成本详情和占比 – 后付费资源成本详情和占比 资源部署实例清单 文档版本：20211021 7 基于 SLS实现统一告警最佳...
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可以 通过利用OSS和CDN对网站进行架构优化， 做到网站文件的动静分离，提升用户访问体验， 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更，上传分支文件至OSS，通 过CDN进行前端资源加速。 方案优势 1.面向serverless：无需购买服务器 2.免运维：无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式：事件驱动方式触发响应 5.费用极低：按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
步骤7 资源验证无误后，单击下一步：价格清单。步骤8 单击下一步：确认订单。文档版本：20211008 4 Function Compute计算搭建前端 CICD系统 环境搭建 步骤9 勾选《云速搭服务条款》，单击下一步：支付并创建。步骤10 等几分钟后，部署完成。文档版本：20211008 5 Function Compute计算搭建前端 CICD系统 环境搭建 1.2.查看 ...
ACK集群神龙资源错峰利用
场景描述 使用ACK构建容器集群环境，神龙资源为 集群节点资源部署应用。在主业务低谷 期，通过将部分神龙节点从容器集群中移 除，更换镜像切换操作系统及应用环境， 使得这部分神龙实例资源服务于其他业 务。在主业务高峰期前将神龙资源重新加 入ACK集群。从而达到错峰利用神龙资源 的目的，以便充分利用神龙资源，降低资 源成本。 解决问题 1.基于ACK及神龙资源构建容器集群环 境，典型部署应用。 2.ACK内挂载NAS存储。 3.ACK集群神龙实例节点移除和重新加入 集群。 产品列表 弹性裸金属服务器EBM 容器服务ACK 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云数据库RDS MySQL版 云数据库Redis版 文件存储NAS 访问控制RAM 日志服务SLS 云监控CloudMonitor 运维编排OOS
步骤6 等待校验成功后，单击下一步：价格清单。步骤7 显示计价成功后，单击下一步：部署清单。文档版本：20220509 5 ACK集群神龙资源错峰利用 使用云速搭构建基础环境 步骤8 勾选《云速搭服务条款》，单击下一步：创建资源。步骤9 等待应用部署完成，大概需要 10分钟左右，主要是 ACK创建时间比较长。部署完成后如下图所示...
云数据库专属集群MyBase
云数据库专属集群MyBase是阿里云专为企业级用户定制优化的解决方案。支持MySQL、PostgreSQL、SQL Server、Redis和MongoDB数据库。具有云资源独享、支持资源超分配，自主可运维、开放权限等特点。MyBase不仅能保障客户独享云资源更加安全、享受到云数据库服务的便捷灵活，同时还满足企业对数据库合规性、安全性和高性能的要求。
产品优势 MyBase 开放版：兼顾云数据库与自建优势，取长补短权限开放 主机权限、数据库权限全开放 自主可控 兼容 ECS 自建使用习惯，可自主管 支持混布 支持应用与数据库混合部署 高性价比 超低费用，接近 ECS 自建价格产品功能集群和实例管理 集群创建 通过控制台页面或OpenAPI即可快速创建集群，创建集群时可以自由选择所...
来自：
云产品
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
构建用户标签系统，开发用户画像分析业务；基于PolarDB 5分钟内最高可弹性出百倍资源，应对业务峰值.利用云原生数据湖分析DLA+OSS极致分析能力来应对业务波峰波谷。一方面轻松应对来自品牌客户的临时分析。另一方面利用DLA的强大计算能力，细致分析活动投放效果，进一步增强了加和智能流量平台为品牌营销带来的销售转化率....
来自：
云产品
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
云 ClickHouse冷热数据分层存储最佳实践 技术架构 场景描述 基于云 ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定 性、低维护成本、高性价比的实时数据分 析、精准营销、业务运营、业务分析、业 务预警、业务营销、数仓加速等场景化方 案，本实践会向客户提供数据库低维护成 本、数据库链路构建、冷热...
Openstack迁移DDH
场景描述 在线下IDC中，很多用户使用OpenStack构建云环境，本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机（DDH）上，从而实现业务平滑 上云的同时，显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
名词解释 专有宿主机（DedicatedHost，简称DDH）是阿里云专为企业客户定制优化的云 端解决方案，具有物理资源独享、部署更灵活、配置更丰富、性价比更高等特点，可以有效地降低企业上云的TCO（TotalCostofOwnership）。DDH是指由一个 租户独享物理资源的云主机。作为该云主机的唯一租户，您不需要与其他租户共 享云主机...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
ssh slave1 mkdir/usr/java/jdk1.8.0_301 scp-r cdh/jdk1.8.0_301/*root@slave1:/usr/java/jdk1.8.0_301 ssh slave2 mkdir/usr/java/jdk1.8.0_301 scp-r cdh/jdk1.8.0_301/*root@slave2:/usr/java/jdk1.8.0_301 ssh slave3 mkdir/usr/java/jdk1.8.0_301 scp-r cdh/jdk1.8.0_301/*root@slave3:/usr/java/jdk1.8.0_301 给与/...
DDH集群运维管理
场景描述 当前许多企业的IDC业务场景，资源管理 等使用习惯与公共云不同，使用DDH集群 管理，继承IDC虚拟化使用习惯，比如自 定义ECS规格。同时针对CPU负载较低 的场景，通过CPU超分，可以有效提高资 源利用率，节省整体成本。并且可以通过账 号授权业务团队，结合云监控资源使用率， 方便业务使用的同时又能有效遏制资源浪 费。 方案优势 1.使用专有宿主机集群构建云上环境，通 过超分提高资源利用率，降低企业成 本。 2.通过访问控制授权，云监控资源，完成 专有宿主机集群运维管理使用闭环。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 云监控CloudMonitor
其中需要注意的是，"ecs:tag/cluster":"dh-8vbitp0flin4v2jwrjcg"代表DDH-A的系统标签，"vpc:tag/team":"A"和"ecs:tag/team":"A"代表用户tag，分 别是标示给VPC资源和ECS实例资源。最后的"ecs:DescribeTagKeys"等一系列action 用来给用户开通通用的查询等权限。{"Version":"1","Statement":[{"Effect":"Allow","Action":"*...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
DDH：专有宿主机（DedicatedHost），简称 DDH，是阿里云专为企业客户定制优 化的云端解决方案，具有物理资源独享、部署更灵活、配置更丰富、性价比更高等 特点，可以有效地降低企业上云的 TCO（TotalCostofOwnership）。DDH是指由 一个租户独享物理资源的云主机。作为该云主机的唯一租户，您不需要与其他租 户共享云主机...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
H IPv4网段 172.16.10.0/24 SLB 实例名称 slb 计费方式 后付费 实例规格 slb.s1.small 主可用区 华东 1（杭州）可用区 H 备可用区 华东 1（杭州）可用区 I 网络类型[专有网络]vpc 计费类型 按使用流量付费 实例类型 私网 IP版本 ipv4 带宽值 100 EIP 付费方式 后付费 EIP名称 eip_cloud 地域 华东 1（杭州）带宽峰值 100...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
类别 配置项 说明 基础配置 计费方式 按量付费 地域 华东 2（上海）可用区 G 实例 架构：x86计算 分类：通用型 19 混合云使用飞天AI加速工具 创建 ECS实例 规格：通用型 g6 ecs.g6.large(2 vCPU,8 GiB)购买实例数量：1 台 镜像 公共镜像 CentOS 7.6 64位 存储 系统盘 高效云盘 120 GiB 说明：建议系统盘至少 120GB。...
- 产品推荐
- 这些文档可能帮助您