阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
一站式提供数据采集、加工、分析、告警可 视化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。详见：https://www.aliyun.com/product/sls DataHub：数据总线(DataHub)服务是阿里云提供的流式数据(StreamingData)服 务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻松构 建基于流式...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
数据管理 DMS：数据管理 DMS源自阿里数据库服务平台，是一个免安装、免运 维、即开即用、多环境来源、多种数据库类型统一的数据库管理 web终端，已为 数万人员提供数据库研发支撑。更有完善的安全合规审计保障、数据库全流程 DevOps服务支持。更多信息请参见（https://www.aliyun.com/product/dms）。文档版本：20211213 IV...
自建ELK迁移阿里云日志服务
场景描述 ELK Stack（Elastic/Logstash/Kibana） 通常 被用于日志实时分析， 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表 阿里云日志服务（SLS） VPN 网关 IPSec VPN 云服务器
自建 ELK迁移阿里云日志服务 SLS最佳实践 业务架构 场景描述 ELKStack（Elastic/Logstash/Kibana）通常被用于日 志实时分析场景，在开源社区中有大量的内容和使用 案例。通常自建的ELK系统在弹性、功能、成本、优化、稳定性等方面客户会遇到较多问题，本文介绍 如何将自建的ELK系统迁移到阿里云SLS日志服 务。应用场景 1.自...
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
EHPC药物筛选 最佳实践 部署架构图 场景描述 本方案适用于使用弹性高性能计算 EHPC和文件 存储 NAS来搭建基础环境，运行药物筛选应用 Autodock Vina的场景中，这里采用批处理方式 来提交作业，并可以可视化计算结果。解决问题 1.使用 EHPC运行药物筛选应用 2.使用 nas存储计算数据 3.使用 OSS保存计算结果 产品列表 弹性高...
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构，某可用区挂掉后，不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB，RDS，Redis等产品，实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB，RDS，REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
用户可 以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。详见 https://www.aliyun.com/product/ecs-testerservices/cadt 文档版本：20220622 III 容器跨可用区高可用最佳实践 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.IV 最佳实践概述.1 前置条件.3 1.整体架构及规划.4 2.搭建基础环境.5...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
全面提升海量日志处理能力，实时挖掘数据价值，智能 助力研发/运维/运营/安全等场景。详见 https://cn.aliyun.com/product/sls 文档版本：20201228（发布日期）III Function Compute 实现弹性音视频处理系统 前言 FFmpeg：是视频处理领域非常常用的一个开源软件。详见 https://www.ffmpeg.org/ 文档版本：20201228（发布...
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
文档版本：20220211 43 AK防泄漏 云安全中心异常检测 云安全中心 AK检测流程完全自动化，可以对在 Github上泄漏的 AccessKey进行高 效和精准地检测。在实际场景中，阿里云已实现在含有 AccessKey的代码提交到 Github后数秒之内，就可以通知用户并且做出响应，尽可能减少对用户产生的负面影 响。7.1.配置检查 云安全中心的云...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
文档版本：20220207 40 数据库异地灾备 配置异地热备环境 说明：当源实例或者目标实例为阿里云实例时，此步骤会将 DTS服务器的 IP地址自 动添加到源实例或者目标实例的白名单中，用于保障 DTS服务器能够正常连接实例。步骤4 配置任务对象，点击 下一步保存任务并预检查。文档版本：20220207 41 数据库异地灾备 配置异地热备...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
关于 HiveSQL修改为 ODPS SQL的过程，目前暂未提供自动化工具进行修改，但是根据经验大部 分的 HiveSQL关键字、数据类型、自建函数，都可以在 ODPS SQL中找到，有少部分需要进行语 法改造。关于 ODPS SQL 的详细介绍，请参考：MaxCompute>开发>SQL 及函数（https://help.aliyun.com/document_detail/27860.html）步骤2 创建...
消息服务MNS
消息服务 MNS 是一款易集成、高并发、可弹性扩展的轻量消息队列服务。消息服务的轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力，让开发者低成本快速构建分布式、松耦合系统，高效地传递数据和通知消息。
多种语言SDK：C++、Java、C#、Python、PHP、golang(第三方)、Node.js(第三方).MNS 是标准的 Serverless 化产品，可处理近乎无限的并发请求，无需感知或预先配置任何集群信息，拆箱即用；同时采用后付费计费方式，无需预留任何实例资源，只为实际使用量付费.稳定性方面数据三重备份，可靠性达 99.99999999%；服务可用性高达 ...
来自：
云产品
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例，介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程，并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API，通过OOS模板执行运维 任务，实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理， 无需担心操作安全，并可以快速增加审批流 程，提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
创建模板并执行 65 文档版本：20191122 VI 弹性计算OOS审批流程自动化运维 最佳实践概述 最佳实践概述 方案架构 本文以ECS、RDS、SLB搭建一个小型的WEB系统为例，介绍如何利用OOS在运 维常见的部署系统、扩容系统、回收系统三个场景中添加审批流程，并以钉钉通知到 对应的审批人员。方案优势 自动化运维全程可视化，能...
系统运维管理 OOS
阿里云系统运维管理（简称OOS）提供的云上自动化运维服务，通过执行模板来完成任务的自动化运行，可以使用OOS管理ECS、RDS、SLB、VPC等云产品，提升日常运维管理效率
查看更多登录 OOS 控制台，体验更多功能入门与试用快速上手01准备资源1创建或准备一个按量计费的ECS实例02创建 OOS 的定时任务1登录 OOS 控制台的自动化任务2选择常见运维任务->定时开关机3选择目标实例、开关机的时间和操作顺序免费试用云上自动化运维管理平台，提供 ECS 批量操作、定时任务执行等多种管理能力。...
来自：
云产品
光伏逆变器出海和运维提效
阿里云物联网平台的光伏智能运维算法，通过采集光伏逆变器的数据，识别光伏阵列中的故障、发现可能的发电低效站点并及时预警，提醒电站运维人员及时排查解决问题，降低运维成本。提供全球运营商的物联网卡流量资源，全球8大服务地域的物联网平台，实现光伏逆变器出海和运维提效。
解决问题：光伏企业亟需降本增效光伏发电已进入平价时代，光伏逆变器数量激增造成管理和运维成本指数级增长，需要通过对现有设备和系统进行智能化运维改造，对发电过程进行精细化、智能化管理，减少人力投入，提升运维效率，取得行业内产品的竞争优势。相关产品物联网平台物联网无线连接服务云服务器 ECS在线咨询方案优势...
来自：
解决方案
云原生可观测运维解决方案
阿里云云原生可观测运维解决方案基于SLS云原生可观测平台实现，以大数据源为支撑，兼容开源标准，可实现多场景适配AI算法，进行大规模数据处理分析。是阿里云针对企业级大数据运维场景推出的解决方案，帮助企业在日常运维工作中轻松实现异常检测、根因分析、秒级响应以及实时预测。
并且通过钉钉告警实现 ChatOps 自动化运维。提高了运维效率，降低运维成本与沟通成本。这套智能可观测性平台支撑了畅捷通所有云产品的健康稳定运行，在 IT 运维开发领域树立了一个标杆.阿里云日志服务帮助沙盒网络团队解决了多云部署全球化业务场景下数据集中采集统一管理问题，整体异常问题排查时间缩短30%左右，有效助力...
来自：
解决方案
海量共享设备安全高效运维
针对设备规模大、地理分布广泛、业务实时性要求高的共享设备，提供安全高效的设备管理运维。本方案基于阿里云物联网平台，搭配物联网卡的上网能力，由IoT安全运营中心为设备提供全方位的安全防护，保障共享设备的高可用接入和安全高效运维。
物联网卡管理通过物联网无线连接服务的控制台可以进行新购凭证、卡/池管理、智能诊断、自动化预警、查询订单、定向配置、平台短信上下行管理和消息推送等操作，实现一站式的物联网卡管理。设备安全管理通过对终端行为的持续分析、威胁模型检测等多种方式识别物联网系统中潜在的安全风险，帮助管理员自动处置、响应和修复...
来自：
解决方案
游戏系统和业务运维及分析解决方案
游戏系统和业务运维及分析解决方案，通过阿里云日志服务 SLS、对象存储 OSS 等产品，帮助客户构建简单、易用、性能高、成本低的运维及分析平台，满足基础系统运维和业务运维等游戏运维场景需求，同时提供日志数据分析能力，实现故障预警、提高问题排查速度、提高风险识别安全等级等能力，保障游戏业务安全稳定运行。
提供线上监控、运维、日志查看、问题诊断等基础系统运维功能，也提供智能分析、链路跟踪、智能诊断等数据分析和诊断功能，形成可观测数据与统一运维智能分析告警平台，实现指标、日志、调用链数据的完美结合，帮助平台运维团队智能化地进行游戏系统故障监控和根因分析，快速排查异常监控和定位，大幅度提高工作效率....
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您