自建ELK迁移阿里云日志服务
场景描述 ELK Stack（Elastic/Logstash/Kibana） 通常 被用于日志实时分析， 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表 阿里云日志服务（SLS） VPN 网关 IPSec VPN 云服务器
新增日志如何通过Logtail采集到日志服务SLS 最佳实践频道 http://bp.aliyun.com 产品列表 阿里云最佳实践分享群 钉钉搜索钉群号31852400入群 云服务器ECS 日志服务SLS 专有网络VPC 阿里云交换机 阿里云安全组 云速搭CADT云服务器ECS（产品名称）文档模板（手册名称）/Error!Thestyleisnotspecified.自建...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 云服务器 ECS 消息队列 Kafka版 云数据库 ClickHouse 实时计算 Flink版 如二维码过期，Quick BI数据可视化分析平台 请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于 Flink+ClickHouse 构建实时游戏...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
解决问题 使用神龙GPU云服务器搭建NLP训练 环境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用AIACC加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储云服务器ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 超级计算集群实现自然语言处理 训练最佳...
KVM on弹性裸金属
场景描述 神龙是一款兼具虚拟机弹性和物理机性能及特性的 新型计算产品，为用户上云提供便捷。上一篇《阿里 云弹性裸金属最佳实践之VMwareon神龙》介绍了 基于阿里云神龙部署VMware，本篇指导用户基于神 龙自行创建KVM虚拟机。用户在将线下基于KVM 的业务灵活部署上云的同时，可充分管理和利用云上 计算资源。 解决问题 1.为传统企业提供在阿里云上自建KVM虚拟化平 台的解决方案。 2.基于KVM虚拟化平台的系统如何迁移上云。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP
步骤2 通过产品与服务导航，定位到云服务器ECS，单击进入云服务器ECS管理控制台。步骤3 在左侧导航栏选择实例，在实例列表页面，单击创建实例。步骤4 在自定义购买方式下，进行各项参数配置。基础配置（必填）具体配置描述见下表。类别 配置项 说明 基础配置 计费方式 按量付费 地域 华东2（上海）可用区E 实例 架构：...
Hyper-V on 弹性裸金属最佳实践
场景描述 本方案适用于基于弹性裸金属服务器（神龙）自 建Microsoft Hyper-V环境的场景。 解决问题 l使用神龙自建+Microsoft Hyper-V虚拟 化环境环境。 l创建LinuxHyper-VVM。 lHyper-VVM访问外部网络。 l外部网络访问Hyper-VVM上的服务。 产品列表 l神龙GPU云服务器（ecs.ebmg5s） l专有网络VPC
解决问题 使用神龙自建+Microsoft Hyper-V虚拟化环境 环境 创建 Linux Hyper-V VM Hyper-V VM访问外部网络 外部网络访问 Hyper-V VM上的服务 部署架构 产品列表 神龙 GPU云服务 专有网络 VPC 弹性公网 IP 云速搭 CADT 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云...
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
改进已经错误使用 AK的方法 demo架构图：产品列表 访问控制 RAM 云服务器 ECS 操作审计 Action Trail 云安全中心 最佳实践频道 阿里云最佳实践分享群 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 AK防泄漏 最佳实践 文档版本：20220211 文档版本：...
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问体验，无感知的将海量云存储数据接入本地数据中心，拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及，越来越多的用户把自己的业务放到了云上。但是随着业务的发展，如何提高业务的可靠性和连续性，跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持，可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例，对接同一个阿里云OSS Bucket，可以实现快速的异地文件共享和分发，非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合，老业务是从数据中心迁移过来的使用的是标准的存储协议，例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术，支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情，云存储网关正好起到一个桥梁的作用，可以便捷的沟通新旧业务，进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具，用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低)，同时挂 载在用户的客户端需要额外的配置和缓存资源，对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关，用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
产品列表 最佳实践频道 阿里云最佳实践技术分享群 专有网络 VPC 弹性裸金属服务器（神龙）云存储网关 CSG 访问控制 RAM 对象存储 OSS 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 本地数据中心基于 SMB/NFS协议 访问对象存储 最佳实践 文档版本：20210525 文档版本：20210525 2 本地数据中心基于 ...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
产品列表：E-MapReduce、专有网络 VPC、云服务 最佳实践频道 阿里云最佳实践分享群 器 ECS、云数据库 RDS版 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 EMR集群安全认证和授权管理 最佳实践 文档版本：20200330 文档版本：20150122（发布日期）II EMR集群安全...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
最佳实践频道 阿里云最佳实践分享群 产品列表 ECS、VPC、RDS、ACK、DTS、SLB、CEN、PTS 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 异地双活场景下的数据双向同步 最佳实践 文档版本：20220209 文档版本：20150122（发布日期）II 异地双活场景下的数据双向同步...
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可以 通过利用OSS和CDN对网站进行架构优化， 做到网站文件的动静分离，提升用户访问体验， 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更，上传分支文件至OSS，通 过CDN进行前端资源加速。 方案优势 1.面向serverless：无需购买服务器 2.免运维：无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式：事件驱动方式触发响应 5.费用极低：按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
Use the Home tab to 云服务器 ECS（产品名称）apply 标题 to the text that you want to appear here.阿里云 Function Compute计算 搭建前端 CICD系统 最佳实践 文档版本：20211008（发布日期）文档版本：20150122（发布日期）II Function Compute计算搭建前端 CICD系统 文档版本信息 文档版本信息 文本信息 属性 内容 ...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
混合云存储构建VMware虚拟化平台 最佳实践 业务架构图 场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台，以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。解决问题 如有问题请使用钉钉扫码联系文档作者：1.如何使用混合云存储部署VMware虚拟化平台。2.存储阵列在...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
机器学习PAI E-MapReduceEMR 最佳实践频道 对象存储OSS http://bp.aliyun.com 日志服务SLS 阿里云最佳实践分享群 云速搭CADT 钉钉搜索钉群号31852400入群 微服务引擎MSE用户交流群 钉钉搜索钉群号43525005207入群云服务器ECS（产品名称）文档模板（手册名称）/文档版本信息 基于湖仓一体架构使用MaxCompute...
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）云服务器ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 机场视频监控最佳实践 企业上云实践 机场视频监控最佳实践 文档版本信息 文本信息 属性 内容 文档名称 机场视频监控最佳...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
最佳实践频道 阿里云最佳实践分享群 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 数据库快速搭建疫情分析系统 最佳实践 文档版本：20210725 文档版本：20150122（发布日期）II 阿里云数据库快速搭建疫情分析系统最佳实践 文档版本信息 文档版本信息 文本信息 ...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
有效降低企业上云的整体拥有成本（TCO）产品列表 专用网络 VPC 最佳实践频道 阿里云最佳实践分享群 负载均衡 SLB 弹性公网 IP 专有宿主机 DDH 云数据库专属集群 MyBase 云数据库 MySQL 云数据库 Redis 云服务器 ECS 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于DDH+MyBase降本合规 最佳实践 ...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
名词解释 云服务器 ECS：云服务器 ECS（Elastic Compute Service）是阿里云提供的性能 卓越、稳定可靠、弹性扩展的 IaaS（Infrastructure as a Service）级别云计算服 务。云服务器 ECS免去了您采购 IT硬件的前期准备，让您像使用水、电、天然气 等公共资源一样便捷、高效地使用服务器，实现计算资源的即开即用和弹性伸缩。...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
DataWorks 实时计算 Flink（选配）阿里云最佳实践技术分享群 最佳实践频道 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于Elasticsearch的 订单检索加速 最佳实践 文档版本：20210517 文档版本：20150122（发布日期）II 基于 Elasticsearch的订单检索加速最佳...
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
EMR:E-MapReduce(EMR)是构建在阿里云云服务器 ECS上的开源 Hadoop、Spark、Hive、Flink 生态大数据产品，提供用户在云上使用开源技术建设数据仓 库、离线批处理、在线学习、即时查询、机器学习等场景下的大数据解决方案。PT测试：Power Test(PT)功耗测试，TPC-DS用于大数据性能测试的方法。大数据实例本地盘：阿里云为了...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
Use the Home tab to apply 云服务器 ECS（产品名称）标题 to the text that you want to appear here.文档版本：20150122（发布日期）II 文档模板（手册名称）/Error!Use the Home tab to apply 云服务器 ECS（产品名称）标题 to the text that you want to appear here.文档版本：20210714 阿里云 自建 Hadoop数据迁移到 ...
移动测试
阿里云移动测试（Mobile Testing）是为广大企业客户和移动开发者提供真机测试服务的云平台，拥有大量热门机型，提供7x24全天候App测试服务，帮助客户发现APP中的各类隐患（应用崩溃、各类兼容性问题、功能性问题、性能问题等），减少用户流失，提高APP质量和市场竞争力。
云服务器ECS.云数据库RDS MySQL 版.云数据库 Redis 版.推荐搭配使用.金融：混合应用场景.身份证自动上传、随机密码键盘识别.针对游戏测试难、验证难、场景多进行专项优化，提供高质量测试用例，进行性能瓶颈检测并提供解决方案，有效提升识别率，支持弱网验证.提供高质量测试用例，方便在大量真机进行批量回归验证.提供弱网...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您