金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
详见：https://www.aliyun.com/product/ecs DataHub：数据总线(DataHub)服务是阿里云提供的流式数据(StreamingData)服 务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻松构 建基于流式数据的分析和应用。详见：https://www.aliyun.com/product/datahub 实时计算 Flink 版：实时计算 Flink 版...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
Knox作为阿里云 EMR集群的默认服务进行安装，安装后，使用者可以指定阿里 云 RAM子用户作为认证用户，在公网直接访问 Yarn、HDFS、SparkHistory等服 务的 Web UI。1.2.授权（Authorization）授权是任何计算环境的基本安全要求之一。其目标是确保只有适当的人员或流程才能 访问、查看、使用、控制或更改特定的资源、服务或...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region extends TableFunction>{ private String urlPrefix=...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
是阿里云提供的一种基础云计算服 务。无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS 实例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。也能随时 释放资源，节省费用。更多信息，请参见：https://www.aliyun.com/product/ecs SLB: 对多台云服务器进行流量分发的负载均衡服务，可以...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
yum install-y java java-1.8.0-openjdk-devel.x86_64 ssh slave1"yum install-y java java-1.8.0-openjdk-devel.x86_64"ssh slave2"yum install-y java java-1.8.0-openjdk-devel.x86_64"ssh slave3"yum install-y java java-1.8.0-openjdk-devel.x86_64"步骤5 下载并解压缩 Hadoop 2.10.1文件包。1.下载软件包，下面两...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 部署完成后，重启 Hive MetaStore和 HiveServer2 步骤3 由于在创建 EMR集群时我们指定了 RDS for MySQL实例的数据库作为 Hive的元数 据库，但是此时元数据库还未创建，因此在 EMR控制台可以看到 Hive MetaStore服 务异常停止。文档版本：20210721 25 自建Hive数据仓库跨版本迁移到阿里云 EMR 创建 EMR集群 通过查看 ...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
自建 Hadoop迁移 MaxCompute 场景描述 解决的问题 客户基于ECS、IDC自建或友商自建了大数据集群，自建Hadoop集群搬迁到 MaxCompute 为了降低企业大数据计算平台的成本，提高大数 自建Hbase集群搬迁到云 Hbase 据应用开发效率，更有效保障数据安全，把大数据 自建 Kafka 或服务器数据实时同步到 集群的数据、作业、调度任务...
FPGA加速图片和视频转码
场景描述 场景1：图片转码 移动互联网早已进入读图时代，目前的图片都是 JPEG格式，尺寸太大，导致传输占用更多的网络 带宽，花费更多的传输时间并占用更多的存储空 间。JPEG图片转码为WebP/HEIF需要消耗大量的 计算能力。使用阿里云FaaS加速图片转码解决 方案将使客户TCO降低约40%。 场景2：视频转码 到2022年，82%的IP流量都将来自于视频的录 制、上传和播放。HEVC/H.265无论从画质还是码 率，都比H.264有明显的优势，但是将视频将 H.264编码为H.265将消耗巨大的算力。使用阿 里云FaaS加速视频转码将显著降低视频大小， 节省网络流量，降低成本。 解决的问题 通过FPGA云服务器进行高效图片转 码 通过FPGA云服务器进行高效视频转 码 产品列表 VPC，ECS，FPGA，OSS
vbv_max_bitrate 10000 最大比特率，单位为 kb/s vbv_buffer_size 20000 缓存大小，单位为 kb 文档版本：20210906 12 使用 FPGA云服务器加速图片和视频转码 FPGA云服务器加速图片转码-b:v 10M 输出视频流的码率 open_gop 0 取值为 0是关闭 GOP模式，非 0时编码器工作在 GOP模式 keyint 1 关闭 GOP模式时，设置关键帧间隔；...
Exchange Server云上部署最佳实践
阿里云提供基础设施服务，能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署，可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
部署域控制器和 DNS 文档版本：20220119 16 Exchange Server云上部署最佳实践 部署域控制器和 DNS 文档版本：20220119 17 Exchange Server云上部署最佳实践 部署域控制器和 DNS 文档版本：20220119 18 Exchange Server云上部署最佳实践 部署域控制器和 DNS 步骤5 部署后配置，将服务器提升为域控制器。文档版本：20220119 ...
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
云服务器 ECS免去了您采购 IT 硬件的前期准备，让您像使用水、电、天然气等公共资源一样便捷、高效地使用服 务器，实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器，解决多种业务需求，助力您的业务发展。详见：https://www.aliyun.com/product/ecs 云速搭 CADT：是一款为上云应用提供自助式云架构管理的...
混合云HBR云上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案，可以为任何位置的客户虚拟机和数 据提供强有力的保护，包括企业数据中心、远程和分 支机构以及云上资源；支持加密、压缩、重删，保证 数据快速、安全、高效地备份到云上，本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
文档版本：20190716 17 混合云HBR云上备份VMware虚拟机 部署阿里云混合云存储客户端 步骤6 登录部署了vSphereClient的服务器后，打开浏览器（推荐使用chrome浏览器），登 录阿里云管理控制台。步骤7 通过产品与服务导航，定位到混合云备份，单击进入混合云备份服务管理控制台。步骤8 在页面上方选择地域为华东2（上海）。...
轻量级GPU部署云游戏最佳实践
随着AI深度学习，视频处理，科学计算以及图形可视化等应用场景的普及，GPU的市场需求越来越大，但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限，可以提供比单颗物理GPU更细粒度的服务，从而让客户以更低成本、更高弹性开展业务。
同时支持 AI计算与图形图像计算 产品列表 部署架构 云服务器 ECS 云速搭 CADT 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 轻量级GPU部署云游戏 最佳实践 文档版本：20220211 文档版本：20220211 II 轻量级 GPU部署云游戏 文档版本信息 文档版本信息 文本信息 ...
弹性裸金属自建ORACLE数据库单机版
场景描述 1.客户业务系统选型ORACLE数据库且不愿 做业务改造：由于历史原因，客户业务系统 只支持ORACLE数据库。适配开源数据库 业务改造量大，客户没有技术/时间去做改 造。 2.高性能：客户希望拥有比虚拟机更高的性能 和稳定性，以保障数据库高性能，支撑高并 发的业务系统； 3.高可用：在单机条件下，极端情况下数据库 发生宕机时，客户希望能快速拉起数据库服 务，减少停机时间； 4.数据安全性：极端情况下能找回数据。数据 备份和恢复更方便。
3.高可用：在单机条件下，极端情况下数据库 发生宕机时，客户希望能快速拉起数据库服 务，减少停机时间；4.数据安全性：极端情况下能找回数据。数据 备份和恢复更方便。解决问题 1.如何利用云上强劲资源，如神龙服务器、ESSD 存储，支撑数据库高效稳健运行；2.如何利用云上资源和产品优势兼顾单机数 据库的可用性；3.如何...
企业应用（酒店PMS）混合云组网最佳实践
酒店上云是分阶段实施，线下和云上的混合云是长期 状态，需要保证线下多地域多分支、云上多地域之间 互相访问，且需要满足不同类型的企业节点的服务要 求，比如总部 IDC 要求带宽大，对安全可靠性要求 高等。
部署架构 产品列表 智能接入网关 SAG 负载均衡 CLB 云服务器 ECS 云企业网 CEN 云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业应用（酒店 PMS）混合云组网最佳实践 文档版本：20220520（发布日期）文档版本：20220520 2 企业应用（酒店 PMS）...
混合云灾备之HDR VMware虚拟机容灾
场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像，可以为云上或云下的VMware环境提供有效 的数据保护，保证数据快速、安全、高效地备份到云 上，并在需要时快速恢复备份镜像。 解决问题 1.云上和云下的VMware虚拟机容灾保护。 2.云下的VMware虚拟机环境如何在云上快速恢 复。 产品列表 1.弹性裸金属服务器 2.HDR混合云容灾服
在实例列表页面，单击服务器实例vCenter（参见《054@VMwareon弹性裸金属服 务器（神龙）最佳实践》）操作列下的远程连接，登录vSphereWebClient。在输入远程连接密码对话框中，输入密码，并单击确定。文档版本：20191204 15 HDRVMware虚拟机容灾 部署VMware环境 打开浏览器，输入服务器实例vCenter的私有IP，单击...
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例，介绍阿里云EHPC分子动力学最佳实践。
文档版本：20211116 16 EHPC分子动力学最佳实践 运行作业 步骤8 单击 ehpc优化器，可以查看系统性能监控。单击节点，并选择节点和指标，查看运行情况。文档版本：20211116 17 EHPC分子动力学最佳实践 运行作业 步骤9 查看进程性能。2.3.配置弹性伸缩 步骤1 单击自动伸缩，配置全局配置：文档版本：20211116 18 EHPC分子动力...
云速搭部署 ALB 实现负载分发
本实践通过云速搭构建一个基于 http(s)的负载均衡业务架构，实现终端浏览器发起http(s)请求后，经过 ALB 监听配置的转发规则，分别负载分担到后端 ECS 服务器、CLB 和 ACK 集群。
详见 https://www.aliyun.com/product/ecs 应用型负载均衡 ALB：应用型负载均衡 ALB（Application Load Balancer）是阿 里云推出的专门面向 HTTP、HTTPS和 QUIC等应用层负载场景的负载均衡服 务，具备超强弹性及大规模七层流量处理能力。ALB具备处理复杂业务路由的能 力，与云原生相关服务深度集成，是阿里云官方提供的云...
音视频行业单线静态公网接入最佳实践
在音视频、下载领域，部分客户出于某些特定的原因需要使用单线EIP，考虑到单线EIP相较于多线BPG EIP存在单点故障的风险，因此会在一个节点上同时绑定多个运营商的单线EIP，通过设置内部的路由调度策略实现链路的高可靠。当用户有下载请求时，会首先通过调度策略调度到与用户相同运营商对外服务的IP地址。
是阿里云提供的一种基础云计算服 务。无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS 实例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加带宽。也能随时 释放资源，节省费用。详见：https://www.aliyun.com/product/ecs 弹性公网 ip：弹性公网 IP（Elastic IP Address，简称 EIP）是可以...
云速搭部署SLS实现日志采集处理分析
通过云速搭部署ECS+SLS，在ECS上安装logtail收集Nginx应用日志写入SLS。通过日志生成器模拟Nginx日志生成，并通过SLS进行日志分析。
帮助您构建更稳定、安全的应用，提升运维效 率，降低 IT 成 本，使 您 更 专 注 于 核 心 业 务 创 新。详见 https://www.aliyun.com/product/ecs 日志服务 SLS：日志服务（SLS）是云原生观测分析平台，为 Log/Metric/Trace 等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分 析、告警可视化与投递...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
阿里云最佳实践分享群 最佳实践频道 产品列表 云服务器 ECS、负载均衡 SLB、云企业网 CEN 云数据库 RDS、性能测试 PTS 如二维码过期，请搜索群号：数据传输服务 DTS 31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 跨云迁移单写双读过渡架构 最佳实践 文档版本：20201209 文档版本：20150122...
- 产品推荐
- 这些文档可能帮助您