自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
yum install-y java java-1.8.0-openjdk-devel.x86_64 ssh slave1"yum install-y java java-1.8.0-openjdk-devel.x86_64"ssh slave2"yum install-y java java-1.8.0-openjdk-devel.x86_64"ssh slave3"yum install-y java java-1.8.0-openjdk-devel.x86_64"步骤5 下载并解压缩 Hadoop 2.10.1文件包。1.下载软件包，下面两...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
产品列表 阿里云最佳实践分享群 最佳实践频道 容器 Kubernetes ACK 容器实例 ECI 容器镜像仓库 ACR 函数计算 FC 访问控制 RAM 如二维码过期，专有网络 VPC 请搜索群号：31852400 云服务器 ECS 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于 ECI+FaaS 构建游戏战斗结算服 最佳实践 文档版本：...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
2.MaxCompute端创建外部项目，镜像 Hive元数据，可以直接访问 Hive元数据服 务，并将元数据信息映射到 MaxCompute的外部项目（External Project）中 操作流程 1.资源创建：使用阿里云速搭 CADT一键完成业务部署图中的云资源创建，部分暂 时不支持 CADT拉起的资源，需要手动在控制台创建和配置，如 DataWorks工作 空间。2....
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region extends TableFunction>{ private String urlPrefix=...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
环境配置 步骤9 在ECS控制台找到前面创建的日志服务器，登录ECS（请先在ECS安全组里确保 开启了22端口，没有开启请在安全组中添加）。步骤10登录到shell命名行后，在/root目录下，下载本文的实例代码：首先安装git工具：yuminstall-ygit gitclonehttps:/code.aliyun.com/best-practice/bigdata-fin.git，如图：文档版本：...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 部署完成后，重启 Hive MetaStore和 HiveServer2 步骤3 由于在创建 EMR集群时我们指定了 RDS for MySQL实例的数据库作为 Hive的元数 据库，但是此时元数据库还未创建，因此在 EMR控制台可以看到 Hive MetaStore服 务异常停止。文档版本：20210721 25 自建Hive数据仓库跨版本迁移到阿里云 EMR 创建 EMR集群 通过查看 ...
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警，全面优化系统可用性与查询能力，用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
云服务器 ECS.负载均衡 SLB.微服务引擎 MSE.云服务统一指标观测.云服务统一指标观测.与阿里云容器服务 ACK 深度集成，配置容器集群过程中即可开启。针对容器提供工作负载性能监控、ingress 性能监控、CoreDNS 性能监控等组件，并提供专属观测大盘覆盖容器服务、应用组件、云服务和应用自身观测指标，同步云资源 Tag 进行...
来自：
云产品
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
文档版本：20220331 43 微服务应用问题定位及故障演练 问题定位及故障模拟 步骤12 通过日志可以看到 node节点已经执行了 CPU负载的故障注入（我们也可以在容器服 务控制台看到 worker的 CPU已经压满了，即模拟了 worker节点负载过高的故障）。文档版本：20220331 44 微服务应用问题定位及故障演练 问题定位及故障模拟 步骤...
容器镜像服务
阿里云容器镜像服务（简称 ACR）是面向容器镜像、Helm Chart 等符合 OCI 标准的云原生制品安全托管及高效分发平台。 ACR 支持全球同步加速、大规模/大镜像分发加速、多代码源构建加速等全链路提效，与容器服务 ACK 无缝集成，帮助企业降低交付复杂度，打造云原生应用一站式解决方案。
制品管理.制品分发.云原生安全.面向企业客户，99.95%SLA...在ACK、FC等云产品中使用ACR镜像部署应用.10分钟迁移自建Harbor至ACR企业版.Java项目容器化构建最佳实践.基于ACK One和ACR构建应用的全自动化GitOps交付实践.容器DevSecOps全链路体验.云原生架构容器&微服务优秀案例集.更多案例查看.案例精选与最佳实践.查看全部日志.
来自：
云产品
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
SSD云盘 系统盘容量 40G EIP配置：配置项 说明 EIP名称 eip-bp106 商品类型 按量付费 线路类型 BGP（多线）网络类型 公网 流量 按流量计费 带宽峰值 10Mbps RDS配置：配置项 说明 实例名 rds-bp106 支付方式 按量付费 类型 MySQL 版本 5.7 系列 基础版 存储类型 SSD云盘 部署方案 单可用区部署 实例规格 mysql.n2.large.1...
企业级分布式应用服务EDAS
阿里云企业级分布式应用服务EDAS是一个围绕应用和微服务的PaaS平台，提供多样的应用发布能力和轻量级微服务解决方案，帮助用户解决在应用和服务管理过程中监控、诊断和高可用运维问题，完全兼容Dubbo和Spring Cloud，助您轻松转型企业级互联网架构。
打通 Kubernetes 节点维度自动伸缩，一站式完成应用与集群弹性扩缩配置，降低运维成本.弹性伸缩，多维度指标触发器.无缝集成 ACK/ASK，全系版本集成阿里云中间件 ARMS/X-trace 相应版本能力，接入 AHAS 限流降级，一键采集应用业务日志至 SLS，助您轻松打造企业级互联网架构。应用视角关联云产品/功能，无需自行记录产品...
来自：
云产品
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
云资源初始化已经通过模版设 置。下载Democode地址：使用gitclonehttps:/best-practice:Abcd123456@codeup.aliyun.com/best-practice/bp/199.git 基础资源环境规划：类型 配置项 说明 备注 地域 深圳 华东2（上海）地域 名称 bigdata-vpc 基于模版新建 专有网络 支持导入已保 IPv4网段 192.168.0.0/16 有资源 名称 Vswitch_...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
b（可根据库存选其他可用区）IPv4网段 192.168.20.0/24 ECS实例 类别 配置项 说明 基础配 ECS名 ecs-hadoop 置 支付方式 后付费 地域 华东 2（上海）可用区 g 实例 ecs.c5.xlarge(4c 8g)购买实例数 8台 量 说明：1台用于安装日志发生器，1台用于安装 Kafka，5台 用于安装 Hadoop，1台用于安装 MySQL。镜像 选择公共镜像。...
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
从本最佳实践 git库下载文件 RedisClient.java：cp RedisClient.java/root/YCSB/redis/src/main/java/site/ycsb/db/步骤3 安装 JDK。下载 JDK。https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html vim .bash_profile文档版本：20210120 47 在线教育流量洪峰最佳实践 附录 测试环境安装 步骤4 配置...
Cloud Toolkit阿里云开发者插件工具
Cloud Toolkit - 阿里云集开发、测试、诊断、部署为一体的免费本地多IDE插件，帮助开发者真正实现任意服务器或 ECS、EDAS、Kubernetes、SAE、函数计算等一键式研发部署，支持Java规约、高效执行终端命令和 SQL等常见工具，研发速度提升8倍以上，大幅降低研发成本。
支持一键部署至任意服务器（ECS、EDAS、ACK、ACR、小程序云等），减少重复性工作.一键式部署，提升部署效率数倍以上.从代码管理到自动化测试、自动部署，覆盖开发部署工作场景，大幅提升研发效率.开发部署所需功能与服务全覆盖.产品免费使用，「持续更新+社群支持」确保开发者快速上手，真正做到降本提效.开箱即用，全面...
来自：
云产品
1分钟部署幻兽帕鲁游戏服务器
近期幻兽帕鲁、雾锁王国等游戏备受追捧，其对计算资源与带宽有较高的要求。为确保游戏过程的流畅度与优质体验，玩家需要配备性能好、稳定可靠的游戏服务器。
一键购买及部署游戏玩家独享：热卖游戏联机服务器，一键直达购买+部署方案介绍1分钟部署幻兽帕鲁游戏服务器整体资源架构中包括独立的VPC、VSwitch、安全组、ECS实例以及修改游戏配置的命令等资源。您无需手动搭建，只需要按照提示点点鼠标选择相关配置，服务器创建、网络端口设置、防火墙配置、游戏环境安装等步骤会自动...
来自：
解决方案
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
步骤5在kafka-数据导入页面，填入必要的消息，其中：*服务地址：见下面步骤6*Topic列表：topic-sls（已经在CADT中kafka配置中创建）高级配置：点击，见下面步骤7 文档版本：20240428 23SLS数据入湖Kafka最佳实践 场景验证 3.2.SLS中配置 Kafka入湖的高级配置（公网访问）步骤6*服务地址，在浏览器新的窗口，通过CADT画布...
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板，帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS，BGP公网精品IP等产品，实现低成本的出海业务加速。
基于 Fortinet的出海业务访问加速方案 业务架构 场景描述 本方案基于 CADT提供一个一键交付零配置 的部署模板，帮助企业快速构建出海业务访 问加速的环境。方案结合了 Fortinet产品以 及阿里云的 ECS，BGP公网精品 IP等产 品，实现低成本的出海业务加速。应用场景 出海业务访问加速,SD-WAN组网等 解决问题 1、一键交付零...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
除了函数名称不一样以外，其他配置和kafka-sync-func-ram-a函数一样，参见上述配 置说明。步骤17双击名为sync-metadata-func-ram-a的函数计算具体函数，查看配置信息。除了名称和环境变量不一样以外，其他配置和kafka-sync-func-ram-a函数一样，参见 上述配置说明。 环境变量：默认设置连接目标Kafka实例和源Kafka实例的...
- 产品推荐
- 这些文档可能帮助您