自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
EMR 迁移到其他阿里云存储服务 红色字体 192.168.100.37 为自建 Hadoop集群 master节点的内网 IP地址 红色字体/usr/dfs/data/flume/kafka/20191113 为自建 Hadoop 集群中的文件 路径,建议在 OSS作为 Object的前缀 蓝色字体 AccessKeyID:AccessKeySecret 为可以访问到 OSS 存储空间的 AK/SK 蓝色字体 bucket-for-...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
混合云数据库统一管理
混合云数据库统一管理
本最佳实践描述在混合云场景下,用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库,并通过DTS实现IDC数据库和云上RDS的数据同步, DBS将数据备份到云上
本最佳实践的网络规划方案如下:类型 地域 IP网段 连接方式 VPC 北京 10.0.0.0/24 模拟使用阿里云 RDS实例 VPC 杭州 172.16.0.0/24 模拟 IDC机房自建 MySQL VPC 上海 192.168.0.0/16 模拟云自建 PgSQL 其中北京模拟云 RDS服务,杭州模拟模拟线下 IDC机房自建数据库,上海模拟云 自建数据库实例。本最佳实践通过 DMS,...
来自: 最佳实践 | 相关产品:数据传输,数据管理
基于ECI+FaaS构建游戏战斗结算服
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
页游通常采用快速开服、合服的运营策略,短时间内可能开通千个游戏区,并随着 每个区的活跃玩家降低而陆续的合服,通过自定义镜像自动开服脚本可以实现快速 的创建游戏大区及逻辑服务器。1.3.弹性计算实例关键指标 关键指标 六代增强型 七代高主频 vcpu核心数 80vcpu 192vcpu 频率 2.5/3.2Ghz 3.3/3.8Ghz 最高网络 25G*...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
持续审计合规最佳实践
云<em>上</em>持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
步骤4 为 RAM 角色 ActionTrailDeliveryRole 授 予 策 略 文档日期:20210726 60 云持续审计合规最佳实践 操作审计 步骤5 单击角色 ActionTrailDeliveryRole。步骤6 单击信任策略管理标签,然后单击修改信任策略。将 Service字段修改为 企业管理账号@actiontrail.aliyuncs.com的格式(本最佳实 践为 164xxxxxxx34@...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
Serverless图片分类和身份证过滤
Serverless图片分类和身份证过滤
场景描述 场景一:大型图库智能管理通过深度学习算法,自动识别图像中的常见的场景,客户可以基于函数计算对接智能媒体管理的图像识别功能,轻松实现图片的自动管理和分组,完成大型图像库的智能管理。 场景二:身份证图片过滤 通过扫描存储在OSSbucket中的图片,通 过智能媒体管理进行身份证识别,找到海量图片中的身份证图片,对敏感信息进行处理。 解决问题 1.通过无服务器计算实现图片处理自动化 2.OSS触发器的使用 3.使用函数计算调用阿里云的AIP或SDK 产品列表 函数计算 智能媒体管理IMM 对象存储OSS
身份证图片过滤 说明:本节介绍使用函数计算对身份证图片进行过滤,函数计算调用 IMM的图形识别 API对图片进行身份证识别,识别出身份证后进行业务处理,如对身份证图片进行 ,打马赛克处理等。3.1.创建函数计算服务及函数 步骤1 登录函数计算控制台(如果不是最新版请先将控制台切换到最新版本)。...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,智能媒体管理
CentOS到Alinux操作系统迁移
操作系统迁移解决方案为企业提供ECS实例运行的操作系统EOL(生命周期结束)后的替换或升级服务。满足在控制台一键备份和迁移的能力,具有界面易用、过程可靠、数据安全的优势。
操作系统迁移解决方案为企业提供ECS实例运行的操作系统EOL(生命周期结束)后的替换或升级服务。满足在控制台一键备份和迁移的能力,具有界面易用、过程可靠、数据安全的优势。CentOS到Alinux操作系统迁移 操作系统迁移解决方案为企业提供ECS实例运行的操作系统EOL(生命周期结束)后的替换或升级服务。满足在控制台一键...
系统运维管理 OOS
阿里云系统运维管理(简称OOS)提供的云上自动化运维服务,通过执行模板来完成任务的自动化运行,可以使用OOS管理ECS、RDS、SLB、VPC等云产品,提升日常运维管理效率
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台系统运维管理产品简介产品优势产品功能入门与试用技术解决方案安全合规常见问题系统运维管理 OOS云统一的自动化管理与运维平台,支持对ECS、RDS、SLB等多种云产品进行编排,提升日常运维管理效率。立即购买免费试用快捷入口控制台...
来自: 云产品
大模型RAG对话系统部署
大模型RAG对话<em>系统</em>部署
大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
文档版本:20240131 2 大模型 RAG对话系统部署 部署基础环境 步骤3 默认情况下,ES、Hologres、ADB PG均跳过部署,本章节向量数据库选择 ES,因 此双击 ES图标,关闭跳过部署 步骤4 修改 ES的登录密码 文档版本:20240131 3 大模型 RAG对话系统部署 部署基础环境 步骤5 单击右角的保存按钮,填好自定义应用名称,单击确认...
来自: 最佳实践 | 相关产品:Elasticsearch,机器学习PAI-EAS,机器学习平台,云速搭
云速搭部署 NAS 文件系统
云速搭部署 NAS 文件<em>系统</em>
本实践通过云速搭构建一个 NAS,并将 NAS 文件系统挂载到 ECS 的目录上。
云速搭部署 NAS文件系统 文档版本信息 云速搭 部署 NAS文件系统 最佳实践 文档版本:20211027(发布日期)云速搭部署 NAS文件系统 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署 NAS文件系统 文档编号 245 文档版本 V1.0 版本日期 2021-10-27 文档状态 对外发布 制作人 洁谦 文档变更记录 版本编号 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,云速搭CADT
云上高并发系统改造
云上高并发<em>系统</em>改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
尽可能避免跨库查询:关联查询的数据尽量分散到同一个分片中,跨库查询对 性能损耗很大。避免跨分表联表查询的方式有:a)剥离出高频访问的表,与核心表 1:1关系的,进行反范式设计,将核心表 宽 b)如果与核心表是 N:1关系的,将高频访问字段冗余到核心表中 c)低频访问数据,业务功能设计,避免一页展示大而全,...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
网络货运平台系统解决方案
阿里云联合生态合作伙伴,帮助上万家传统物流公司和货主企业向网络货运化模式转型,基于阿里云智慧解决方案,辅以车联网核心数据资源,优化整合运输工具与装备、基础设施、从业人员、信息、资金等各类物流资源,旨在打造中国领先的云端网络货运平台系统,推进「网络货运平台」生态化建设。
网络货运平台系统解决方案.基于阿里云智慧解决方案,辅以车联网核心数据资源,优化整合运输工具与装备、基础设施、从业人员、信息、资金等各类物流资源,旨在打造先进的的云端网络货运平台系统,推进「网络货运平台」生态化建设.谢赟辉,靖鑫,也树.网络货运平台系统解决方案.为客户提供端到端的业务解决方案,利用云资源快速...
来自: 解决方案
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫,如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题,阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建,有效助力疫情防。 方案优势: 1、性能优越:Ganos作为自研的时空数据库引擎,相比postgis性能更优秀。 2、安全稳定:故障自动切换自愈,资源隔离,多副本存储。 3、简单易用:开箱即用,兼容postgresql,打通quickbi快速搭建数据分析展示。 4、功能强大:相比postgis在时空模型上做了较多扩充,支持几何模型,栅格模型,网络模型,时空轨迹模型,点云模型,拓扑网络模型。
存储资源规划.45 文档版本:20210725 IV 阿里云数据库快速搭建疫情分析系统最佳实践 最佳实践概述 最佳实践概述 概述 疫情态势分析和防控任务迫在眉睫,如果快速搭建高效的疫情态势分析系统是众多部 门和单位的难题,阿里云 polardb for PG+Ganos解决方案可在极短时间内完成分析 搭建,有效助力疫情防。技术架构 本实践...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云数据库PolarDB,Quick BI
游戏系统和业务运维及分析解决方案
游戏系统和业务运维及分析解决方案,通过阿里云日志服务 SLS、对象存储 OSS 等产品,帮助客户构建简单、易用、性能高、成本低的运维及分析平台,满足基础系统运维和业务运维等游戏运维场景需求,同时提供日志数据分析能力,实现故障预警、提高问题排查速度、提高风险识别安全等级等能力,保障游戏业务安全稳定运行。
游戏系统和业务运维及分析解决方案.针对游戏行业运维场景,通过阿里云日志服务 SLS、对象存储 OSS 等产品,帮助客户构建简单、易用、性能高、成本低的运维及分析方案,满足游戏基础系统运维和业务运维等运维场景需求,同时提供日志数据分析能力,实现实时故障预警、提高问题排查速度、提高风险识别安全等级等能力,保障游戏...
来自: 解决方案
SAP ERP系统B1与钉钉集成解决方案
专为小型企业设计的 SAP® Business One 支持您集成运营整个企业所需的所有重要功能, 其中包括销售和客户关 系以及财务和运营。它能够帮助您根据最新信息制定决策,简化流程并加快盈利性增长。 借助SAP与阿里云的联合解决方案,您可 以彻底告别内部部署的高成本和复杂性,并确保软件、服务与支持费用的可预测性。
SAP ERP系统B1与钉钉集成解决方案.专为小型企业设计的 SAP® Business One 集成运营整个企业所需的全部重要功能:销售、客户关系管理、财务和运营等。借助 SAP® Business One与阿里云以及钉钉的联合解决方案,企业不但能够告别内部部署ERP系统的高成本和复杂性,并确保软件、服务与支持费用的可预测性,还能体验到钉钉为...
来自: 解决方案
加密服务HSM
阿里云加密服务(HSM)即云密码机,提供云上加密服务。加密服务使用经国家密码管理局检测认证的硬件密码机作为服务底层,帮助您满足数据安全方面的监管合规要求,保护云上业务数据隐私。为2022年北京冬奥会全面提供数据加密服务,保障冬奥会线上系统数据安全。
加密服务基于国家密码局认证的硬件加密机,提供了云数据解密服务,用户能够对密钥进行安全可靠的管理,也能使用多种加密算法对云业务数据进行可靠的解密运算.23A_首页banner.谢赟辉,靖鑫,也树.23A_【标题】产品选型.产详三期-产品选型-表格视图_spacex_1704261570180.产详三期-产品选型-表格视图_spacex_...
来自: 云产品
系统可信
系统可信是用于实现云租户计算环境底层高等级安全的主要功能之一。通过在可信ECS实例等计算环境中提供虚拟信任根、启动信任链和远程证明机制,系统可信为用户提供了针对环境启动阶段和运行阶段的全方位可信保障,构建了基于硬件的完善安全体系。系统可信的主体功能是保护系统启动过程中的关键组件,以及保护用户指定的关键应用。产品的优势在于:第一,针对国家等级保护2.0规范要求,助力用户计算环境高分通过合规测评;第二,基于安全芯片,构建涵盖计算环境各层面的完整可信链。产品所针对的场景,主要是用户需要高分通过等级保护测评,彰显安全可信方面的先进性,以及需要底层高等级安全的场景。
系统可信是用于实现云租户计算环境底层高等级安全的主要功能之一。通过在可信ECS实例等计算环境中提供虚拟信任根、启动信任链和远程证明机制,系统可信为用户提供了针对环境启动阶段和运行阶段的全方位可信保障,构建了基于硬件的完善安全体系.目前系统可信基本功能依托可信ECS实例和云安全中心免费开通.系统可信保障产品...
来自: 云产品
企业管理系统部署解决方案
企业管理系统云上部署解决方案,为企业提供快速、灵活的业务部署模式,降低一次性IT投入,提升运维效 率,实现企业云上环境部署一体化方案。
小型互联网迁移阿里云>.小型互联网迁移阿里云.云备份容灾>....行业专用软件云部署实施,比如 HIS、LIS、WMS 系统的云部署,为业务系统平台的打通打下良好基础,提供更加便利的升级扩容框架环境.行业业务系统部署.RDS云数据库.弹性公网IP.云备份 HBR.云服务器ECS.文件存储 NAS.对象存储OSS.SAG智能接入网关.
来自: 解决方案
本地IT系统搬迁解决方案
阿里云本地 IT 系统搬迁解决方案,通过多种云服务工具,帮助用户轻松实现应用与数据的搬家。将搬迁过程带来的业务中断的时间控制到最短,让企业上云没有压力。
本地IT系统搬迁解决方案.将本地 IDC 部署的应用迁移到公有云,是企业上云的第一步。复杂的应用以及大量历史数据的搬迁成为了迈出第一步的绊脚石。阿里云本地 IT 系统搬迁解决方案,通过多种云服务工具,帮助用户轻松实现应用与数据的搬家,减轻企业上云压力.谢赟辉,靖鑫,也树.本地 IT 系统搬迁解决方案.通过多种搬迁实施...
来自: 解决方案
多分支连锁IT系统部署解决方案
阿里云多分支连锁IT系统解决方案,通过阿里云提供的 SD-WAN 网络以及云端灵活的 IaaS 环境,为用户打造一个快速开通,方便易用,运维简单的连锁分支IT环境。
多分支连锁IT系统部署解决方案.通过阿里云提供的 SD-WAN 网络以及云端灵活的 IaaS 环境,为用户打造一个可以快速创建、运维简单的 IT 环境。避免复杂的网络施工和繁琐的线下设备配置和调通,从而真正实现网络环境开箱即用、灵活调配。性能强大的云端计算资源,在保障信息安全、系统可靠的同时,也可以帮助用户降低运维...
来自: 解决方案
大数据系统基准性能测试最佳实践
大数据<em>系统</em>基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
文档版本信息 文本信息 属性 内容 文档名称 大数据系统基准性能测试最佳实践 文档编号 202 文档版本 V1.1 版本日期 2021-11-23 文档状态 外部发布 制作人 游士 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-03-01 敬-创建 V1.1 2021-11-23 游士-更新 CADT部分 文档版本:20210301 I 大数据系统基准性能...
来自: 最佳实践 | 相关产品:专有网络 VPC,E-MapReduce,云速搭CADT
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用