大数据系统基准性能测试最佳实践
大数据<em>系统</em>基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
大数据系统基准性能测试 最佳实践 部署架构图 场景描述 本方案适用于大数据系统基准性能测 试的场景,这里以 Terasort&Teragen 测试,以及 TestDFSIO测试,来衡量 大数据系统的基准能力。解决问题 1.使用 CADT快速构建大数据系统 测试环境 2.进行 Terasort&Teragen 3.进行 TestDFSIO测试 产品列表 EMR 云服务器 ECS 云速搭 ...
来自: 最佳实践 相关产品:专有网络 VPC,E-MapReduce,云速搭CADT
网络货运平台系统解决方案
阿里云联合生态合作伙伴,帮助上万家传统物流公司和货主企业向网络货运化模式转型,基于阿里云智慧解决方案,辅以车联网核心数据资源,优化整合运输工具与装备、基础设施、从业人员、信息、资金等各类物流资源,旨在打造中国领先的云端网络货运平台系统,推进「网络货运平台」生态化建设。
弹性可伸缩的计算服务,助您降低 IT 成本,提升...专为网络货运平台定制保费低、周期短、低免责的保险产品,如物流责任、慧保驾乘意等.定制化保险产品.定制化保险产品.为运输场景下的大宗、零担、干线等提供过程管控、运力整合,构建规模化高效协同运输网络.服务国家首批无车承运人试点企业中一半以上客户,客户遍布全国.
来自: 解决方案
基于日志服务构建业务可观测性系统
基于日志服务构建业务可观测性<em>系统</em>
现在已知的各种监控数据的工具,以及对应的监控系统有非常多的选择,比如ZABBIX,Prometheus,Skywalking等。但是这些系统都存在同样的一个问题,只覆盖了可观察性的一部分,举个简单的类比,大家在日常开车的过程中,会用到很多的辅助设备,仪表盘,行车记录仪,导航,倒车影像等等,这些设备都各自承载了一部分的功能,但是都存在着如下的问题: l 数据覆盖不完整 l 存在数据孤岛(无法关联协同) l 使用门槛高,不够人性化 核心价值 l 全覆盖,统一协议,支持各类平台。 l 数据关联,统一Schema,关联Metrics/Logs。 l 云原生,SaaS服务,拥抱云原生。 l 简单易用,自动化埋点,数十项易用功能。 智能化,异常诊断,根因分析。
基于日志服务构建业务可观察性系统 部署架构 场景描述 现在已知的各种监控数据的工具,以及对应的监 控系统有非常多的选择,比如 ZABBIX,Prometheus,Skywalking等。但是这些系统都存 在同样的一个问题,只覆盖了可观察性的一部分,举个简单的类比,大家在日常开车的过程中,会用 到很多的辅助设备,仪表盘,行车记录仪,...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
混合云存储构建VMware虚拟化平台
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
控制柜采用盘控一体的设计方法,用户可以自主选择安装不同数量和规格的硬盘, 柜有自身的存储空间,因此可以在不使用硬盘扩展柜的情况下单独使用。控制柜包 含的组件和接口有: 两个控制器(ControllerModule,简称CM),每控制器一个处理器,可以扩展主 机接口适配器。 每控制器有4个内存插槽。 硬盘模块,有12...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
DDH集群运维管理
DDH集群运维管理
场景描述 当前许多企业的IDC业务场景,资源管理 等使用习惯与公共云不同,使用DDH集群 管理,继承IDC虚拟化使用习惯,比如自 定义ECS规格。同时针对CPU负载较低 的场景,通过CPU超分,可以有效提高资 源利用率,节省整体成本。并且可以通过账 号授权业务团队,结合云监控资源使用率, 方便业务使用的同时又能有效遏制资源浪 费。 方案优势 1.使用专有宿主机集群构建云上环境,通 过超分提高资源利用率,降低企业成 本。 2.通过访问控制授权,云监控资源,完成 专有宿主机集群运维管理使用闭环。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 云监控CloudMonitor
产品列表 方案优势  访问控制RAM 1.使用专有宿主机集群构建云上环境,通  专有网络VPC 过超分提高资源利用率,降低企业成  云服务器ECS 本。 云监控CloudMonitor 2.通过访问控制授权,云监控资源,完成 专有宿主机集群运维管理使用闭环。云服务器ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 DDH集群...
来自: 最佳实践 | 相关产品:专有网络 VPC,访问控制,云监控,专有宿主机
云上IT治理workshop
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施,集团 旗下有多个分公司(如制造分公司和销售分公 司),各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴,拟达到以下 业务目标: 1. 各个分公司拥有独立的账号,可以购买云资 源,由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建,分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
文档版本:20210909(发布日期)74 云上 IT治理 Workshop 权限验证 步骤8 跳转到 ECS 台,可 以 看 到 2 台 ECS 已 创 建 成 功。(https://ecs.console.aliyun.com/#/server/region/cn-hangzhou )8.2.使用开发组 RAM用户使用云资源 使用开发组 RAM用户 dev001登录阿里云,校验账号只能查看开发资源组下的资源,且...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,访问控制,操作审计,资源管理,配置审计
AK防泄漏
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据,AK是软件程序访问阿里云资源的凭据。 如果AK被泄露,那么会造成非常严重的后果, 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿,等等。采用合适的方式来使用、 保护AK,是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
3.风险控制:企业 A希望将风险控制到最小,每个 App直连 OSS时都必须拥有最 小的访问权限且访问时效需要很短。解决方案 当移动应用(App)直连 OSS上传或下载数据时,App需要向应用服务器申请访问凭 证。应用服务器以 RAM用户身份扮演 RAM角色,调用 STS API AssumeRole接口 获取临时安全令牌,并将临时安全令牌传递给 App...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云安全中心,操作审计,云速搭CADT
阿里云最佳实践容器workshop
阿里云最佳实践容器workshop
通过本篇最佳实践,可以熟悉容器及k8s的基本操作。基于eci的高弹性架构,能有效的应对业务流量洪峰,同时提升资源使用效率。
CSI插件是当前 K8s社区推荐的插件实现方案,Flexvolume是社区较早的实现机 。不支持在一个集群内同时使用 CSI和 Flexvolume。云监控:ECS上安装云监控的 Agent采集信息到云监控 文档版本:20220301(发布日期)12 阿里云ACK容器服务workshop 使用 CADT创建云资源 1.3.2.集群部署 步骤1 保存当前应用。步骤2 选择应用>部署...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),访问控制,容器镜像服务 ACR,云效,云速搭
RAM角色集成企业OpenLDAP身份认证
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP, 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系,实现企业员工使用企业OpenLDAP账 号以单点登录(SSO)的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak,并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
产品列表 访问控制 RAM 专有网络 VPC 云服务器 ECS 容器镜像服务 ACR 云架构设计工具 CADT 文档模板(手册名称)/Error!Use the Home tab to apply 云服务器 ECS(产品名称)标题 to the text that you want to appear here.阿里云 RAM角色 集成企业 OpenLDAP身份认证 文档版本:20210616(发布日期)文档版本:20150122...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,容器镜像服务 ACR,云速搭
云数据库RDS MySQL版备份恢复
云数据库RDS MySQL版备份恢复
场景描述 用户数据库数据, 部分需要快速、 小颗粒度恢复、 部分需要异地备份、部分需求长期归档。 当前自建 MySQL 上建立完善的备份/恢复系统无法完美满足用户需求, 且建设/维护成本很高。 RDS 的完善的备份/恢复方案可以有效帮助到用户。 方案优势 1. 可以方便实现本地备份及库表级别快速恢复, 快速应对误操作误删除等逻辑错误, 降低业务损失。 2. 可以方便实现异地备份, 实现数据级容灾, 满足合规要求。 3. 可以方便将数据进行归档, 实现长期数据的高性价比保存方案。 4. 有效提升用户数据备份效率, 降低维护工作量。 解决问题 1. 自建数据库发生误操作时恢复复杂 2. 部分数据发生错误进行恢复时可能影响其他数据访问 3. 异地备份操作复杂 4. 长期数据保存成本较高 5. 备份恢复系统维护所需人力成本较高
当前自建 MySQL上建立完善的 备份/恢复系统无法完美满足用户需求,且建设/维护成本很高。RDS的完善的备 份/恢复方案可以有效帮助到用户。方案优势 1.可以方便实现本地备份及库表级别 快速恢复,快速应对误操作误删除 等逻辑错误,降低业务损失。2.可以方便实现异地备份,实现数据 级容灾,满足合规要求。3.可以方便将数据...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,访问控制
VMware迁移DDH
VMware迁移DDH
场景描述 介绍本地部署或托管在IDC环境的VMware系统迁移 上云至独立宿主机(DDH)的最佳实践。使用DDH在 云端构建由独享物理服务器组成的资源池,同时配合 ECS成熟稳定的虚拟化技术体系,充分利用云上资源 弹性、按使用付费的优势,快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统,满足安全、合规、 自定义部署、自带许可证(BYOL)等企业级需求。 解决问题 l云端独享高性能、高可靠、高弹性的物理服务器资源池。 l基于成熟云原生虚拟化技术体系,支持ECS自定义部 署,可在DDH环境和多租户环境间迁移。 l支持自带许可证(BYOL)。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS l对象存储OSS l专有宿主机DDH l资源编排ROS
VMware 迁移 DDH 最佳实践 场景描述 部署架构图:介绍本地部署或托管在 IDC环境的 VMware系统迁移 上云至独立宿主机(DDH)的最佳实践。使用 DDH在 云端构建由独享物理服务器组成的资源池,同时配合 ECS 成熟稳定的虚拟化技术体系,充分利用云上资源 弹性、按使用付费的优势,快速构建高性能、高可靠 和可快速动态伸缩的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,专有宿主机
影视数据分发汇集与传输加速
影视数据分发汇集与传输加速
场景描述 使用阿里云对象存储服务OSS及OSSBrowser 工具,实现影视数据多用户多地域分发、汇集, 以及传输加速的最佳实践。 解决问题 1.跨地域、多角色、分权限文件上传、下载。 2.基于OSS及其客户端实现Serverless文件 分发服务(可替换传统FTP服务)。 3.OSS文件传输全球加速。 产品列表 lOSS lRAM
文档版本:20220507 4 影视数据分发汇集与传输加速 创建权限管理子用户 步骤5 分别搜索 ossfull、ramfull,添加系统预置权限策略:AliyunOSSFullAccess 和 AliyunRAMFullAccess 步骤6 确认授权成功 文档版本:20220507 5 影视数据分发汇集与传输加速 OSS Browser工具安装及配置 2.OSS Browser工具安装及配置 步骤1 从 ...
来自: 最佳实践 | 相关产品:对象存储 OSS,访问控制
数据湖-在线学习场景数据分析
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
产品列表  E-MapReduce  对象存储OSS  云服务器ECS  访问控制RAM  专有网络VPC云服务器ECS(产品名称)文档模板(手册名称)/阿里云 企业上云实践 数据湖-在线学习场景数据分析 最佳实践 文档版本:20200331 文档版本:20150122(发布日期)2数据湖-在线学习场景数据分析 文档版本信息 文档版本信息 文本信息 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
同地域跨可用区容灾
同地域跨可用区容灾
场景描述 面向阿里云公共云客户, 1.业务在同一个地域(Region) 2.应用已经无状态 3.在不大幅增加成本的情况下,希望获得支持业务的跨可用区(Zone)容灾能力 3.希望对整体的应用做容灾备份(简称容灾),而非单独的数据库或存储等 解决问题 提供云上高可用架构方案并提供可参考的跨可用区架构提供简单的容灾演练 产品列表 云服务器(ECS)、数据库(RDS)、专有络(VPC)、负载均衡(SLB)、消息队列(MQ)等
Redis 单 不可演 一可用区 练,容 不可用 灾由 自动 完成 DRDS 单 不可演 一可用区 练,容 不可用 灾由 自动 完成 单一可用 不可演 区不可用 练,容 灾由 自动 完成 Demo 演练逻辑:通过 RDS 的主备切换功能,手动使数据库访问备库,验证网站访问和数据的读写是否正 常。一、确认当前 RDS主备库信息 登陆RDS ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,访问控制
RAM用户集成企业AD FS身份认证
RAM用户集成企业AD FS身份认证
介绍阿里云RAM集成Windows AD FS,使用企 业AD对员工的身份认证及管理功能,配置RAM 用户与AD用户的映射关系,实现企业员工使用企 业AD域账号以单点登录(SSO)的方式访问阿里 云控制台。 解决问题 1.Windows AD域部署。 2.Windows AD证书服务及Web服务部署。 3.Windows AD FS部署。 4.阿里云用户SSO配置。 5.AD FS集成RAM用户SSO。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS
产品列表  访问控制 RAM  专有网络 VPC  云服务器 ECS 文档版本:20190828RAM用户集成企业ADFS身份认证 文档版本信息 阿里云 企业上云实践 RAM用户集成企业AD FS身份认证 文档版本:20150122(发布日期)2RAM用户集成企业ADFS身份认证 文档版本信息 文档版本信息 文本信息:属性 内容 文档名称 企业上云实践RAM用户...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,访问控制,云速搭CADT
大数据近实时数据投递MaxCompute
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓,打通云下数据上云链路,解决数据复杂类型支持和动态分区问题,满足高级数据处理需求的最佳实践。 l混合云环境下,现有业务系统零改造,打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程,数据自动入仓。 l借助MaxCompute优化计算引擎,实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
大数据近实时数据投递 MaxCompute 最佳实践 业务架构 最佳实践 解决问题 场景描述 混合云环境下,现有业务系统零改造,打通数据 本文介绍离线大数据场景使用 MaxCompute构建云 上云链路。上近实时数仓,打通云下数据上云链路,解决数据复 使用 UDF实现复杂数据类型转换和数据动态分 杂类型支持和动态分区问题,满足高级数据...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,数据总线,云速搭CADT
混合云自有K8S弹性使用ECI
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构,自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下,自有K8S集群注册至ACK,实现云端纳管。纳管K8S集群部署Virtual Node,使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用,并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
制作人 谈慧杰 审阅人 宋宇、欢 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-05-25 谈慧杰 宋宇、欢 创建文档 V1.1 2020-06-16 张明远 谈慧杰 文档优化 V1.2 2020-06-30 谈慧杰 文档勘误 V1.3 2021-05-20 谈慧杰 资源环境以 CADT部署 更新 Virtual Node部署方式 更新 ECI Pod调用示例 文档版本:20210520 I...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,访问控制,NAT网关,云企业网,容器镜像服务 ACR,弹性容器实例 ECI
企业用户多账号合并之存储迁移集中
企业用户多账号合并之存储迁移集中
场景描述 本文介绍使用在线迁移服务,将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求,统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问,数据统一需求。 3.系统架构及资源成本优化需求,多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
ᅳ 流量控制:设置迁移任务执行的时段及最大占用流量,建议设置为源 bucket 的业务低峰期,最大占用流量默认为 40Mbsp(5MByte/s),可适当调整。步骤3 迁移任务创建,预计 3~5分钟完成:文档版本:20220505 19 企业用户多账号合并之存储迁移集中部署 使用数据迁移服务迁移 OSS数据 2.4.执行迁移任务 步骤1 任务创建成功后...
来自: 最佳实践 | 相关产品:对象存储 OSS,文件存储NAS,访问控制,云速搭
AliOS Things
阿里云AliOS Things致力于搭建云端一体化 IoT 基础设施,具备极致性能、极简开发、云端一体、丰富组件、安全防护等关键能力。支持多种多样的设备连接到阿里云IoT平台,可广泛应用在智能家居、智慧城市、工业,新出行等领域。
为IoT设备提供上手的云端一体的轻应用开发框架,提供统一的系统&设备接口,涵盖JavaScript轻应用、Python轻应用,极大地降低了嵌入式开发的门槛.提供友好高效的音视频采集播放传输、视觉处理、语音识别等开发框架和工具,软硬件结合减少多媒体整体方案对硬件资源的开销,帮助客户快速拓展业务场景,降低成本和提升效率.AI...
来自: 云产品
官网最佳实践频道浏览
官网最佳实践频道浏览
介绍如何使用RAM子用户登录阿里云官网全文浏览最佳实践频道内容。
操作步骤 使用云账号登录阿里云官网(www.aliyun.com )访问 访问控制(RAM)控制台 官网首页导航进入控制台 文档版本:20200630 III 官网最佳实践频道浏览最佳实践 产品与服务 搜索 访问控制 进入访问控制控制台 人员管理>用户页面,单击新建用户。在新建用户页面,完成以下配置,并单击确定。配置项 说明 文档版本:...
来自: 最佳实践 | 相关产品:访问控制
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用