大数据系统基准性能测试最佳实践
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
您可以登录阿里云控制台,并前往实人认证页 面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实 名认证阿里云账户余额大于 100元。您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下阿里云服务...
来自: 最佳实践 相关产品:专有网络 VPC,E-MapReduce,云速搭CADT
SpringCloud应用托管到ACK服务
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中,创建容器服务ACK后, 利用Helm一键部署SpringCloud应用,将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实名 认证阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下...
来自: 最佳实践 | 相关产品:容器服务 ACK
基因计算工作流
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现,支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算,按照规定好的步骤依次完成 计算,这符合工作流的特点:多层次,有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实名 认证阿里云账户余额大于 100元。说明:您可以登录阿里云 控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,文件存储NAS,容器服务 ACK
互联网、电商Elasticsearch搜索
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户,每天都在经 历各种各样的“搜索”,查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库,Elasticsearch只需要几毫秒的 时间,即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性,能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
20220121 文档版本:20150122(发布日期)I 互联网、电商 Elasticsearch搜索最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 互联网、电商 Elasticsearch搜索最佳实践 文档编号 071 文档版本 V1.4 版本日期 2022-01-21 文档状态 外部发布 制作 弦望、衾影 审阅-文档变更记录 版本编号 日期 作者 审核...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,DataWorks,Elasticsearch
机场视频监控
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业,将线下视频文件通过混合云阵列缓存后,通过专线上传到阿里云OSS上。 也适用于其他混合云场景中,利用阵列缓存文件,并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道(专线)
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实名 认证。 阿里云账户余额大于100元。说明:您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。 阿里云账号下已...
来自: 最佳实践 | 相关产品:对象存储 OSS,高速通道,混合云存储阵列 Hybrid Cloud
容器跨可用区高可用
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构,某可用区挂掉后,不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB,RDS,Redis等产品,实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB,RDS,REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
您可以登录阿里云控制台,并前往实人认证页 面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实 名认证阿里云账户余额大于 100 元。您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下阿里云服务...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,文件存储NAS,容器服务 ACK,云数据库 Redis 版,云速搭CADT
基于弹性计算的AI推理
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实名 认证阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
搭建高性能ACK集群
搭建高性能ACK集群
场景描述 容器的网络协议栈实现方式,导致容器之间的网 络性能,相比服务器之间直接通信方式,会有一 定程度的下降。阿里云托管版的K8S容器服务, 支持自研的Terway网络插件,该插件可以有效 减少因容器而引入的网络性能下降,可以基本达 到服务器之间直接通信的网络性能。本最佳实践 主要是一个性能测试方面的实践,指导客户进行 POC测试等。 解决问题 1.POD之间网络性能提升。 2.性能测试方法 产品列表 阿里云托管K8S ACK
属性 内容 文档名称 搭建高性能 ACK集群最佳实践 文档编号 079 文档版本 V1.3 版本日期 2022-01-26 文档状态 外部发布 制作 嘉辽 审阅 文档变更记录 版本编号 日期 作者 审核 说明 V1.0 2019/08/01 云滴 行夜 创建 V1.1 2019/08/27 筱晖-文档优化 V1.2 2020/01/14 云滴-增加概览页,作者二维码 V1.3 2022/01/26 嘉辽-...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,容器服务 ACK,云速搭
弹性裸金属自建ORACLE数据库单机版
弹性裸金属自建ORACLE数据库单机版
场景描述 1.客户业务系统选型ORACLE数据库且不愿 做业务改造:由于历史原因,客户业务系统 只支持ORACLE数据库。适配开源数据库 业务改造量大,客户没有技术/时间去做改 造。 2.高性能:客户希望拥有比虚拟机更高的性能 和稳定性,以保障数据库高性能,支撑高并 发的业务系统; 3.高可用:在单机条件下,极端情况下数据库 发生宕机时,客户希望能快速拉起数据库服 务,减少停机时间; 4.数据安全性:极端情况下能找回数据。数据 备份和恢复更方便。
您可以登录阿里云控制台,并前往实人认证页 面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实 名认证阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览 页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。原始数据库系统为 ORACLE ...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,弹性公网IP,弹性裸金属服务器(神龙),云速搭
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
内容 文档名称 基于 MaxCompute的大数据 BI分析最佳实践 文档编号 106 文档版本 V1.6 版本日期 2021-12-13 文档状态 外部发布 制作 弦望、期会、衾影 审阅 云魁、敬海 文档变更记录 版本编号 日期 作者 审核 说明 V1.0 2019-07-12 弦望、期会 云魁、敬海 创建 V1.1 2019-10-21 筱晖-文档优化 V1.2 2019-10-29 期会 敬...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
RAPIDS加速图像搜索
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU,利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实名 阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实名 认证阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看当前账号是否 已经完成实名认证阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余 额。阿里云账号下...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
RAPIDS加速机器学习
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU,利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实 名认证阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
超级计算集群实现自然语言处理训练
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景,使用神龙 GPU云服务器(SCCGN6)+CPFS进行NLP的 训练,采用Bert模型。这里不使用容器,直接 使用裸机进行NLP的Bert训练,使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器(SCCGN6) SCC超级计算集群 CPFS共享存储
说明:您可以登录阿里云控制台,并前往实人认证页面:(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实名认证。 阿里云账户余额大于100元。说明:您可以登录阿里云控制台,并前往账户总览页面:(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。 阿里云账号下已...
来自: 最佳实践 | 相关产品:文件存储NAS,超级计算集群
计算巢服务
阿里云计算巢服务是一个面向ISV、SI、MSP和开发者的云集成PaaS平台,方便服务商更好的将产品、服务集成,借助云原生的能力提升软件服务交付、部署及后续管理。
阿里云云峰会 2023 北京站的《数字原生企业创新论坛》中,阿里云智能计算巢产品负责何川发表了《阿里云计算巢通过数字化工具加速企业数字原生》的主题演讲。2023-04-18计算巢服务是什么计算巢服务是阿里云开放给企业应用服务商和其他客户的服务管理 PaaS 平台。以上内容摘自《云XR平台新品发布会演讲合集》电子书,点击...
来自: 云产品
多账号下企业分账
多账号下企业分账
场景描述 财务分账,是根据企业的成本中心,将云上资源的成本划分到给各个项目组/业务部门;助力企业快速梳理云上成本结构,搭建复杂组织架构下的成本关系,便捷地进行财务和云上成本的管理。 大型企业或集团公司,由于组织架构复杂,业务复杂等原因,通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源,如何建立有效的分账方案,是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理,IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况,清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
文档编号 192 文档版本 V1.0 版本日期 2021-01-28 文档状态 对外发布 制作 天裵、天凯、南园、潘婷 审阅 阿瑟、七凌 文档变更记录 版本编号 日期 作者 审核 说明 天裵、天凯、南园、V1.0 2021-01-28 阿瑟、七凌 创建 潘婷 联系我们 如果您在使用本最佳实践时遇到问题,欢迎通过钉钉扫描二维码联系我们获取进一步 帮助...
来自: 最佳实践 | 相关产品:资源管理,配置审计,云速搭CADT
开源Flink迁移实时计算Flink全托管版最佳实践
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务(包含Datastream、Table/SQL、PyFlink任务)迁移至阿里云实时计算全托管版。
属性 内容 文档名称 开源 Flink迁移实时计算 Flink全托管版最佳实践 文档编号 285 文档版本 V1.0 版本日期 2021-12-22 文档状态 外部发布 制作 弦望、七凌 审阅 文档变更记录 版本编号 日期 作者 审核 说明 V1.0 2021-12-22 纯庚、弦望、七凌 创建 文档版本:20211222 I 开源 Flink迁移实时计算Flink全托管版 前言 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,E-MapReduce,实时计算,消息队列 Kafka 版,云速搭CADT
新零售商超基于Serverless服务化改造
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业,主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态,涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展,其在快速上云后,将核心业务改造为全Serverless架构的中台模式,采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心,弹性支撑日常和大促峰谷所需资源,轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构:FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用:毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维:函数式极简编程可专注于业务创新,无采购和部署成本、提供监控报警等完备的可观测能力。
配置数据迁移 DTS:支持关系型数据库、NoSQL、大数据(OLAP)等数据源,集数据迁移、订阅及 时同步功能于一体,能够解决公共云、混合云场景下,远距离、毫秒异步数据传输 难题。其底层基础设施采用阿里双 11 异地多活架构,为数千下游应用提供实时数据 流,已在线上稳定运行 6年之久。详见:...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,函数计算,API网关,表格存储
微服务引擎的线上流量治理
微服务引擎的线上流量治理
随着业务不断创新,微服务架构及数字化转型不断落地,在这个过程中,大量企业采用了开源的组件构建了微服务,比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等,微服务的好处之一,在于快速迭代,如何在迭代过程中保障线上流量不受损? 开源产品无运维工具,常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架,实现业务零改造,解决开源框架在生产落地过程中的痛点,例如无损上下线、标签路由等,并通过托管微服务开源组件(API网关、注册中心、配置中心等)的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助企业释放业务无关的运维成本,聚焦业务本身的运维和发展。 方案优势 快速集成:通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维:托管微服务依赖开源中间件的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助我们客户释放业务无关的运维成本,聚焦自身业务本身的运维和发展。 开源增强:提供开源框架在生产落地过程中的痛点,例如应用无损上下线/金丝雀发布/南北+东西流量打通等,帮助客户的业务提高自身SLA和降低自研成本。
应用部署 如之前架构图所示,应用都部署于容器服务 ACK,本章节,将通过 kubectl进行手 动部署,在真实生产环境中,常常采用 CICD的方式,进行应用多环境的快速构建和 发布,感兴趣的同学,可参考最佳实践《基于 K8S多集群隔离环境下的 DevOps 现》https://bp.aliyun.com/detail/165 步骤9 进入集群控制台,进入 cloud...
来自: 最佳实践 | 相关产品:容器服务 ACK,微服务引擎,云速搭CADT
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用