RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
31 文档版本信息：20191209 RAPIDS加速机器学习 使 用容器服 务 A CK部署 RAPIDS环境 步骤5 重新从头按步执行一遍，看下时间。32 文档版本信息：20191209 RAPIDS加速机器学习 使 用容器服 务 A CK部署 RAPIDS环境 这里看到使用 CPU时，运行时间是 15min 7s，而使用 GPU时，时间是 35.9s,加速 效果十分明显。注意：这里另个...
高性能数据库ECS测试及选型
概述 客户自建高性能数据库（如电商大促）在做ECS选型时，对磁盘的IO、网络的吞吐都有很大要求，为了跟接近真实业务场景，使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景 自建数据库性能测试 磁盘性能测试 ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 基于标准的TPC-C测试，接近真实业务场景。 提供多规格实例测试，快速选择最优性价比实例。
购买和创建 ECS实例的步 骤这里不再缀述 步骤2 安装 FIO 步骤3 创建数据盘挂载点 这里的测试数据盘目录挂载到输盘的/data目录下 文档版本：20201104 34 高性能数据库 ECS测试及选型 FIO测试 步骤4 单 job进行 FIO顺序读写测试 顺序读写测试主要关注的性能指标为磁盘的吞吐量带宽 1.单 job顺序读 测试命令：fio-name=test-...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
以上步 骤中，涉及与 OSS对象服务的交互都能通过阿里云提供的 OSS服务接口实现。现 OSS对象存储服务中已经有阿里巴巴股票历史数据，存放于对应的目录：下载历史数据：./ossutil64 cp-rf oss:/ehpc-cluster-data/backtest/alibaba 上传回测结果：./ossutil64 cp-rf backtest.out oss:/ehpc-cluster-data/output/2.9.监控告警...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
步骤5 查看实例#ecluster ls 步骤6 启动实例#ecluster start task0.fastgpu-gtc-demo 步骤7 登录实例#ecluster tmux task0.fastgpu-gtc-demo 20 FastGPU极速 AI推理 运行 GTC Demo 步骤8 启动作业#cd GTC#conda activate torch_1.3_cu10.0_py36#./run-perseus.sh 最后输出训练时间是 19s.步骤9 退出实例 21 FastGPU极速 AI...
云速搭CADT部署VMware服务
本方案适用客户云下使用VMware环境，在云上希望继续使用VMware环境，包括业务维护和扩容等，不希望改变云上使用环境。
数据中心扩容：业务扩容遇到机器过保、机 房空间限限制等情况，不希望一次性高昂的 产品列表 基础资源投入。专用网络 VPC 上云迁移场景：客户不想继续维护本地 云服务器 ECS VMware数据中心，实现整体 VMware数据 云速搭 CADT 中心迁移上云。弹性公网 IP VMware服务 ACVS 云企业网 CEN 最佳实践频道 阿里云最佳实践技术分享...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
160 文档版本 V1.1 版本日期 2020-04-09 文档状态 外部发布 制作人 衾影 审阅人 无 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-03-31 明誉 无 创建 V1.1 2020-04-09 筱晖 明誉 文档工程师优化 最佳实践频道 阿里云最佳实践分享群 如二维码过期，请搜索群号：31852400 文档版本：20200409 I Spark on ECI大数据...
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 混合云数据库统一管理最佳实践 文档编号 151 文档版本 V1.0 版本日期 2020-12-24 文档状态-制作人 久诚 审阅人 敬海 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-12-24 久诚 敬海 创建 文档版本：20201224（发布日期）I 混合云数据库统一管理 前言 前言...
跨境电商AI一体化解决方案-阿里云
跨境电商AI一体化解决方案基于阿里巴巴多年跨境行业实践经验，基于阿里云业界领先的大数据及人工智能的能力，为跨境行业客户提供图像搜索、素材变换、视频生产、语言翻译、商品推荐搜索等一站式解决方案，帮助跨境业务降本增效，助力跨境电商扬帆远航。
解决方案模板页-步骤条.邬雨杰,靖鑫,也树.邬雨杰,靖鑫,也树.邬雨杰,靖鑫,也树.向阿里云提交方案详情咨询.售前技术专家对接，评估需求.需求沟通明确，阿里云架构师及专业服务团队为您定制解决方案.为您的解决方案配置专属服务团队进一步洽谈合作.频道页一级标题组件.谢赟辉,靖鑫,也树.唐家哲,靖鑫,也树.根据您提交的需求，将...
来自：
解决方案
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤1 按照章节 6.1.1的步骤，将 JindoFS的存储空间模式变更为块存储模式，按照如下规 划更改之后，执行 Bigboot配置保存、Bigboot部署客户端配置、重启所有 SmartData 组件等操作生效。Key Value jfs.namespaces.emr_hangzhou_jindo.uri oss:/emr-hz-jfs-bucket/block_mode/jfs.namespaces.emr_hangzhou_jindo.mode block ...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
Serverless服务化改造 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 新零售商超基于 Serverless服务化改造 文档编号 212 文档版本 V1.0 版本日期 2021-05-28 文档状态 对外发布 制作人 七凌、墨飏、洛浩、旻苍 审阅人 天裵 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-05-28 七凌、墨飏、洛浩、旻苍...
搭建高性能ACK集群
场景描述 容器的网络协议栈实现方式，导致容器之间的网 络性能，相比服务器之间直接通信方式，会有一 定程度的下降。阿里云托管版的K8S容器服务， 支持自研的Terway网络插件，该插件可以有效 减少因容器而引入的网络性能下降，可以基本达 到服务器之间直接通信的网络性能。本最佳实践 主要是一个性能测试方面的实践，指导客户进行 POC测试等。 解决问题 1.POD之间网络性能提升。 2.性能测试方法 产品列表 阿里云托管K8S ACK
本节仅以标准 ACK集群 cluster-standard中的一个 pod为例，详细描述安装操作步 骤。标准 ACK集群 cluster-standard中的另一个 pod和其他两个集群的各两个 pod，按照同样的方式安装即可。操作步骤 步骤1 进入 deploy-standard应用的容器组的 docker终端。（具体操作请参见 5.1.1章节）步骤2 在 docker的命令行终端，运行以下...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
DataWorks支持多种计算和存储引擎服务，包括离线计算MaxCompute、开源大数 据引擎E-MapReduce、实时计算（基于Flink）、机器学习PAI、图计算服务Graph Compute和交互式分析服务等，并且支持用户自定义接入计算和存储服务。DataWorks为您提供全链路智能大数据及AI开发和治理服务.通过DataWorks，可以对数据进行传输、转换和...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
文本信息 属性 内容 文档名称 Spring Cloud Netflix应用迁移 EDAS最佳实践 文档编号 149 文档版本 V1.1 版本日期 2020-01-06 文档状态-制作人 久诚 审阅人 游圣，敬海 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-01-03 久诚 游圣，敬海 创建 V1.1 2020-01-06 筱晖-文档优化 文档版本：20200106 I Spring Cloud...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
六稻，阿瑟 制作人 审阅人 扬流 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-02-05 毕役-创建 V1.1 2021-02-07 厉博 孟硕 修改 增加产品特性，更新初始 扬流 V1.2 2024-04-22 六稻，阿瑟 化CADT模版 I 文档版本：20240422基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测 目录 目录 文档版本信息.I 法律声明...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
172.20.1.153:8888 Port:dask 8787/TCP TargetPort:8787/TCP NodePort:dask 32049/TCP Endpoints:172.20.1.153:8787 Port:dask1 8786/TCP TargetPort:8786/TCP NodePort:dask1 31121/TCP Endpoints:172.20.1.153:8786 Session Affinity:None External Traffic Policy:Cluster Events:步骤7 打开浏览器，输入 http://{SLB...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
关于 ODPS SQL 的详细介绍，请参考：MaxCompute>开发>SQL 及函数（https://help.aliyun.com/document_detail/27860.html）步骤2 创建 MaxCompute中间表 hbase_intermediate_table_job99_ip_statics 由于目前 MaxCompute还不支持外部表关联到 Hbase表的方式，因此我们需要将步 骤 1的 ODPS SQL执行结果保存到中间表 hbase_...
- 产品推荐
- 这些文档可能帮助您