通过PAI-灵骏分布式训练和部署Llama 2模型
灵骏支持业界各类流行的开源大语言模型，包括Llama2系列、Bloom系列、Falcon系列、GLM/ChatGLM系列，以及领域大模型galactica等的高效训练和部署。本方案整体可用于企业样本标注、创意文本生成、智能对话助手、文本类创作辅助等场景。
用户在规划好网络和资源、完成资源部署后，可通过Huggingface 或 ModelScope等社区渠道下载Llama2模型，并可在灵骏智算平台的DSW实例中，完成准备预训练数据准备；训练阶段提供多种方案，保障模型效果的同时，提升大模型分布式训练效率；训练所获得的模型可上传至对象存储OSS，并且能够便捷地在PAI-EAS平台部署大模型推理...
来自：
技术解决方案
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。 云工作流（CloudFlow）：是一个用来协调多个分布式任务执行的全托管云服务。在云工作 流中，您可以用顺序、分支、并行等方式来编排分布式...
云原生数据库 PolarDB
阿里云云原生数据库 PolarDB是一款超级MySQL和PostgreSQL分布式云原生数据库，100%兼容MySQL和PostgreSQL，高度兼容Oracle，无论是集中式部署还是分布式架构，都能轻松融入现有系统，助力企业轻松数据迁移上云。
上云后，欧派不仅享受到了云计算时代所带来的高效算力优势，也通过PolarDB卓越的多读架构和计算能力，实现了部分SQL执行速度比Oracle快3至5倍的效果，并大幅提升了整体业务效率。PolarDB PostgreSQL版了解更多立即体验，在阿里云创造未来立即领用云产品，开启云上实践之旅，提供80多款免费云产品，帮你创造未来免费试用想...
来自：
云产品
MaxFrame
MaxFrame 是由阿里云自研的分布式计算框架，支持 Python 编程接口并可直接使用 MaxCompute 计算资源及数据接口，同时与 MaxCompute Notebook、镜像管理等功能共同构成了 MaxCompute 完整的 Python 开发生态。用户可以以更熟悉、高效的方式进行大规模数据处理、可视化数据分析及科学计算、ML/AI 开发等工作。
云原生大数据计算服务 MaxCompute 分布式计算框架 MaxCompute MaxFrame MaxCompute MaxFrame（简称“MaxFrame”）是阿里云自研分布式计算框架，支持 Python 编程接口并可直接使用云原生大数据计算服务 MaxCompute 计算资源及数据接口，与 MaxCompute Notebook、镜像管理等功能共同构成 MaxCompute 完整 Python 开发生态，...
来自：
云产品
云原生数据库PolarDB 分布式版
PolarDB 分布式版是阿里云自主设计研发的高性能云原生分布式数据库产品，为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。
DRDS 支持云监控 查看详情 2019-05-24 新功能/规格 分布式关系型数据库服务 DRDS 提供 Parallel Query 并行计算能力 查看详情 2019-06-15 功能优化 分布式关系型数据库服务 DRDS 控制台操作流程体验优化 查看详情 2019-06-27 新功能/规格 分布式关系型数据库服务 DRDS 只读实例提供存储监控及数据库监控 查看详情 2019-07-...
来自：
云产品
云原生分布式数据库PolarDB-X
阿里云云原生分布式数据库PolarDB-X（原DRDS升级版），可解决分库分表、海量数据存储、超高并发吞吐、复杂计算效率等问题。最高可支撑千万级并发和百PB级海量存储。
DRDS 支持云监控 查看详情 2019-05-24 新功能/规格 分布式关系型数据库服务 DRDS 提供 Parallel Query 并行计算能力 查看详情 2019-06-15 功能优化 分布式关系型数据库服务 DRDS 控制台操作流程体验优化 查看详情 2019-06-27 新功能/规格 分布式关系型数据库服务 DRDS 只读实例提供存储监控及数据库监控 查看详情 2019-07-...
来自：
云产品
批量计算BCS
阿里云批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。可广泛应用于电影动画渲染、生物数据分析、多媒体转码、金融保险分析、科学计算等领域。
批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。可支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。广泛应用于电影动画渲染、生物数据分析、多媒体转码、金融保险分析、科学计算等领域.孙慧颖,靖鑫,也树.MySQL低至1折起，前往限时优惠活动！1元体验简单...
来自：
云产品
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
超级计算集群实现自然语言处理训练 最佳实践 部署架构图 场景描述 本方案适用于自然语言训练场景，使用神 龙GPU云服务器（SCCGN6）+CPFS进 行NLP的训练，采用Bert模型。这里不使 用容器，直接使用裸机进行NLP的Bert训 练，使用AIACC可以有效提升多机多卡的 训练效率。解决问题 使用神龙GPU云服务器搭建NLP训练 环境 ...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
开源 Flink迁移实时计算 Flink全托管版 最佳实践 业务架构 场景描述 解决的问题 Flink全托管产品（Flink Serverless）是一款基于 Flink各类任务如何迁移 Apache Flink 构建的全托管产品，为您提供全托 数据准确性如何校验 管一站式的实时计算服务，具有免运费、高增值、业务稳定性如何验证 低成本等特性。本方案介绍如何将...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
用户可以用顺序、分支、并行等方式来编排分布式任务，FnF 会按照设定好的顺序可靠地协调任务 执行，跟踪每个任务的状态转换，并在必要时执行用户定义的重试逻辑，以确保工 作流顺利完成。详见 https://cn.aliyun.com/product/fnf 日志服务（SLS）:行业领先的日志大数据解决方案，一站式提供数据收集、清洗、分析、可视化和...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
兼容 Greenplum开源数 据仓库，MPP全并行架构，广泛兼容 PostgreSQL/Oracle的语法生态，新一代向 量引擎性能超越传统数据库引擎 10倍以上，分布式 SQL优化器实现复杂查询语 句免调优。实现了对海量数据的即席查询分析、ETL 处理及可视化探索，是各行 业有竞争力的云上数据仓库解决方案。Hologres是一站式实时数据仓库引擎，...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
同时针对传统的企业级应用，因数据不断扩充，急需更强计算能力的在线 事务型数据库，DRDS 近两年在复杂 SQL 优化、并行计算、分布式事务等方面取 得重大进展，可以有效满足此类诉求。注意点：虽然 DRDS支持平滑扩容，但扩容的扩展性有一定的局限性，推荐创建 DRDS 数据库时要考虑未来 2-3年数据的增长预期，做好 RDS 数量...
DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks，承担集团99%数据业务构建。
阿里云一体化大数据智能计算平台ODPS（Open Data Platform and Service）入选世界互联网领先科技成果，10余年来持续迭代，提供了实时离线一体、流批一体、湖仓一体、大数据+AI一体的多场景能力，是业界少有的完全自主研发，支持10万级服务器并行计算、百万级CPU可扩展大数据智能计算平台。DataWorks作为ODPS统一开发治理...
来自：
云产品
云工作流
云工作流 CloudFlow 是一个用来协调多个分布式任务执行的全托管 Serverless 云服务，用户可以用顺序、分支、并行等方式来编排分布式任务，服务会按照设定好的顺序可靠地协调任务执行，跟踪每个任务的状态转换，并在必要时执行用户定义的重试逻辑，以确保工作流顺利完成。
将多个批量计算分布式作业串联或并行编排，同时支持执行时间长、并发量大的计算.根据任务依赖关系提交不同的规格批量计算作业，提升并行执行可靠性.数据处理流水线场景.可靠调度海量计算资源，个性化编排大数据处理任务.支持动态并行任务执行，实现数据处理能力的高可扩展性.提升运维效率和可靠性，流程进度可视化界面.自动...
来自：
云产品
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
设置全局的抢占式实例上限价格 供应组过期时是否关停供应组内实例 文档版本：20200619 37 基于弹性供应组构建大数据集群分析 Spark集群搭建 超过容量时是否关停供应组内实例 步骤7 确认创建后，弹性供应组会通过动态规划算法，根据您设定的购买量和策略，自动选 择最合适的资源，并持续维持目标算力。等待几分钟后，可以...
- 产品推荐
- 这些文档可能帮助您