Spark on ECI大数据分析
Spark on ECI大<em>数据</em>分析
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS:阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务,允许用户像在 Hadoop分布式文件系统中管理和访问 ,无需对数据分析应用做...
来自: 最佳实践 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
Oracle RAC 12C云上部署
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
2.在集群环境运行中的所有实例通过共享 的数据库运行事物,RAC架构相对上层 应用架构完全透明,整体数据负载流量 可以在集群中尽可能平均合理地分摊处 理,无资源闲置,保护用户原有资产的 同时提升资源利用率。3.RAC集群架构,具有高伸缩能力和自动 负载均衡等特性,当负载增加时可以通 过增加节点来提高处理能力和吞吐量...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
大模型RAG对话系统部署
大模型RAG对话系统部署
大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
兼容 Greenplum开源 仓库,MPP全并行架构,广泛兼容 PostgreSQL/Oracle的语法生态,新一代向 量引擎性能超越传统数据库引擎 10倍以上,分布式 SQL优化器实现复杂查询语 句免调优。实现了对海量数据的即席查询分析、ETL 处理及可视化探索,是各行 业有竞争力的云上数据仓库解决方案。Hologres是一站式实时数据仓库引擎,...
来自: 最佳实践 | 相关产品:Elasticsearch,机器学习PAI-EAS,机器学习平台,云速搭
基于弹性供应组构建大数据分析集群
基于弹性供应组构建大<em>数据</em>分析集群
场景描述 基于弹性供应组(APG)搭建spark计算集 群,提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用spot实例 交付,最高可省90%成本。 2.稳定可靠:跨可用域、跨实例规格, 降低spot被集体释放的风险;自动托 管,分钟级巡检,动态保证集群的算 力。 3.快速交付:单次可在5分钟内交付 2000个实例。 4.多策略组合:可分别指定spot和按量 实例的交付策略,以及差额补足的策 略,包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一,无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张,无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
基于弹性供应组构建大数据分析集群最佳实践 业务架构 场景描述 基于弹性供应组(APG)搭建 spark计算集 群,提供一键开启跨售卖方式、跨可用区、跨实例规格的计算集群交付模式的实践。方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用 spot实例 交付,最高可省 90%成本。2.稳定可靠:跨可用域、跨实例...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
价格清单中的价格信息为当时的实时价格,具体产品价格请以页面显示为准。如果确认价格符合预期,可以单击下一步:确认订单。包年包月价格清单:按量付费价格清单 文档版本:20240204 13 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 CADT部署环境 步骤18 确认无误后,点击部署。下面提示主要是方案中涉及到的 ACR...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
实人认证
阿里云实人认证是为企业或个人身份提供相关信息核验服务的身份验证平台,采用活体检测、人脸识别、权威信息核验等技术,为客户提供安全、便捷的身份认证服务。
具体接入步骤,请参见PC或移动端H5网页接入。由于微信运营审核要求,微信小程序内不支持第三方认证插件.Q:金融级实人认证业务策略限制不通过,报错206?A:为保证认证的安全性,会对认证的设备、身份、人脸等环境进行安全检测,若检测到可能存在风险会判定认证结果不通过,则返回Subcode为206。您可以按照如下方法排查处理...
来自: 云产品
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具,大幅提升数据分析和报表开发效率,一站式满足企业各种场景的数据分析和决策的诉求。
产品功能个人版高级版专业版数据分析仪表板支持支持支持即席分析不支持不支持支持模板市场支持查看所有模块支持查看所有模块,应用已购模块支持查看及应用所有模块电子表格不支持单独购买支持数据大屏不支持单独购买赠送基础容量,可按需增购数据应用企业门户不支持支持支持订阅推送(邮件)不支持支持支持自助取不支持...
来自: 云产品
Alibaba Cloud Linux
Alibaba Cloud Linux 是阿里云打造的 Linux 服务器操作系统发行版。为云上应用程序提供 Linux 社区的增强功能,同时通过引入更完善的发行版质量体系,确保产品品质,提供云上最佳用户体验。
2023-11-15云原生机密计算最佳实践白皮书随着数据资源开放共享和数据安全威胁的增加,隐私保护云计算成为数据处理的新范式,而机密计算是实现隐私保护云计算的关键核心技术之一。我们将云原生机密计算 SIG 的技术和解决方案的沉淀做了整理汇总,挑选其中精华的内容形成了《云原生机密计算最佳实践白皮书》,为用户提供开箱...
来自: 云产品
Flink+Hologres搭建实时数仓
Flink+Hologres搭建实时数仓解决方案将Hologres与Flink深度集成,提供一体化的实时数仓联合解决方案,实现了数仓分层之间实时数据的高效流动,解决实时数仓分层问题。
具体价格与您选择的资源规格、数据量、运行时长等有关,请以控制台显示的实际报价以及最终账单为准)方案部署一步步跟随方案教程,带你快速上手,进行方案部署。方案介绍Flink+Hologres搭建实时数仓通过Flink将数据源写入Hologres,形成ODS层。Flink订阅ODS层的Binlog进行加工,形成DWD层再次写入Hologres。Flink订阅DWD层...
来自: 解决方案
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案,帮助您免除MySQL运维的烦恼。
《云数据库运维实战手册》是由阿里云开发者社区联合阿里云数据库团队共同打造,包含25个数据运维常见问题解决攻略,涉及 RDS MySQL、RDS PostgreSQL、Redis,在性能问题、巡检维护、运维实战等具体问题均有解读。一本在手,云数据运维出现问题不再有后顾之忧!进入问答专区,与开发者讨论 RDS MySQL 访问瑶池数据库社区,和...
来自: 云产品
向量检索服务
向量检索服务基于阿里云自研的向量引擎 Proxima 内核,提供具备水平拓展、全托管、云原生的高效向量检索服务。向量检索服务将强大的向量管理、查询等能力,通过简洁易用的 SDK/API 接口透出,方便在大模型知识库搭建、多模态AI搜索等多种应用场景上集成。
依据不同数据维度和分布选择不同算法或算法组合,根据具体场景需求实现精度和性能之间的平衡.多维度高精度.通过与分布式调度引擎的结合离线数据检索和训练,实现在有限成本下获得最大化性能并满足业务需求.高性能低成本.引入复合检索算法,精于工程实现和算法优化,低成本实现高效率的检索方法,单片索引可达几十亿的规模....
来自: 云产品
计算巢服务
阿里云计算巢服务是一个面向ISV、SI、MSP和开发者的云集成PaaS平台,方便服务商更好的将产品、服务集成,借助云原生的能力提升软件服务交付、部署及后续管理。
服务商在计算巢创建服务(可理解为云资源、软件编排后的集合)并发布上线后,用户便可通过此服务创建服务实例(基于计算巢服务创建的服务实体)以获取具体服务内容,即商家创建服务,用户通过商家发布的服务创建服务实例。服务商创建服务,最重要的是撰写Ros(资源编排)模板。对于大部分场景,模板中均涉及Ecs规格、可用区...
来自: 云产品
MRACC加速倚天ECS实例Flink集群性能
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计:利用阿里云官方架构设计模版,在此基础上二次定制(调整规格、资源数量、配置调整)。 快速完成PoC和生产环境的设计和部署
数据框架,能显著提升数据湖及数据仓库性能。配合资源管理工具 FastMR 快 速构建大数据计算集群,全面提升研发效率。文档版本:20230801 4 倚天ECS实例加速Flink运行 最佳实践概述 VPC:Virtual Private Cloud,简称 VPC。基于阿里云创建的自定义私有网络,不同的专有网络之间二层逻辑隔离,可以在自己创建的专有网络内创建...
来自: 最佳实践 | 相关产品:云服务器ECS,云速搭
互联网业务全球化互通组网
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户,希望借助全球 互通的网络,实现多地域的互通。 同时在全球互联的网络下,搭建应用多地部署。如果 业务中涉及到高速通道,提供高速通道迁移云企业网 的操作演练;涉及到跨账号多VPC下的数据迁移和 同步,本方案提供详细的操作步骤,帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通,特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网(CEN)、云服务器(ECS)、数据库(RDS)、 数据库(Redis)、数据传输(DTS)、负载均衡(SLB) 块存储、专有网络(VPC)
制作人 阿瑟、明誉 审阅人 云护、江柳 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-05-07 阿瑟、明誉 云护 创建 V1.1 2019-07-25 阿瑟-更新模版 V1.2 2019-11-04 阿瑟 江柳 增加跨账号多VPC的 同步 V1.3 2019-11-13 筱晖-文档优化 V1.4 2019-12-17 阿瑟 增加概览页 文档版本:20191217 I 互联网业务全球化...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,云企业网
小型互联网迁移阿里云
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业,从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节, 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器(ECS)、迁云工具(SMC)、数据库 (RDS)、数据库(Redis)、数据传输(DTS)、 负载均衡(SLB)、专有络(VPC)等
如果 binlog没有打开,那么需要修改源 库配置文件中的 log_bin,开启二进制日志 log_bin=mysql_bin。配置完成后重启源 数据库,参考 MySQL,重新进行预检查。访问数据库:mysql-h-P 3306-u admin-p 输入密码:show global variables like"log_bin;文档日期:20200114 30 小型互联网迁移上阿里云最佳实践 数据迁移准备 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS
自建ElasticSearch迁移阿里云
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
数据高可用和灾备需求,将 ElasticSearch中存储的索引 ,备份至阿里云 OSS的存储空间,同时备份数据流基于 IPSec VPN/专线进行安 全传输。使用者可以进一步将保存在 OSS存储空间中的快照,恢复到自建 ElasticSearch服务器或者阿里云的 ElasticSearch实例。名词解释 云速搭 CADT:是一款为上云应用提供自助式云架构...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
混合云HBR云上备份VMware虚拟机
混合云HBR云上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案,可以为任何位置的客户虚拟机和数 据提供强有力的保护,包括企业数据中心、远程和分 支机构以及云上资源;支持加密、压缩、重删,保证 数据快速、安全、高效地备份到云上,本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
混合云HBR云上备份VMware虚拟机 最佳实践 业务架构图 场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案,可以为任何位置的客户虚拟机和数 提供强有力的保护,包括企业数据中心、远程和分 支机构以及云上资源;支持加密、压缩、重删,保证 数据快速、安全、高效地备份到云上,本文重点介绍 混合云下...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙),混合云备份
云管对接实现已有节点加入ACK集群
云管对接实现已有节点加入ACK集群
企业内部伴随着业务量增加,对 ACK 集群扩容属于高频操作,部分企业有一些特殊的 要求,例如节点规格需要灵活指定,系统需要重新初始化从而符合企业内部规范等。 直接通过节点池扩容显得不够灵活,例如缺少库存校验等能力,扩容有可能失败,扩 容完成后需要手动修改节点的配置,自动化程度较低,增加了运维人员的负担。
文档版本:20221122 4 云管对接实现已有节点加入 ACK集群 创建 ACK集群 步骤3 将保存的应用另存为模板 文档版本:20221122 5 云管对接实现已有节点加入 ACK集群 创建 ACK集群 步骤4 编辑模板,定义传参变量 步骤5 模板中只需要对实例自定义数据指定为变量,其余参数也可以自行决定是否需要定义 为变量。文档版本:20221122 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,容器服务 ACK,云速搭CADT
云速搭自定义扩容ACK集群
云速搭自定义扩容ACK集群
本实践借助云速搭 CADT,针对ACK集群自定义扩容场景,以“CADT控制台”和“CADT API”两种不同的实现方式进行演示。
cadt 命令验证,首次使用将需要输入阿里云账号 AK,输入 ak后将保存在当前目录“.cadt.config”文件中(请注意 AK所处环境的安全性,避免 泄露)cadt-help 输入 AK 后,再次执行 cadt-help 可以查看具体的命令。文档版本:20220818 33 云速搭自定义扩容 ACK集群 通过云速搭 CADT API进行 ACK扩容 2.3.通过 CADT API进行 ACK...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,容器服务 ACK,云速搭CADT
SAP S/4HANA上云最佳实践
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型,阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
步骤2 校验成功后,单击下一步:价格清单,查看具体价格。文档版本:20211202 15 CADT部署S/4HANA架构 SAP S/4HANA上云最佳实践 步骤3 检查各资源的价格情况,确认无误后,单击下一步:确认订单,进入最终价格核对环 节,注意这里点确认下单并不会进行支付。步骤4 确认订单阶段,需要再次确认核对价格,确认无误后单击下...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关,云企业网,VPN网关
< 1 2 3 4 ... 12 >
共有12页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用