基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
<em>基于</em>湖仓一体<em>架构</em>使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
业务架构基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测 最佳实践概述 方案架构 方案优势 兼顾数据湖的灵活性和云数据仓库的成长性 MaxCompute与EMR集群通过PrivateAccess网络连通,低延迟高带宽。数据湖中的Hive元数据映射为MaxCompute的外部项目,元数据由DLF统一管理,无需人 工干预。基于DataWorks强大的数据开发/...
来自: 最佳实践 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
微服务中心解决方案
注册中心和配置中心是 Dubbo 和 Spring Cloud 微服务架构中的重要组件,往往采用 ZooKeeper/Nacos/Eureka/Apollo 等开源方案进行自建,但因其依赖复杂,往往给客户带来的较高的建设和运维成本,同时,在 Hbase、Spark或Kafka 等大数据的环境下,会依赖 ZooKeeper 进行分布式系统的协调,此时,基于云上的托管服务,可以极大的降低运维复杂度,并提高应用可用性。
企业级分布式应用服务 EDAS.EDAS是一个应用托管和微服务管理的 PaaS 平台,同时支持 Spring Cloud、Apache Dubbo 等微服务运行环境,EDAS 3.0 已发布,目前最高降价50%.应用实时监控服务 ARMS.ARMS一款应用性能管理产品,包含前端监控,应用监控和Prometheus监控三大子产品,涵盖了浏览器,小程序,APP,分布式应用和容器...
来自: 解决方案
应用实时监控服务ARMS
作为云原生可观测平台,应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率,压降运维工作量。
覆盖分布式、微服务应用架构与容器、Serverless 等部署环境,对服务调用、系统负载等进行监控与调用链分析,全面洞察与优化应用性能.日志服务每月100GB 仅需98.99元/年.立即开通(每月 50GB 免费额度).51A_首页banner.产品详情页二级页面锚点导航.唐家哲,靖鑫,也树.应用实时监控服务ARMS.应用监控 eBPF 版.可观测链路 ...
来自: 云产品
SpringCloud应用托管到ACK服务
SpringCloud<em>应用</em>托管到ACK<em>服务</em>
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中,创建容器服务ACK后, 利用Helm一键部署SpringCloud应用,将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
SpringCloud应用托管到 ACK服务 最佳实践 部署架构图 场景描述 本实践适用将 SpringCloud应用托管到 ACK 服务的场景中,创建容器服务 ACK后,利用 Helm 一键部署 SpringCloud应用,将 SpringCloud 托管到容器服务 ACK。解决问题 将 SpringCloud应用托管到容器服务 ACK 产品列表 容器服务 ACK 云服务器 ECS 云速搭 ...
来自: 最佳实践 | 相关产品:容器服务 ACK
MSE网关使用JWT进行认证鉴权
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务,通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景,对于敏感的服务路由(可通过黑白名单方式配置)在网关层进行认证鉴权。
部署过程大概需要 3分钟左右,完成部署后的应用架构图如下所示:文档版本:20240402 5 MSE网关使用 JWT实现认证鉴权 部署基础环境 步骤7 部署完成后,可以通过 CADT架构图跳转到对应云产品的控制台。在架构图上双击对 的产品组件,在下方弹出的资源清单中,点击“前往控制台”链接,即可跳转到对 产品的控制台详情页面 ...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎
基于k8s多集群隔离环境下的devops实现
<em>基于</em>k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称,并通过工具实现自动化部署, 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起,devops重要性日益显著。 本方案使用两个独立的k8s集群: 用户已有的k8s模拟测试,ack集群模 拟生产环境,保证环境的高度隔离,互 不影响。通过gitlab+Jenkins的黄金组 合,实现容器应用的自动化构建和持续 部署,提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
文档版本:20220121 3 基于 K8S多集群隔离环境下的 DevOps实现 准备工作 步骤2 通过搜索关键字找到“基于 k8s多集群隔离环境下的 devops实现”模板,单击 于应用新建。步骤3 重设 ECS登录密码:文档版本:20220121 4 基于 K8S多集群隔离环境下的 DevOps实现 准备工作 步骤4 重设 ACK托管版集群 worker实例登录密码:步骤5...
来自: 最佳实践 | 相关产品:专有网络 VPC,弹性公网IP,容器服务 ACK,容器镜像服务 ACR
云消息队列 Confluent 版
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作,基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务,旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案。
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作,基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务,旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案.云消息队列 Confluent 版正式发布!云消息队列 Confluent 版正式发布!立即购买(新用户首月1折).谢...
来自: 云产品
大模型RAG对话系统部署
大模型RAG对话系统部署
大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
步骤2 搜索关键字,找到“大模型 RAG对话系统”,单击基于应用新建。文档版本:20240131 2 大模型 RAG对话系统部署 部署基础环境 步骤3 默认情况下,ES、Hologres、ADB PG均跳过部署,本章节向量数据库选择 ES,因 此双击 ES图标,关闭跳过部署 步骤4 修改 ES的登录密码 文档版本:20240131 3 大模型 RAG对话系统部署 部署...
来自: 最佳实践 | 相关产品:Elasticsearch,机器学习PAI-EAS,机器学习平台,云速搭
微服务应用问题定位及故障演练
<em>微服务应用</em>问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署, 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮, 容器编排配置是否合理, 以及节点故障引 发的问题等, 方案通过 AHAS 故障注入模拟生 产环境产生的故障, 通过 ARMS 及时发现问题、 定位问题, 并结合 ARMS 的告警功能快速发现 并解决问题。  发现调用下游一个服务实例出现异常。  发现业务 Pod 故障, 验证业务的稳定性。  发现调用数据库延迟故障, 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表  应用高可用服务 AHAS  性能测试 PTS  应用实时监控服务 ARMS  容器服务 kubernetes 版  负载均衡 SLB  专有网络 VPC  日志服务 SLS
文档版本:20220331 63 微服务应用问题定位及故障演练 问题定位及故障模拟 步骤21 为了提升应用的高可用,可以采取对下游应用进行隔离的方案(这个方案可以参考《 服务应用线上流量防护》最佳实践)。在本方案中如果下游 POD故障,比如我们模拟 的网络延时,我们也可以采用对下游应用进行扩容,来避免上游应用响应过程的...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭
IPv4网关实现流量统一出入口
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制,禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
步骤2 搜索关键字,找到“IPv4网关实现流量统一出入口”,单击基于应用新建。文档版本:20240131 2 大模型 RAG对话系统部署 部署基础环境 步骤3 双击 ECS的图标,修改 ECS的登录密码 步骤4 单击右上角的保存按钮,填好自定义应用名称,单击确认。文档版本:20240131 3 大模型 RAG对话系统部署 部署基础环境 步骤5 单击部署...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,云速搭
金融分布式架构SOFAStack
阿里云金融分布式架构SOFAStack为金融用户提供全栈式的基础架构能力,是集项目管理、微服务开发、发布部署、监控运维、容灾高可用等全栈式解决方案,助力客户应用轻松转型分布式架构,保证风险安全的同时帮助业务需求敏捷迭代,支撑金融业务创新,开发人员学习成本最多可降低92%、应用开发效率可最多提升80%、运维人力成本最多可节省90%
既能借助蚂蚁金久经考验的微服务框架 SOFA 在云上构建微服务应用,也可以支持原生 Dubbo 和 Spring Cloud 上云,无需构建 ZooKeeper,Eureka,Consul 等微服务依赖的自建服务,极大降低运维成本.业务应用系统通过 Service Mesh技术架构轻量级接入,实现对应用无侵入的服务注册与服务治理方案,减少改造成本。同时,该方案...
来自: 云产品
Serverless 应用引擎SAE
Serverless 应用引擎 SAE(Serverless App Engine)是一款零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 让您免运维 IaaS和 K8s,秒级完成从源代码/代码包/ Docker 镜像部署任何语言的在线应用(如 Web /微服务 /Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载均衡等配套能力。
通过 SAE 帮用户屏蔽底层 IaaS 购买和运维细节,屏蔽底层镜像仓库和 Kubernetes 细节,低门槛通过 WAR/JAR 方式部署微服务应用,大幅提升运维效率,让企业聚焦核心业务本身.应用环境随需灵活启停,节省成本.企业应用通常都有多套环境,除线上环境外,其它环境闲置率高,但重新搭建一套环境的成本也高。SAE 提供了一键启停...
来自: 云产品
Serverless 微服务应用上云解决方案
Serverless微服务应用上云解决方案是专门针对于把线下的微服务迁移到云端,或在云上进行微服务化改造的企业量身定制。当上云不再是一个选择题的时候,以什么方式来上云就成为了我们关心的话题。以单体方式上云、微服务上云,还是直接在云上进行容器化改造,这取决于企业技术栈的演进路线和所处阶段,希望我们可以为您提供一些帮助。
阿里云Serverless微服务应用上云解决...如何借助 serverless 技术在云上部署微服务应用.从环境准备、应用创建、应用管理到弹性规则配置,一步步演示如何上云.微服务改造客户案例.在线教育客户 Timing App借助 SAE 高效完成微服务云上改造.根据您提交的需求,将有售前专家免费服务!根据您提交的需求,将有售前专家免费服务!
来自: 解决方案
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地数据中心<em>基于</em>SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
本地数据中心基于 SMB/NFS协议访问对象存储 最佳实践 业务架构 场景描述 本地数据中心在本地存储有限的情况下可以 于云存储网关搭建一个海量文件系统的文件存 储服务,实现多个数据中心互相之间高效的同步 和共享数据。云存储网关以对象存储 OSS为后 端存储,为云上和云下应用提供业界标准的文件 服务(NFS和 SMB)和块...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
Spring Cloud Netflix应用迁移EDAS
Spring Cloud Netflix<em>应用</em>迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务(SpringCloud Alibaba云版本)的方法, 迁移后充分利用阿里云监控、调用链、限流降级 等能力,优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务(EDAS)平台。 2.迁移到EDAS后,简化应用的运维,提升监 控、调用链探测、限流降级等管理能力,提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务(EDAS) 负载均衡(SLB) 专有网络(VPC) 云服务器(ECS)
本章的目的是为了介绍如何在线下部署 PiggyMetrics应用,从而模拟一个真实的微服 应用。其中,2.2节介绍构建 PiggyMetrics的开发环境,因为迁移过程需要修改程序配置。2.3节介绍部署云资源 VPC,ECS。2.4节介绍部署微服务应用依赖的 RabbitMQ消息队列。2.5节介绍部署微服务应用依赖的 MongoDB数据库。2.6节介绍修改应用...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,企业级分布式应用服务 EDAS
综合能源服务平台解决方案
阿里云综合能源服务平台解决方案以“厚平台、微应用”方式构建面向竞争性综合能源服务的业务中台,快速构建节电节能、电力需求侧、电务、能效管理、储能、微网一体化和能源电力交易等生态化应用。
电能服务商/节能服务机构基于阿里云平台为服务的用能企业提供包括数据采集、监测诊断、能分析和优化能服务 同时提供节能项目集中管理及电力需求侧管理(含需求响应)等服务.节能服务云技术架构.节能服务云技术架构 1、应用层由各类业务应用组成,例如客户服务、运营分析、诊断分析、能优化等。为各类节能服务应用提供...
来自: 解决方案
发布服务
移动发布服务,源于阿里云移动开发平台。移动发布服务为移动应用提供版本升级包、热修复包的动态发布与管理能力。更可借助白名单进行灰度发布,自定义高级过滤规则如指定机型、人群从而进行更精准的定向发布。让 App 开发如积木搭建般轻松,业务动态更新、代码多端运行、摆脱发版制约。
提供统一的系统内核,互投在基于 mPaaS 架构的任何应用上,兼容稳定性显著提升.通用icon文字列表.组件接入问题咨询>>.解决方案模板页-步骤条.邬雨杰,靖鑫,也树.邬雨杰,靖鑫,也树.邬雨杰,靖鑫,也树.开通 mPaaS,创建 mPaaS App,并下载配置.在 mPaaS 插件中打包生成发布包,上传到发布控制台.根据不同的发布策略进行灰度发布...
来自: 云产品
微服务引擎的线上流量治理
<em>微服务</em>引擎的线上流量治理
随着业务不断创新,微服务架构及数字化转型不断落地,在这个过程中,大量企业采用了开源的组件构建了微服务,比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等,微服务的好处之一,在于快速迭代,如何在迭代过程中保障线上流量不受损? 开源产品无运维工具,常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架,实现业务零改造,解决开源框架在生产落地过程中的痛点,例如无损上下线、标签路由等,并通过托管微服务开源组件(API网关、注册中心、配置中心等)的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助企业释放业务无关的运维成本,聚焦业务本身的运维和发展。 方案优势 快速集成:通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维:托管微服务依赖开源中间件的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助我们客户释放业务无关的运维成本,聚焦自身业务本身的运维和发展。 开源增强:提供开源框架在生产落地过程中的痛点,例如应用无损上下线/金丝雀发布/南北+东西流量打通等,帮助客户的业务提高自身SLA和降低自研成本。
本实践将重点介绍如何快速集成主流开源微服 框架,实现业务零改造,解决开源框架在生产 落地过程中的痛点,例如无损上下线、标签路由 等,并通过托管微服务开源组件(API网关、注 册中心、配置中心等)的服务,提供白屏化监控 告警、容灾、宕机重启、扩缩容等能力,帮助企 业释放业务无关的运维成本,聚焦业务本身的运 ...
来自: 最佳实践 | 相关产品:容器服务 ACK,微服务引擎,云速搭CADT
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK(容器服务Kubernetes版,简称ACK)支持企业级K8s容器化应用的全生命周期管理,提供高性能可伸缩的容器应用管理能力,助力企业高效运行云端K8s容器化应用。
微服务×容器Meetup成都站-云原生架构与应用专场PPT合辑微服务 x 容器开源开发者 Meetup 是由阿里云云原生应用平台打造的,面向一线开发者的技术交流活动,整体聚焦容器&微服务方向,旨在通过热门的开源技术、云原生在企业的应用实践案例、架构设计思维等,帮助开发者学习云原生技术、交流实践中的问题和痛点,推进云原生...
来自: 云产品
基于ECI、RI和EIP降成本方案
<em>基于</em>ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上, 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景,特别是无状态服务、 易于容器化的场景,基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI, 可以灵活的抵扣相关资源费用;弹性容器实 例ECI,在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例,使用 ECI+RI+EIP的组合方式,通过RI抵扣计 算资源费用,按量支付流量费用,旨在能够 帮助客户快速验证云上服务,有效控制云上 资源成本。 方案优势 1.使用RI,可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境,更加 灵活、低成本,提高资源使用率。 3.ECI+RI+EIP的组合方式,资源使用率 高,通过RI抵扣计算资源费用,按量 支付流量费用,能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
3.方便构建基于 SOA架构微服务架构的系统,通过服务编排,更好的松耦合。4.节约成本,一个虚拟机至少需要几个 G的磁盘空间,docker容器可以减少到 MB 级。5.方便持续集成,通过与代码进行关联使持续集成非常方便。6.可以作为集群系统的轻量主机或节点,在 IaaS平台上,已经出现了 CaaS,通过 容器替代原来的主机。3.2....
来自: 最佳实践 | 相关产品:弹性公网IP,容器镜像服务 ACR,弹性容器实例 ECI,预留实例券
< 1 2 3 4 ... 20 >
共有20页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用