基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
基于湖仓一体<em>架构</em>使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测 步骤6 释放执行耗时依赖云产品自身释放时长及架构图中资源量多少,请耐心等待。状态为 释放成功,资源已经完成释放。(如有异常根据提示操作后在执行释放即可)。基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测 5.附录A 5.1.MaxCompute和DLF属于同一个账号,需要...
来自: 最佳实践 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
云速搭部署云安全中心最佳实践
云速搭部署云安全中心最佳实践
本实践通过云速搭实现云安全中心的部署。
步骤8 双击安全组,修改安全组参数:安全组名称:自定义 安全组类型:普通安全组 安全组规则根据实际需要进行配置,本示例保持默认 文档版本:20211105 10 云速搭部署云安全中心 产品支持 步骤9 从左侧搜索框处找到云安全中心,并拖动到右侧架构图中(云安全中心属于全局资源,可以放到架构图中的任意位置),如下图所示。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云安全中心,云速搭CADT
云速搭快速部署CEN-TR最佳实践
云速搭快速部署CEN-TR最佳实践
本实践通过云速搭设计一个 CEN-TR 方案,创建 VPC、VSwitch、CEN、带宽包、企业版 TR和路由表等资源。
1.双击 CADT架构图中的 CEN实例,单击前往控制台,可直接进入 CEN控制台。文档版本:20220301 33 云速搭快速部署 CEN-TR最佳实践 通过 CADT设计部署应用 2.在 CEN实例基本信息页签下,可以看到两个转发路由器已经和 CEN进行绑定:3.打开带宽包管理页签,可以看到购买的 CEN-CHINA带宽包,需要在控制台分配带 宽。文档版本:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云企业网,云速搭CADT
云速搭部署风险识别SAF
云速搭部署风险识别SAF
通过云速搭 CADT 实现风险识别服务的部署,并可以基于已有的应用,多次部署,方 便快捷。
步骤2 找到刚才创建的“风险识别一月”应用,单击复制架构图。步骤3 CADT会自动将应用及其资源配置信息复制到画布中。文档版本:20220113 11 云速搭部署风险识别SAF最佳实践 基于已有应用部署 步骤4 此时,只需要单击右上角的保存,设置不同的应用名称,即可按界面提示进行资源部 署。文档版本:20220113 12 云速搭部署风险...
来自: 最佳实践 | 相关产品:风险识别
云速搭部署 ALB 实现负载分发
云速搭部署 ALB 实现负载分发
本实践通过云速搭构建一个基于 http(s)的负载均衡业务架构,实现终端浏览器发起http(s)请求后,经过 ALB 监听配置的转发规则,分别负载分担到后端 ECS 服务器、CLB 和 ACK 集群。
理解资源级别 每个阿里云资源都有资源级别,本架构中使用的资源如下,这些架构级别在进行 设计时需要用到。云资源 架构级别 ECS VSW 安全组 VPC ALB VPC CLB VSW ACK VPC 1.2.资源规划清单 资源类别 配置项 配置明细 说明 区域 区域 华东 1(杭州)本最佳实践全部资源部署在杭 州(主数据中心)专有网络 状态 新购...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,云速搭CADT
通过ALB+ESS实现应用的弹性伸缩
使用应用型负载均衡(ALB)和弹性伸缩(ESS)智能分配网络流量、动态调整服务器资源,提高应用的高可用性和吞吐量,弹性控制资源利用率、缩减资源成本。
整体方案架构图如下所示。相关产品云服务器 ECS应用型负载均衡 ALB弹性伸缩在线咨询与传统方案对比传统方案自建负载均衡节点,并且根据业务量的变化来手动实现资源的扩容和缩容,这些方案会带来高硬件成本、管理复杂、可运维性差等问题,同时这些方案需要投入较高的资源、时间和人力成本。本文推荐使用阿里云ALB+ESS的技术...
来自: 解决方案
基于SAE的一站式Web服务托管方案
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力,代码提交后可以触发自动构建,并部署应用到SAE,部署完成后,应用自动产生访问域名,外部请求通过域名可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供代码仓库,后续的CICD,应用访问,弹性管理,运维监控,SAE都提供了内置的集成能力
部署架构 架构说明 该架构图直观的表现出了该方案中使用到的网络(VPC,交换机,安全组)、SAE之间的关系。网络架构:◼ 整个方案会在某个Region下,该示例使用的是杭州Region ◼ 在Region下会创建一个 VPC◆在该 VPC下会创建一个某可用区的交换机,该示例使用的是 I和H可用区 文档版本:20240430 4 基于SAE 2.0的一站式 ...
来自: 最佳实践 | 相关产品:Serverless 应用引擎
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
方案优势 快速搭建起数据处理全链路 全链路自适应弹性,无需为流量峰谷做频繁的手工处理 内置 CICD平台能力,灰度,回滚,监控开箱即用 按量付费,没有资源闲置费用 部署架构 架构说明 该架构图直观的表现出了该方案中使用到的网络(VPC,交换机,安全组)、Kafka、函数计算 FC、OSS之间的关系。网络架构:◼ 整个方案会在...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
云速搭部署高可用虚拟 IP HaVIP
云速搭部署高可用虚拟 IP HaVIP
通过云速搭部署一个高可用虚拟 IP,并挂载到两个 ECS 实例节点上,HAVIP 将自动与两个 ECS 关联,并接受通过 ARP 协议宣告 来绑定某个 ECS 的网卡。
步骤1 打开架构图中的资源清单,单击 havip,跳转到 havip控制台。步骤2 资源创建成功,并关联两个 ECS。此时两个 ECS都处于“备”状态。文档版本:20211201 18 云速搭部署高可用虚拟 IP HaVIP 云速搭部署高可用虚拟 IP HaVIP 步骤3 单击其中一个 ECS,进入 ECS控制台。单击远程连接。步骤4 单击 VNC远程连接:立即登录 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭CADT
云速搭部署智能接入网关SAG APP
云速搭部署智能接入网关SAG APP
本篇最佳实践通过CADT在华东2上海和美西弗吉尼亚创建跨地域的VPC,在VPC内部署ECS模拟办公系统应用。通过CADT购买SAG APP版并挂载到云连接网CCN,通过云企业网CEN将云上跨地域的VPC和云连接网CCN打通,实现内网互联互通。登录SAG客户端之后,就可以通过内网IP访问云上资源。
步骤5 再次确认,注意架构图中 SAG、CEN是按月购买的,无法提前释放。文档版本:20211023 9 云速搭部署智能接入网关 SAG APP 前序工作 步骤6 大概 3分钟左右,资源部署成功。2.3.验证过程 用户可按照实际业务部署应用,这里通过在 ECS上部署 httpd服务模拟办公系统。步骤1 访问 ECS控制台 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云企业网,智能接入网关
基于Fortinet的出海业务访问加速方案
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板,帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS,BGP公网精品IP等产品,实现低成本的出海业务加速。
此页面中,左侧是部署的架构 ,右侧是本方案涉及的主要资源的配置。可以按照实际的业务需求,合理调整规 格。需要注意 fortinet服务器的实例规格和 Fornet License的规格要适配。若实例规 格为空,请下拉选择其他规格实例。弹性公网 IP 的线路,建议选用“BPG(多线)_精品”,带宽大小按需调整,付费模式 也可按需调整。该...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
(函数中业务代码的执行时长,可根据函数承载的 业务自行设置其他时间,最大支持24小时) 请求处理程序:index.handler(函数的入口函数名称,index为文件名,handler为 函数名) 环境变量:设置OSSBucket名称,和架构图中OSS的Bucket名称保持一致。步骤6 双击OSS查看配置信息。 购买方式:可以选择新购或者导入已...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程,模拟了数据库迁移所需的工作,帮助您快速上手。
体验此教程会为您创建的资源架构图如下:相关产品云服务器 ECS云数据库 RDS MySQL 版方案咨询01准备资源通过一键部署脚本,快速创建一个模拟环境,包含一个运行网站应用和数据库的ECS实例,以及一个迁移目标RDS实例。02迁移数据库这一步骤将引导您使用数据传输服务DTS,将ECS上自建的数据迁移到RDS中。03验证及切换通过这一...
来自: 解决方案
RocketMQ性能压测快速方案
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
如提示如下图,请回到步骤4,替换架构图中机型为相同vCPU和内存的机型,如 g6.2xlarge,磁盘类型、操作系统等参考截图配置一致即可。文档版本:20240506 15RocketMQ性能压测快速方案 部署基础环境 步骤11资源验证成功后如下,确认一下是否是和自己的设计相符,如果相符单击下一步:价格 清单。步骤12进入核算价格阶段,计价...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 RocketMQ 版,云速搭
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
部署架构 文档版本:20240330 4基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 最佳实践概述 架构说明 该架构图其实模拟了两类场景: 在同一VPC下,有两个阿里云Kafka实例,由不同的RAM帐号控制权限,也就是RAM-a 和RAM-b帐号互相不可见对方的Kafka实例。另外有一个独立的RAM-c帐号,管理负责 消息同步的函数...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
云迁移中心
云迁移中心,为应用程序上阿里云提供迁云成本分析,网络拓扑图自动生成,一站式应用程序迁移监控,同时支持IDC和他云环境,加速和简化应用迁移。
为辅助用户更好的划分自己的应用集群,CMH通过调研信息的分析和智能识别,提供架构图来展示应用架构中各组件的依赖关系,引导用户更快的构建应用集群.应用拓扑展示.为更好的配合用户展示其真实业务维度的迁移进展,CMH为用户业务打造专属的迁移大盘页面,用户可以一站式监控所有迁移任务.业务迁移大盘.云迁移中心CMH内置了...
来自: 云产品
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
4 文档版本:20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践概述 部署架构 架构说明 该架构图直观的表现出了该方案中使用到的网络(VPC,交换机,安全组)、Kafka、函数计算 FC、MongoDB 之间的关系。l 网络架构:n 整个方案会在某个 Region 下,该示例使用的是北京 Region n 在 ...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具,可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈,当应用出现业务异常问题时,您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析,精准定位业务异常。
方式一:CADT对应应用架构图下,双击 ACK,通过弹出的资源清单前往控制台进入 方式二:直接访问容器服务控制台,点击目标 ACK集群,进入配置界面 步骤2 在 ACK 集群中创建命名空间 otel-demo 注意:如果想设置自定义的命名空间名称,比如叫 otel-test123,必须将 YAML 里 的命名空间名称也一并修改:将 YAML里的 namespace:...
来自: 最佳实践 | 相关产品:日志服务(SLS),云速搭
多账号下企业分账
多账号下企业分账
场景描述 财务分账,是根据企业的成本中心,将云上资源的成本划分到给各个项目组/业务部门;助力企业快速梳理云上成本结构,搭建复杂组织架构下的成本关系,便捷地进行财务和云上成本的管理。 大型企业或集团公司,由于组织架构复杂,业务复杂等原因,通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源,如何建立有效的分账方案,是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理,IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况,清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
使 用 CADT模板中的步骤通过模板创建架构图。步骤2 保留架构图中分公司 A账号 1所需的资源,删除其他资源。步骤3 通过模板创建的架构图,ECS中的登录密码未包含在模板中,在部署应用前需要手工 输入。双击架构图中的 ECS实例,滚动到密码部分,填入管理员密码。文档版本:20210128 22 多账号下企业分账最佳实践 搭建模拟...
来自: 最佳实践 | 相关产品:资源管理,配置审计,云速搭CADT
基于DDH+MyBase降本合规
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
基于 DDH+MyBase降本合规 最佳实践 部署架构图 场景描述 出版、金融、保险等传统行业一方面希望能借助 云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU超 分超配)以及满足更严格合规和监管要求的考 虑,希望能对云上资源有更多的自主控制权(监 管合规)。从业务系统架构云上部署的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
< 1 2 3 4 ... 18 >
共有18页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用