基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
2)end_point：本例是华东2上海外网Endpoint:http://service.cn-shanghai.maxcompute.aliyun.com/api MaxCompute在各地域部署的访问端点：请参考https://help.aliyun.com/document_detail/34951.html 步骤3 切换到bin目录，执行odpscmd命令，可以进入刚才配置的项目空间“dlf_mc001”cdbin./odpscmd基于湖仓一体架构使用...
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
MSE网 关的访问地址在实例基本概览页面可以看到。4.1.带自定义插件测试 由于本次测试需要模拟发送 post请求，请求体 body的格式为 json字符串，因此我们 采用 postman这个工具进行测试。请访问 https://www.postman.com/downloads/ 下载安装并完成注册。打开 postman界面，创建新的测试场景 文档版本：20240426 22 MSE云...
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
文档版本：20240429 4基于MSE云原生网关实现全链路灰度最佳实践 架构说明 本方案可以为业务应用创建灰度环境，并使用泳道规则实现全链路的端到端灰度测试。客户可以将具有特定特征的流量始终路由到应用的目标版本，以满足灰度验证多个服 文档版本：20240429 5基于MSE云原生网关实现全链路灰度最佳实践 务的需求。此外，当...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
应用场景 对网关有认证鉴权安全需求的场景，对于敏感 的服务路由（可通过黑白名单方式配置）在网 关层进行认证鉴权。解决问题 MSE网关和认证鉴权服务的集成问题 产品列表 专有网络 VPC 传统负载均衡 CLB 云原生网关 MSE 最佳实践频道 Serverless应用引擎 SAE http://bp.aliyun.com 云速搭 CADT 阿里云最佳实践分享群 钉钉...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
步骤2 在笔记本电脑上准备验证脚本 test.sh，替换下列脚本中红色 ip地址为 MSE云原生网 关入口地址。bin/bash for((i=1;i;i+));do curl http://x.x.x.x/helloDuohuo #ip需要替换成您网关的公网 IP sleep 0.5 echo 文档版本：20240423 35 基于MSE云原生网关同城多活最佳实践 场景验证 done 使用 vi或者其他文本编辑器创建，...
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制，禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
IPv4网关实现流量统一出入口 最佳实践 业务架构 场景描述 云服务器 ECS拥有了公网 IP（例如固定公网 IP或 者 EIP），可以直接访问公网，不受 VPC路由表控 制。为了降低 ECS直接访问公网可能带来的安全管 控风险，可以使用 IPv4网关及子网路由能力，对 VPC 中访问公网的行为进行约束，根据需求使得子网具备 访问公网的能力...
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，当应用出现业务异常问题时，您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析，精准定位业务异常。
可观测链路 OpenTelemetry 版结合日志服务 SLS关联分析 最佳实践 场景描述 业务架构 可观测链路 OpenTelemetry 版为分布式应用的 开发者提供了完整的调用链路还原、调用请求量 统计、链路拓扑、应用依赖分析等工具，可以帮 助开发者快速分析和诊断分布式应用架构下的 性能瓶颈，当应用出现业务异常问题时，您可以 在可观测...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
弹性公网IP：弹性公网IP是独立的公网IP资源，可与阿里云专有网络VPC类型 的云服务器ECS、NAT网关、ENI网卡、私网负载均衡SLB绑定，并可以动态 解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供Internet访 问服务。 云消息队列RocketMQ版：是阿里云基于ApacheRocketMQ构建的低延迟、高 并发、高可用、高...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
方案优势●日志服务提供高可用的存储、查询引擎，全托管、无需运维投入●无需使用logstash中转数据，提高了日志查询的实时性●无需使用Kafka和Elasticsearch，避免占用机器资源，只需按量付费●兼容Elasticsearch生态、程序（Kibana、API访问等）部署架构 架构说明 2台ECS，1个ACK集群，1个EIP，1个NAT网关，1个SLS实例（跳...
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板，帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS，BGP公网精品IP等产品，实现低成本的出海业务加速。
基于 Fortinet的出海业务访问加速方案 业务架构 场景描述 本方案基于 CADT提供一个一键交付零配置 的部署模板，帮助企业快速构建出海业务访 问加速的环境。方案结合了 Fortinet产品以 及阿里云的 ECS，BGP公网精品 IP等产 品，实现低成本的出海业务加速。应用场景 出海业务访问加速,SD-WAN组网等 解决问题 1、一键交付零...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
网络架构： 整个方案会在某个Region下，该示例使用的是杭州Region 在Region下会创建1个VPC 在该VPC下会创建2个交换机分布在J和K可用区 在该VPC下会创建一个安全组（ACK自动创建） ACK在该VPC的交换机下，NODE节点分布在2个交换机 1个EIP+1个NATGW用于VPC内的NODE节点访问外网拉取镜像使用 在VPC下创建1...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
容器多云统一监控日志 最佳实践 业务架构 场景描述 多云、混合云成为常态，Forrester报告中指出，未来89%的企业至少使用两个云，74%的企业 至少使用三个甚至更多公有云，在面对多云/混 合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑 战，本方案给出了在多云/混合云场景下，构建 ...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
SAE、MSE、ACK的Worker节点（ECS）都在该VPC的H可用区的交换机下 应用架构 SAE中部署Consumer服务和Provider服务，Consumer服务为入口服务，给该服务绑 定私网SLB，向内网暴露Endpoint。 ACK中部署Consumer服务和Provider服务，Consumer服务为入口服务，通过负载均 衡类型的Service暴露该入口服务。 ACK中创建...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
弹性公网IP：弹性公网IP是独立的公网IP资源，可与阿里云专有网络VPC类型 的云服务器ECS、NAT网关、ENI网卡、私网负载均衡SLB绑定，并可以动态 解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供Internet访 问服务。 消息队列Kafka版，云托管的Kafka服务。实例版本（创建时指定规格）可以提 供与开源Kafka...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
基础环境访问验证 通过上一步骤，登录阿里云ACK控制台，查看ACK的pod和外网访问能力 方式1:直接通过Cloudshell 管理集群(模版中已经为APIserver绑定了公网EIP)如下图，可以通过NAT直接访问外网（模版中已经开通了VPC内的NAT网关）:操作脚本可gitclone的文件“360-SampleCode.sh”gitclonehttps:/best-practice:Abcd123456@...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
微服务引擎MSE：微服务引擎 MSE 面向业界主流开源微服务项目，提供注 册配置中心和分布式协调（原生支持 Nacos/ZooKeeper/Eureka）、云原生网 关（原生支持Higress/Nginx/Envoy，遵循Ingress 标准）、微服务治理和分布 式任务调度能力（兼容开源XXL-JOB/ElasticJob/K8sJob/SpringSchedule）。 Serverless应用引擎 SAE...
VPN网关
阿里云VPN网关（VPN Gateway）是一款基于Internet，通过加密隧道将企业数据中心、办公网或终端与阿里云专有网络（VPC）安全可靠连接起来的服务。VPN网关在国家相关政策法规下提供服务，支持IPsec VPN、SSL VPN及国密算法等丰富特性，满足分支互联、移动办公等接入场景。
阿里云VPN网关（VPN Gateway，简称VPN）是一款基于Internet，通过加密通道将企业数据中心、办公网或终端与专有网络（VPC）安全可靠连接起来的服务。支持IPsec VPN、SSL VPN及国密算法等能力，满足分支互联、移动办公等接入场景.标准协议支持.使用行业标准的IPSec和IKE（秘钥交换协议），确保数据通信安全.站点到站点连接.将...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您