基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
基于湖仓一体<em>架构</em>使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
2)end_point:本例是华东2上海外Endpoint:http://service.cn-shanghai.maxcompute.aliyun.com/api MaxCompute在各地域部署的访问端点:请参考https://help.aliyun.com/document_detail/34951.html 步骤3 切换到bin目录,执行odpscmd命令,可以进入刚才配置的项目空间“dlf_mc001”cdbin./odpscmd基于湖仓一体架构使用...
来自: 最佳实践 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
日志安全审计与合规性评估
日志安全审计与合规性评估方案旨在通过集中化采集、存储、分析来自多个系统、应用和设备的日志数据,确保企业数据和系统安全性与合规性。企业合规团队可基于日志审计来输出合规信息,帮助企业优化安全态势,确保业务连续性和数据安全。
日志审计服务覆盖基础(ActionTrail、容器服务Kubernetes版)、存储(OSS、NAS)、网络(SLB、ALB、API网关、VPC)、数据库(关系型数据库RDS、云原生分布式数据库PolarDB-X 1.0、云原生数据库PolarDB)、安全(WAF、DDoS防护、云防火墙、云安全中心)等产品,并支持自由对接其他生态产品或自有SOC中心。10元(假设您选择...
API网关
API 网关、ingress 流量网关、微服务网关和安全网关四合一,并能满足 AI 场景下对网关的新需求。
API 网关API Gateway)分为两个产品系列,原 API 网关和云原生 API 网关。原 API 网关提供 API 生命周期管理能力。云原生 API 网关将流量网关、微服务网关、安全网关和 AI 网关四合一,实现碎片化网关的架构统一,是高性能、安全、AI 友好的统一型网关.云原生 API 网关已开启商业化,首次购买包年包月,可享6折优惠,点击...
来自: 云产品
MSE云原生网关解析body内容进行路由转发
MSE云原生<em>网关</em>解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容,并用以路由转发规则判断
MSE 的访问地址在实例基本概览页面可以看到。4.1.带自定义插件测试 由于本次测试需要模拟发送 post请求,请求体 body的格式为 json字符串,因此我们 采用 postman这个工具进行测试。请访问 https://www.postman.com/downloads/ 下载安装并完成注册。打开 postman界面,创建新的测试场景 文档版本:20240426 22 MSE云...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎,云速搭
基于MSE云原生网关实现全链路灰度
基于MSE云原生<em>网关</em>实现全链路灰度
在微服务场景中,应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时,可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力,您无需修改业务代码,就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则,可以将满足规则的请求流量路由到目标版本的应用。
文档版本:20240429 4基于MSE云原生网关实现全链路灰度最佳实践 架构说明 本方案可以为业务应用创建灰度环境,并使用泳道规则实现全链路的端到端灰度测试。客户可以将具有特定特征的流量始终路由到应用的目标版本,以满足灰度验证多个服 文档版本:20240429 5基于MSE云原生网关实现全链路灰度最佳实践 务的需求。此外,当...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
高效防护 Web 应用
随着网络技术的不断发展,您的Web应用如果没有流量入口的防护,会面临诸多风险。本方案以ECS实例接入WAF为例,推荐您使用Web应用防火墙(WAF)开启应用防护,避免网站服务器被恶意入侵导致性能异常等问题,保障网站的业务安全和数据安全。同时,为您节约开发成本,满足行业合规要求。
提供全面的业务场景防护 针对常用的网站、APP、API均提供针对性的解决方案,防护不留死角。使用阿里云WAF与传统方案对比 传统硬件WAF或自建WAF方案 阿里云WAF 接入成本高 硬件WAF需要厂商派人去机房上架、改变网络拓扑、测试。自建则需要大量的开发和测试工作。接入成本 一键接入 一键接入,无需安装任何软硬件或调整路由...
MSE网关使用JWT进行认证鉴权
MSE<em>网关</em>使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务,通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景,对于敏感的服务路由(可通过黑白名单方式配置)在网关层进行认证鉴权。
应用场景 对网关有认证鉴权安全需求的场景,对于敏感 的服务路由(可通过黑白名单方式配置)在 层进行认证鉴权。解决问题 MSE网关和认证鉴权服务的集成问题 产品列表 专有网络 VPC 传统负载均衡 CLB 云原生网关 MSE 最佳实践频道 Serverless应用引擎 SAE http://bp.aliyun.com 云速搭 CADT 阿里云最佳实践分享群 钉钉...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎
基于MSE云原生网关同城多活
基于MSE云原生<em>网关</em>同城多活
借助云原生微服务MSE网关,MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景,实现同城容灾的步骤,体现云原生相关产品在用户上云,高可用同城容灾多活场景下的能力。
步骤2 在笔记本电脑上准备验证脚本 test.sh,替换下列脚本中红色 ip地址为 MSE云原生 入口地址。bin/bash for((i=1;i;i+));do curl http://x.x.x.x/helloDuohuo #ip需要替换成您网关的公网 IP sleep 0.5 echo 文档版本:20240423 35 基于MSE云原生网关同城多活最佳实践 场景验证 done 使用 vi或者其他文本编辑器创建,...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
IPv4网关实现流量统一出入口
IPv4<em>网关</em>实现流量统一出入口
对公网流量出入有严格的限制,禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
IPv4网关实现流量统一出入口 最佳实践 业务架构 场景描述 云服务器 ECS拥有了公网 IP(例如固定公网 IP或 者 EIP),可以直接访问公网,不受 VPC路由表控 制。为了降低 ECS直接访问公网可能带来的安全管 控风险,可以使用 IPv4网关及子网路由能力,对 VPC 中访问公网的行为进行约束,根据需求使得子网具备 访问公网的能力...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,云速搭
Serverless 开发平台
阿里云Serverless 开发平台是无服务器开发平台,可通过Serverless 应用部署和开发快速提高Serverless 项目研发、应用集成部署与运维效能,无需考虑服务器即可快速构建并运行应用程序。
无论是函数计算、API 网关还是其他云原生应用服务,云原生应用开发平台都能够帮助您快速创建、本地调试和追踪问题,加速您的开发流程。查看更多探索 Serverless 开发平台更丰富的产品能力入门与试用快速上手01开通试用1开通产品2领取免费使用02部署项目1选择案例2部署项目03测试开发1访问项目2二次开发04删除项目1清理资源2...
来自: 云产品
移动开发平台 mPaaS
阿里云移动开发平台 mPaaS提供App开发、测试、运营及运维等云到端的一站式解决方案,帮助企业快速构建高质量的移动应用,阿里云快速开发平台提升企业产品生态发展。
移动网关连接移动客户端与服务端的枢纽。简化了的数据协议和通讯协议,从而显奢提升开发效率和网络通讯效率。消息推送针对不同场景推出多种推送服务,提供个性化推送服务能力。集成了多家手机厂商的推送功能,方便快速集成移动端推送功能,提高 App 的用户留存和用户体验。移动分析MAS 通过统计和分析客户端流量、性能质量...
来自: 云产品
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
方案优势●日志服务提供高可用的存储、查询引擎,全托管、无需运维投入●无需使用logstash中转数据,提高了日志查询的实时性●无需使用Kafka和Elasticsearch,避免占用机器资源,只需按量付费●兼容Elasticsearch生态、程序(Kibana、API访问等)部署架构 架构说明 2台ECS,1个ACK集群,1个EIP,1个NAT网关,1个SLS实例(跳...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具,可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈,当应用出现业务异常问题时,您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析,精准定位业务异常。
可观测链路 OpenTelemetry 版结合日志服务 SLS关联分析 最佳实践 场景描述 业务架构 可观测链路 OpenTelemetry 版为分布式应用的 开发者提供了完整的调用链路还原、调用请求量 统计、链路拓扑、应用依赖分析等工具,可以帮 助开发者快速分析和诊断分布式应用架构下的 性能瓶颈,当应用出现业务异常问题时,您可以 在可观测...
来自: 最佳实践 | 相关产品:日志服务(SLS),云速搭
RocketMQ性能压测快速方案
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
 弹性公网IP:弹性公网IP是独立的公网IP资源,可与阿里云专有网络VPC类型 的云服务器ECS、NAT网关、ENI网卡、私负载均衡SLB绑定,并可以动态 解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供Internet访 问服务。 云消息队列RocketMQ版:是阿里云基于ApacheRocketMQ构建的低延迟、高 并发、高可用、高...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 RocketMQ 版,云速搭
基于Fortinet的出海业务访问加速方案
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板,帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS,BGP公网精品IP等产品,实现低成本的出海业务加速。
基于 Fortinet的出海业务访问加速方案 业务架构 场景描述 本方案基于 CADT提供一个一键交付零配置 的部署模板,帮助企业快速构建出海业务访 问加速的环境。方案结合了 Fortinet产品以 及阿里云的 ECS,BGP公网精品 IP等产 品,实现低成本的出海业务加速。应用场景 出海业务访问加速,SD-WAN组网等 解决问题 1、一键交付零...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
网络架构: 整个方案会在某个Region下,该示例使用的是杭州Region  在Region下会创建1个VPC  在该VPC下会创建2个交换机分布在J和K可用区  在该VPC下会创建一个安全组(ACK自动创建) ACK在该VPC的交换机下,NODE节点分布在2个交换机  1个EIP+1个NATGW用于VPC内的NODE节点访问外拉取镜像使用  在VPC下创建1...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
VPN网关
阿里云VPN网关(VPN Gateway)是一款基于Internet,通过加密隧道将企业数据中心、办公网或终端与阿里云专有网络(VPC)安全可靠连接起来的服务。VPN网关在国家相关政策法规下提供服务,支持IPsec VPN、SSL VPN及国密算法等丰富特性,满足分支互联、移动办公等接入场景。
用户通过使用阿里云VPN网关产品,将分支机构通过加密隧道接入数据中心,快速搭建云上私服务,为亚太业务提供安全可靠、简单易用的IPsec VPN互联网络.菜鸟网络作为物流行业的重要一员,业务遍及全球,随之而来的分支机构/物流中心也分布广泛。用户使用阿里云VPN网关产品,打造物流云平台,快速搭建云上私服务,为集团...
来自: 云产品
云原生网关解决方案
云原生网关是阿里云提供的下一代网关解决方案,将流量网关 Nignx、微服务网关和安全网关三合一,解决了三层网关架构独立设计、独立运维导致的资源消耗大、性能损耗大、稳定性难控、安全防护复杂等难题。
云原生网关是阿里云提供的下一代网关解决方案,将流量网关 Nignx、微服务网关和安全网关三合一,解决了三层网关架构独立设计、独立运维导致的资源消耗大、性能损耗大、稳定性难控、安全防护复杂等难题.谢赟辉,靖鑫,也树.云原生网关解决方案.该方案支持 K8s Service/Nacos/阿里云 DNS/云服务器 ECS 固定 IP 多种服务发现能力...
来自: 解决方案
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
容器多云统一监控日志 最佳实践 业务架构 场景描述 多云、混合云成为常态,Forrester报告中指出,未来89%的企业至少使用两个云,74%的企业 至少使用三个甚至更多公有云,在面对多云/混 合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑 战,本方案给出了在多云/混合云场景下,构建 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用