MaxCompute湖仓一体方案
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案,将 MaxCompute与自建的Hive集群做数据打 通,通过存储共享,元数据镜像等方式,解 决传统模式下的存储冗余,计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性,解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性:现有业务无需改造。 2.性能优化:MaxCompute在SQL上做 了大量优化与能力沉淀,可提高SQL 运行性能,降低计算成本。 3.灵活管理:元数据实时同步,无需额外 管理数据同步任务。 4.资源弹性:利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute(原ODPS) 云企业网CEN
提供用户在云上 使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等 场 景 下 的 大 解 决 方 案。更 多 信 息,请 参 见:https://www.aliyun.com/product/emapreduce 文档版本:20220402 III MaxCompute湖仓一体方案 目录 目录 文档版本信息.I 法律声明.II 产品介绍.III 目录.IV 最佳实践...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云企业网,E-MapReduce,大数据计算服务 MaxCompute,运维编排,云速搭
资源管理
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多,如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系,使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源,更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
创建资源夹 资源夹最多支持 5级(根资源夹除外),请根据组织实际情况,按照团队、项目以及 等多个不同维度组织管理资源。文档版本:2021-07-12 6 资源管理 资源目录 步骤1 单击根资源夹,然后单击新建资源夹。步骤2 在新建资源夹侧边页,设置资源夹名称为 Application,并单击确定。步骤3 重复步骤 2,完成剩余资源夹...
来自: 最佳实践 | 相关产品:资源管理
机场视频监控
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业,将线下视频文件通过混合云阵列缓存后,通过专线上传到阿里云OSS上。 也适用于其他混合云场景中,利用阵列缓存文件,并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道(专线)
oss2.BucketIterator遍历 service=oss2.Service(oss2.Auth(access_key_id,access_key_secret),endpoint)61 企业上云实践 机场视频监控最佳实践 print(' '.join(info.namefor infoinoss2.BucketIterator(service)))#创建Bucket对象,所有Object相关的接口都可以通过Bucket对象来进行 bucket=oss2.Bucket(oss2.Auth(access_...
来自: 最佳实践 | 相关产品:对象存储 OSS,高速通道,混合云存储阵列 Hybrid Cloud
日志服务sls
日志服务(Log Service,简称Log)是针对实时数据一站式服务,在阿里集团经历大量大数据场景锤炼而成。无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能,帮助提升运维、运营效率,建立DT时代海量日志处理能力。
提供丰富算子、开箱即的场景化UDF(Syslog、非标准json、AccessLog UA/URI/IP解析等)。可扩展语法应对各种复杂格式.全托管云上服务,无须投入额外运维资源。支持自动根据流量弹性伸缩.支持多层嵌套、分流等逻辑,支持复杂的数据分派与编排需求.提供关键词、SQL92、AIOps函数等多种方式,支持面向文本+结构化数据实时查询...
来自: 云产品
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行数据查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
在我的可视化页面,可以查看所创建的所有可视化应用,以及还可以创建的可视化 的数量。步骤6 在模板列表页面上方,选择PC端。步骤7 在PC端模板列表中,选择一个模版,单击创建项目。步骤8 在创建数据大屏对话框中,输入数据大屏名称,单击创建。创建成功后,系统会跳转到可视化应用编辑器页面。步骤9 在创建了可视化...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
弹性计算OOS审批流程自动化运维
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例,介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程,并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API,通过OOS模板执行运维 任务,实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理, 无需担心操作安全,并可以快速增加审批流 程,提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
11.ValueSelector:"jqselector"#如Task是一个OpenAPI调用时,把OpenAPI的调 结果当做一个JSON输入,应用jq从该JSON中截取所需要的值,请参考云产品动作和公 共模板等具体例子。12.#流程控制参数 13.OnError:"ACS:END/ACS:NEXT/other-task-name"#可选,定义了当前任务执行 出现错误时的执行流程,默认:END,即终止整个...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,负载均衡 SLB,运维编排
基于SLS实现统一告警最佳实践
基于SLS实现统一告警最佳实践
告警对于企业的开发运维,安全运维,业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题,SLS告警提供了一站式云上告警管理方案,具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台,实现在SLS上一站式管理告警。
基于 SLS实现统一告警 最佳实践 业务架构 场景描述 告警监控对于一个企业有着至关重要的作 ,然而很多企业在告警运维方面存在着重 复建设、监控质量差、告警风暴、触达不人 性化、无法闭环等问题。SLS告警提供了一站式云上告警管理方案,能够有效的解决企业在使用告警中的痛点。本文以通过自定义告警、Prometheus 告 警、...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,弹性公网IP,日志服务(SLS),云速搭CADT
函数计算实现弹性音视频处理系统
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用,每天 有大量的上传视频,需要及时转码处理以适配各 种终端及网络条件,要求短时间内准备大量的计 算资源进行大规模并行转码处理,同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
文档版本:20201228(发布日期)36 Function Compute 实现弹性音视频处理系统 应用测试 以上是一个 56M文件处理时间;单击执行名称,可查看详细信息。文档版本:20201228(发布日期)37 Function Compute 实现弹性音视频处理系统 应用测试 如有错误,可以查看详细步骤信息:步骤5 查看转换后的文件。ossutil ls oss:/...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,文件存储NAS,日志服务(SLS),Serverless 工作流
云上持续审计合规最佳实践
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
文档日期:20210726 70 云上持续审计合规最佳实践 操作审计 选择杭州新建日志来存放告警信息。步骤2 按照需求配置告警:填写告警规则名称、检查频率、触发条件、行动策略等属性。在告警中心中确认和调整行动策略 步骤1 进入告警页面,可以看到我们刚才创建的告警规则。单击打开告警中心。文档日期:20210726 71 云上持续...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
RAM角色集成企业OpenLDAP身份认证
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP, 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系,实现企业员工使用企业OpenLDAP账 号以单点登录(SSO)的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak,并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
从官方模版>最佳实践 标签下找到模版,选择 RAM角色集成企业 OpenLDAP身份认证模板,基于方案新建 快速创建本实践应用架构。CADT使用手册请参见:https://help.aliyun.com/document_detail/186134.html 本实践应用架构:请根据环境部署须知中的提示,更新相关资源项的配置项,保存应用后部署。部署完成后,还可以下载云...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,容器镜像服务 ACR,云速搭
灵活调度,高效编排,容器化管理云上应用
本方案介绍如何快速地使用容器镜像服务ACR构建镜像,使用镜像在ACK中部署应用,使用ALB作为Ingress对外提供服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台容器化管理云上应用为什么选择ACK方案介绍应用场景方案部署方案权益灵活调度,高效编排,容器化管理云上应用在企业上云的过程中,容器化应用托管已经逐渐成为主流,其中以能够自动部署、扩展、管理容器化应用以及能实现应用的快速上线与...
来自: 解决方案
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程,模拟了数据库迁移所需的工作,帮助您快速上手。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景RDS 解决的问题如何迁移到 RDS迁移前后对比优惠购买自建数据库迁移到云数据库本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,...
来自: 解决方案
AnalyticDB和通义千问快速构建RAG应用
利用AnalyticDB PostgreSQL与DashScope灵积模型服务提供的通义千问模型构建Retrieval-Augmented Generation (RAG) 应用,通过检索相关信息并结合上下文生成准确的自然语言回答,增强语言模型处理和理解复杂查询的深度。
预计产生费用不超过10元(假设您选择部署准备中相关规格资源,且运行时间不超过1小时,如果调整了资源规格,请以控制台显示的实际报价以及最终账单为准)方案部署跟随方案教程,AnalyticDB和通义千问快速构建RAG应用方案介绍AnalyticDB和通义千问快速构建RAG应用基于RAG技术的智能问答系统能够高效的检索企业私域知识,...
来自: 解决方案
实时监控应用关键业务异常与告警
使用日志服务(SLS)基于收集的业务日志对业务实现监控与告警,能够帮助您了解应用的运行趋势,及时发现业务异常状态,采用具体措施以保证系统稳定性。
IT系统运维监控统一采集、监控服务器运行日志、应用日志、数据库日志、网络日志等运维日志,帮助运维团队及时发现、分析、预测系统异常、性能瓶颈等问题,为了满足快速响应系统故障、优化系统性能等诉求。网络安全监控结合企业网络设备(如防火墙、路由器等)、业务系统产生的访问日志、安全事件日志。识别异常访问行为和...
来自: 解决方案
高效防护 Web 应用
随着网络技术的不断发展,您的Web应用如果没有流量入口的防护,会面临诸多风险。本方案以ECS实例接入WAF为例,推荐您使用Web应用防火墙(WAF)开启应用防护,避免网站服务器被恶意入侵导致性能异常等问题,保障网站的业务安全和数据安全。同时,为您节约开发成本,满足行业合规要求。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景如何防护 Web 应用与传统方案对比WAF 应用场景方案介绍方案部署方案权益高效防护 Web 应用随着网络技术的不断发展,您的Web应用如果没有流量入口的防护,会面临诸多风险。本方案以ECS实例接入WAF为例,推荐您使用Web应用防火墙...
来自: 解决方案
通过ALB+ESS实现应用的弹性伸缩
使用应用型负载均衡(ALB)和弹性伸缩(ESS)智能分配网络流量、动态调整服务器资源,提高应用的高可用性和吞吐量,弹性控制资源利用率、缩减资源成本。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读高可用与弹性伸缩如何实现弹性伸缩与传统方案对比方案优势方案部署方案权益随需而动:自动弹性,稳定交付本方案使用应用型负载均衡(ALB)和弹性伸缩(ESS)智能分配网络流量、动态调整服务器资源,提高应用的高可用性和吞吐量,...
来自: 解决方案
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的<em>应用</em>性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
请阅读计费模式后,点击立即开通 文档版本:20240329 25容器场景下的应用性能监控、调用链拓扑、内存剖析 场景验证 点 击 列 表,切 换 到 新 版 控 制 台 当 看 到 名 称 后 出 现每秒请求等信息,表明部署成功。以下截图为新版本ARMS控制台 文档版本:20240329 26容器场景下的应用性能监控、调用链拓扑、内存...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
SAE-ACK应用双跑最佳实践
SAE-ACK<em>应用</em>双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
 容器服务 Kubernetes 版 ACK(ContainerServiceforKubernetes):全球首批通过 Kubernetes一致性认证的容器服务平台,提供高性能的容器应用管理服务,支持企业级 Kubernetes容器化应用的生命周期管理,让您轻松高效地在云端运行Kubernetes容器化 。 微服务引擎MSE(MicroservicesEngine):一个面向业界主流开源...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
应用场景 客户在阿里云不同region、阿里云以外的其他 云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)、或者IDC 等业务数据或 系统产品的日志数据等,汇总处理后,通过 标准的通用的协议Kafka,数据入湖到阿里云 SLS日志中心,进行统一分析和处理。解决问题 将多云、IDC分散的数据,通过标准协议,汇 产品...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
基于SpringCloud应用玩转MSE实践
基于SpringCloud<em>应用</em>玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
一键释放云资源.84基于SpringCloud应用玩转MSE 最佳实践概述 最佳实践概述 概述 随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至十个微服务,微服务架构已经被广泛 。微服务的好处在于快速迭代,迭代过程保障线上流量不受损。依赖开源产品缺少专业运维工具,常常 需要投入较大的运维人力和成本。本实践...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
< 1 2 3 4 ... 9 >
共有9页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用