- 相关产品：
- 水泥行业解决方案 企业级互联网架构持续交付解决方案 AI养牛解决方案
云消息队列 Confluent 版
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案。
实时响应客户互动行为，构建一个全面详尽的数据视图，去标识化地分析客户，以高效的方式实现与客户的互动——实时跨所有数据孤岛和系统，提供个性化的体验.通过采用松耦合的微服务架构设计，能够实现更高的敏捷性和更快的创新。使用 Confluent 将微服务彻底解耦，统一服务间的通信标准，并且有效消除维护独立数据状态的繁琐...
来自：
云产品
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
测试数据查看 步骤1 按照 2.2小节的方式登录集群的 Master节点,运行 hive命令连接 hive，查询生成的数 据库。Hue(Hadoop User Experience)是一个开源的 Apache Hadoop UI 系统，最早是由 Cloudera.Desktop演化而来，由 Cloudera贡献给开源社区，它是基于 Python Web 框架 Django实现的，通过使用 Hue可以在浏览器的 Web控制...
利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受，除业务系 统上云外，很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大，迁移上云需要大量的 网络带宽，BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限（移 动/联通/电信均可），可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
利用低成本链路完成业务数据上云 最佳实践 部署架构图 场景描述 随着云计算被越来越多的客户所接受，除业务系 统上云外，很多客户已经把业务数据搬迁上云。业务数据量一般都比较大，迁移上云需要大量的 网络带宽，BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限（移 动/联通/电信均可），可用为...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
兼容 Greenplum开源数 据仓库，MPP全并行架构，广泛兼容 PostgreSQL/Oracle的语法生态，新一代向 量引擎性能超越传统数据库引擎 10倍以上，分布式 SQL优化器实现复杂查询语 句免调优。实现了对海量数据的即席查询分析、ETL 处理及可视化探索，是各行 业有竞争力的云上数据仓库解决方案。Hologres是一站式实时数据仓库引擎，...
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云，提供高并发，高吞吐，高安全等特性，适用于金融，电力，电信，制造业等传统客户的核心交易系统。
2.在集群环境运行中的所有实例通过共享 的数据库运行事物，RAC架构相对上层 应用架构完全透明，整体数据负载流量 可以在集群中尽可能平均合理地分摊处 理，无资源闲置，保护用户原有资产的 同时提升资源利用率。3.RAC集群架构，具有高伸缩能力和自动 负载均衡等特性，当负载增加时可以通 过增加节点来提高处理能力和吞吐量...
系统运维管理 OOS
阿里云系统运维管理（简称OOS）提供的云上自动化运维服务，通过执行模板来完成任务的自动化运行，可以使用OOS管理ECS、RDS、SLB、VPC等云产品，提升日常运维管理效率
抢占式实例释放感知事件触发，自动识别抢占式实例状态释放前实例内状态保存实例释放前将实例内部日志等需要持久化的数据自动转存实例平滑替换自动将实例从负载均衡中移出，并创建新实例添加到负载均衡相关产品系统运维管理OOS本产品云服务器ECS负载均衡 SLB在线咨询安全合规-审批运维能力审批运维能力：系统运维管理OOS提供...
来自：
云产品
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
Quick BI 功能，选择适合您的版本入门与试用快速上手01连接数据源1创建数据源2选择数据库，添加白名单02数据建模1创建数据集2形成数据清洗模型03数据可视化分析1创建仪表板2选择图表组件，拖拽维度或度量，并在样式中进行渲染04发布分享1发布仪表板2将已完成的仪表板保存发布，并通过链接进行分享免费试用快速使用 Quick BI...
来自：
云产品
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
MaxCompute向用户提供了完善的数据导入方 案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有 效 降 低 企 业 成 本，并 保 障 数 据 安 全。详 见：https://help.aliyun.com/product/27797.html Dataworks：DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引 文档版本：20210802（发布...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
参考如上步骤 添加“月消费同比情况”图表 source:bill|select coalesce(cast(round(diff[1],2)as varchar),' 无 数 据 '),diff[2],round(diff[3]*100-100,2)from(select compare(this_month,2592000)as diff from(select this_month from(select sum(PretaxAmount)as"this_month"from log)))步骤1 在定义分析 SQL板块输入...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
步骤1 添加数据源：展开 web_log>数据接入，单击 logtail配置后的+。文档版本：20200630（发布日期）23 云上日志集中审计 WEB服务日志采集 步骤2 选择日志空间：因为我们安装的 wordpress是 Apache httpd的，所以选择 Apache-文本日志。步骤3 创建机器组，先安装 logtail：文档版本：20200630（发布日期）24 云上日志集中...
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户，每天都在经 历各种各样的“搜索”，查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库，Elasticsearch只需要几毫秒的 时间，即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性，能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
步骤5 添加数据源信息，RDS实例信息从 RDS实例中获取，用户 ID从个人中心中获取。点 击查看白名单（https://help.aliyun.com/knowledge_detail/72977.html）。1.找到华南 1的 IP地址添加到 RDS的白名单。数据源名称：magento_rds 28 文档版本：20220121 互联网、电商 Elasticsearch搜索最佳实践 数据同步及搜索 2.在弹出的...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
文档版本：20210617 14 企业上云 workshop-IDC业务迁移上云 RDS实例配置 2.RDS实例配置 使用云架构设计工具 CADT完成资源环境部署后进入资源配置阶段，首先登录阿里云 官网，对 RDS资源实例进行初始化配置，确认 Wordpress应用数据库用户、创建数 据库以及配置数据库集群访问白名单，并记录数据库集群访问地址。2.1.确认...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
文档版本：20201209 9 跨云迁移单写双读过渡架构 基础环境搭建 步骤8 给网关添加数据地址。步骤9 创建数据库访问点。步骤10 选择 VPC和虚拟交换机。文档版本：20201209 10 跨云迁移单写双读过渡架构 基础环境搭建 步骤11 查看数据库访问点记录备用。文档版本：20201209 11 跨云迁移单写双读过渡架构 服务部署 2.服务部署 2....
OA云资源申请流程自动化
在企业级客户场景中，对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案，以解决OA云资源申请流程中的自动化问题，提高运维效率，以更好地支撑业务创新。
文档版本：20240130 30 OA云资源申请流程自动化 CADT自动化集成配置 4.CADT 自动化集成配置 章节 3创建的申请流程，在审批通过后会通过 OA的流程流转集成功能，将申请单数据同 步到 RDS的数据库表 cadt_task_21中，并且标记字段 status 为“approved”，所以需 要在 cadt-agent-ecs上对此表上的任务进行扫描后然后执行相应...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
web-mysql zabbix-agent#安装 mariadb数据库 yum install-y mariadb-server systemctl start mariadb.service systemctl enable mariadb.service#导入 Zabbix数据到 Mysql数据库 mysql-uroot-p Enter password:/空密码直接按回车键 文档版本：20211021 60 基于 SLS实现统一告警最佳实践 配置自定义告警#执行 SQL脚本 ...
云速搭部署基于OSS的Nextcloud网盘
通过云速搭实现基于OSS的NextCloud网盘的部署，这里使用ECS的UserData特性自动安装MySQL等组件，减少配置工作量。
3.单击添加权限，然后在添加权限面板，为 RAM用户授予 AdministratorAccess 文档版本：20220328 7 云速搭部署基于 OSS的 Nextcloud 网盘 前序工作 的权限，然后单击确定。注意：本文以 AdministratorAccess权限为例，在生产环境中您需要根据实际情 况设置更精细化的权限策略。1.2.2.地域和可用区规划 本实践地域规划在西南 ...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
将表 datahub_dataconnector_apache_logs 数 据 灌 入 odps_apache_logs 本实践方案中 Hive数据仓库中的原始表 apache_logs有一个分区字段 ds（日期值），每天生成一个分区。在使用 MMA工具迁移到 MaxCompute表 odps_apache_logs的 过程中，保留了该分区字段，因此在 MaxCompute上可以看到该表有一个分区字段：Datahub ...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
云上高并发系统改造 最佳实践 场景描述 部署架构图 ...通常可以预估 1到 2 年的数据增长量，用估算出的总数据量除以总的物理分库数，再除以建议的最大数 据量 500万，即可得出每个物理分库上需要创建的物理分表数：物理分库上的物理分表数=向上取整(估算的总数据量/(RDS 实例数*8)/5,000,000)详细拆分 DEMO 可参考官网文 档：...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本：20211213 1 基于 MaxCompute的大数据 BI分析 最佳实践概述 方案优势 以 Hologres+QuickBI快速实时数据分析的核心能力为切入点，将客户的业务数 据、日志数据引导至阿里云的日志服务和分析性数据库。融合阿里云的日志服务 SLS 的生态，增强用户体验(如无缝对接 Flink、Elasticsearch、RDS、Hologres、EMR、dataV ...
- 产品推荐
- 这些文档可能帮助您