基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
参数说明 1.endpoint：必须是DLF的跨域域名或者internal域名，具体的可提工单咨询（后 续会提供公网link参考）2.ramRoleArn：如果MaxCompute和DLF是同一账号下且已完成一键授权，则此 参数省略。本例就是省略此参数。若是跨账号授权或者自定义授权请参考附录A 3.ossEndpoint：指定与DLF同地域的OSS内网endpoint。请参考 ...
基于MyBase构建自主可控数据库和高弹性应用实践
一些企业级客户上云前，会重点关心数据库是否自主可控，包括云资源独享、自主可运维、获取OS 权限等特点，同时又要兼顾数据库合规性、安全性和高性能的要求；并力求在业务弹性下合理利用云产品降低数据和应用成本，弹性地支持业务。本实践为此类用户提供相关实践参考。
记录弹性地址：1.1.MyBase专属集群添加主机 说明：一个地域可以创建多个专属集群，一个专属集群包含多个主机，一个主机包含 多个实例。以集群形式，MyBase可提供资源调度、主机管理、实例管理。关于费用：只需为主机付费，基于主机的相关功能（例如集群、实例、内存和本地磁盘）不再收 费，但使用云盘存储时仍需收取云盘...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
文档版本：20201222 2 基于链路追踪+ECI的洪峰流量应对实践 前置条件 前置条件 为了顺利完成本实践，您需要提前完成以下准备工作：注册阿里云账号，并完成实名认证。您可以登录阿里云控制台，并前往实名认证 页面（account.console.aliyun.com/v2/#/authc/home）查看是否已经完成实名认 证。阿里云账户余额大于 100 元。您...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
您能够在自定义的一个或多个专有 网络中将私有域名映射到 IP资源地址，同时在其他网络环境无法访问您的私 有域名。更多信息，请参见：https://help.aliyun.com/product/64583.html 安全组：安全组是一种虚拟防火墙，具备状态检测和数据包过滤功能，用于在 云端划分安全域。您可以通过配置安全组规则，允许或禁止安全组内的 ...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
步骤5 使用 UDF开发时，核心的函数是 evaluate（固定写法），在这里进行业务逻辑处理，本文中输入参数为 String类型的 ip地址（可以根据业务需求自定义类型或参数个数），返回一个 String的城市信息（支持自定义）。步骤6 Setup函数加载 ip库（即从第三方文件中读取数据）。文档版本：20211213 76 基于 MaxCompute的大数据 ...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
如 CDN的费用需要分拆到各个域名，OSS的费用需要分拆到各个 bucket,共享带宽的费用需要分拆到各个 EIP等。2.3.2.建立配置审计规则 标签是财务分账的重要工具，标签的设计和打标的质量直接影响财务分账的结果。为 保证标签质量，可以通过阿里云提供的配置审计功能来对标签的合规进行稽查，防止 漏打标，打错标。配置审计使用...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
系统架构 部署架构 4 文档版本：20240425利用交互式分析工具进行数据查询 产品简介 前置条件 为了顺利完成本实践，您需要提前完成以下准备工作：注册阿里云账号，并完成实名认证。您可以登录阿里云控制台,并前往实名认证页 面（https://account.console.aliyun.com/v2/#/authc/home）查看是否完成实名认 证。购买按量...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
方案架构 Springcloud应用部署在 ACK上通过 ARMS进行问题定位，通过 AHAS故障演练注 入故障模拟生成环境各种故障，通过 PTS模拟业务流量，详细架构如下：文档版本：20220331 1 微服务应用问题定位及故障演练 最佳实践概述 说明：1.SpringCloud微服务架构应用部署在阿里云的 ACK上，配合 ACR实现应用更新 部署。2.后端数据...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
配置 DBS备份计划 在章节 1.2中，通过 CADT已经创建好 DBS备份计划，在 DBS控制台上可以看到一 个未配置的备份计划，通过以下几个环节完成备份计划配置：1.配置备份源和目标 2.配置备份对象 3.配置备份时间 文档版本：20220207 58 数据库异地灾备 配置异地冷备环境 4.配置生命周期 5.预检查 步骤1 从 CADT登录数据库备份 ...
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
不论哪种方式，本质上都是对于阿里云资源组能力的灵活运用。2.3章 节就是介绍如何按照资源组进行分账设置。以下从单账号（企业只有一个账号）和多账号（企业有多个账号且通过资源目录的方 式进行组织）角度介绍资源组管理的最佳实践，以多账号为例介绍实际应用操作，单 账号与多账号流程类似。目前已支持资源组的云服务请...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
可以通过控制台来查看自己账 号的 AK和 SK，如下图：且需要把 bucket_name变量的值改为您对应的 bucket名 步骤2 当前目录下新建一个 data目录，然后准备一个要加密的文件，如附件中的 test.csv，放到 data目录里：mkdir data cd data 文档版本：20210809 36 企业上云数据安全 OSS数据加密 步骤3 在/root目录下，执行脚本，...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
文档版本：20191223 28 混合云存储构建VMware虚拟化平台 存储阵列系统初始化配置 NAS菜单 NAS菜单位于左侧的菜单栏，将鼠标移动至NAS菜单，即可显示子菜单：文件系统、共享资源、共享、用户/用户组、域、NAS配置、黑白名单。云网关菜单 云网关功能是将本地存储与云端对象存储相连接，通过存储的NFS/CIFS协议与云端 的对象...
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP， 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系，实现企业员工使用企业OpenLDAP账 号以单点登录（SSO）的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak，并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
注意：由元数据信息文件内容可知，IDP的访问地址（IP或域名，含端口）信息也包含其中，RAM服务的 SSO以此地址与 IDP进行通信。所以保存 IDP元数据信息时，必须确认已按实 际生产环境完成 KeyCloak的软件部署，再进行 KeyCloak的配置。6.3.配置 KeyCloak用户联合 操作步骤 配置 KeyCloak用户联合，将 OpenLDAP配置为用户...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
单击可以进入详细资源列表，展示 5个 VPC的详细信息，包括查看资源 ID、名 称、创建时间等常规信息。同时，支持进行相应的资源管理操作。文档日期：20210726 6 云上持续审计合规最佳实践 配置审计 2.1.3.搜索相关资源 在阿里云多个区域部署资源时，资源的搜索非常困难。在资源跨区域聚合资源列表，可以作为资源管理的集中...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
数据湖-在线学习场景数据分析 最佳实践 场景描述 业务架构 本场景以在线教育中一个答题闯关类的应用为例，使用WebServer来模拟演示这类日志数据的分析 处理。通过Nginx和Python flask搭建Web Server，模拟应用中的关键页面，比如登录、课程 内容等，之后构造若干用户使用的模拟日志数据，投递到数据湖进行分析后获取应用PV...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
文档版本：20191217 37 互联网业务全球化互通组网最佳实践 模拟应用国内部署 步骤5 配置 WordPress Address(URL)，将其修改为预先申请并备案的域名 注意：实验环节可忽略此步骤，采用弹性公网 IP访问。步骤6 DMS 登录数据库，验证基础数据已进入数据库。登录 Redis，查看缓存写入云 Redis。文档版本：20191217 38 互联网...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
步骤4 Web访问游戏域名，业务正常，且可以看到有 2个注册用户。文档版本：20220121 107 游戏业务分区合服最佳实践 分区合服业务改造 文档版本：20220121 108 游戏业务分区合服最佳实践 跨地域访问加速改造（可选）5.跨地域访问加速改造(可选)架构拓扑 5.1.全球加速 GA部署 全球加速是为了解决跨地域的公网访问质量不佳，与...
容器Swarm集群向ACK集群灰度迁移
场景描述 随着K8S生态的完善，越来越多的客户需要从 Swarm集群迁移向ACK集群 解决问题 1.迁移过程中维持业务的延续性 2.迁移过程业务高可用 3.迁移过程可灰度 4.迁移过程可回滚 5.迁移进度可把控 产品列表 专有网络VPC 云数据库RDSMySQL 容器服务ACK 云服务器ECS
文档版本：20190401 36 容器 Swarm集群向 ACK集群灰度迁移最佳实践 DNS全局流量管理 8.Kubernetes集群创建应用 步骤1 进入容器服务-Kubernetes控制台页面，之前创建了一个名为 magento-k8s集群。步骤2 创建 magento应用。应用基本信息。步骤3 容器配置。步骤4 高级配置。文档版本：20190401 37 容器 Swarm集群向 ACK集群...
- 产品推荐
- 这些文档可能帮助您