基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向，数据湖偏向灵活性，数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊，数据湖自身的治理能 力、数据仓库延伸到外部...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
同时，数 据中台的快速推进，使数据应用主要为数据支撑、用户画 像、实时圈人及广告精准投放等核心业务服务。高可靠和 低延时地数据服务成为企业数字化转型的关键。Hologres致力于低成本和高性能地大规模计算型存储和 强大的查询能力，为您提供海量数据的实时数据仓库解决 方案和实时交互式查询服务。解决问题 1.加速查询...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
步骤9 从安全信息管理处获取 AccessKey ID和 AccessKey Secret，记录备用，如果没有 AK 文档版本：20201127 48 基于ECI+FaaS构建游戏战斗结算服 游戏架构搭建篇 请先创建。步骤10 从容器控制台获取集群 ID。步骤11 返回到应用目录部署页面。选择参数栏，填写区域为 cn-beijing、填写刚记录的交换机 ID、安全组 ID、Access...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
您 可以将这些行为事件下载或保存到日志服务或 OSS存储空间，然后进行行为分析、安 全分析、资源变更行为追踪和行为合规性审计等操作。3.1.企业级多账号中心化审计方案 中国网安法和等保 2.0等法规级别的合规条例，都要求所有具备 IT系统（云上和云下 的都包括）的企业必须记录留存 180天以上的 IT系统的运维访问日志。企业...
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
access_key_id=os.getenv('OSS_TEST_ACCESS_KEY_ID','L*d')access_key_secret=os.getenv('OSS_TEST_ACCESS_KEY_SECRET','3*y')bucket_name=os.getenv('OSS_TEST_BUCKET','zhangjiakou-video')endpoint=os.getenv('OSS_TEST_ENDPOINT','oss-cn-zhangjiakou.aliyuncs.com')#确认上面的参数都填写正确了 forparamin(access_key...
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时，IT人员通常会面临以下问题，本文希望通过场景实践的方式，示范如何结合使用不同阿里云产品，来解决这些问题：用户如何管理？企业已有AD用户如何上云？云上共享文件服务权限怎么管？数据安全问题有保障吗？该如何设置？云桌面能使用本地机房或IDC中的服务吗？ 本文使用的应用场景： 场景1：客户A在云上新建Windows ActiveDirectory（以下简称AD）；弹性云桌面，和NAS文件存储服务部署在AD所在的VPC内。场景2：客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3：客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势： 易部署：弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用，配置实时生效，快速完成部署。 低成本：弹性云桌面无需前期传统硬件投资，帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道，比建立专线更便宜，快速实现混合云。 安全性：VPN网关使用IKE（秘钥交换协议）和IPSec对传输数据或进行加密，保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控：通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云，和文件级别的权限管控。
策略是一组安全规则的集合，可以控制终端用户使用云桌面的相关权限，提高数据安 全性。本文介绍策略包含的安全规则配置项，并给出效果示例。一个策略包含以下几项配置：（1）USB重定向：设置是否开启 USB重定向功能。开启后，云桌面上可以使用本 地终端连接的 USB设备。（2）水印：设置是否开启水印功能。开启后，云桌面...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
日志和监控是所有 Ingress Controller都会提供的基础功能，日志一般包括访问日志（Access Log）、控制日志（Controller Log）和错误日志（Error Log），监控主要从日志以及 Controller中提取 部分 Metric信息。通过 ingress仪表盘可以查看到 PV、UV、流量、延时、错误信息、访问的地域信息等等。步骤1 结合本方案主题问题...
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP， 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系，实现企业员工使用企业OpenLDAP账 号以单点登录（SSO）的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak，并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
配置阿里云 SP作用域 在客户端 Urn:alibaba:cloudcomputing详情页的作用域页签下关闭全范围映射。文档版本：20210616 57 RAM角色以 KeyCloak集成企业 OpenLDAP身份认证 KeyCloak中添加阿里云为 SAML服务提供商 8.5.配置阿里云 SP客户端模版 在客户端 Urn:alibaba:cloudcomputing 详情页的客户端模版页签下删除 Assigned ...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
Function Compute 实现弹性音视频处理系统 最佳实践 架构图 场景描述 本示例通过 Function Compute 部署一个高弹 性高可用的音视频处理系统。尤其适合视频网站 使用，每天有大量的上传视频，需要及时转码处 理以适配各种终端及网络条件，要求短时间内准 备大量的计算资源进行大规模并行转码处理，同 时希望基于 FFmpeg自建...
Openstack迁移DDH
场景描述 在线下IDC中，很多用户使用OpenStack构建云环境，本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机（DDH）上，从而实现业务平滑 上云的同时，显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
注意：MAC默认会安装失败，需要到安全性与隐私配置中允许VirtualBox。2.2.下载部署脚本 打开terminal工具，创建测试文件夹。[jinghai@aliDesktop]>cd~/Desktop/[jinghai@aliDesktop]>mkdir-popenstack[jinghai@aliDesktop]>cdopenstack/下载环境部署脚本。文档版本：20200312（发布日期）6 Openstack迁移DDH 部署OpenStack...
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程，模拟了数据库迁移所需的工作，帮助您快速上手。
数据库采用高可用架构，支持跨可用区容灾，给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程，模拟了数据库迁移所需的工作，帮助您快速上手。体验本方案预计费用不超过3元（假设资源运行时间不超过1小时，如果调整资源规格、使用时长，或执行本方案以外的操作，可能会导致费用发生变化，请以控制台...
来自：
解决方案
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
修改 default 分组允许访问的 IP 名单，为方便演示，可以暂时设置为 0.0.0.0/0，后续强 烈建议修改为和业务相关的 IP 名单，增加安全性。23 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 2.2.记录 MongoDB连接地址 步骤1 进入数据库链接页面，可以看到 ...
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
查看更多了解 RDS MySQL 定价策略,持续管控和优化成本安全合规云数据库 RDS MySQL 基于飞天分布式系统和全 SSD 盘高性能存储，在网络通信、数据存储、访问控制、安全审计、实例容灾等多个维度提供全方位多样化的安全加固功能，一站式保障用户数据的可靠性和安全性。网络安全攻击防护：RDS 提供多种攻击防护的手段，包括防 ...
来自：
云产品
数据库自动扩缩容和自动SQL优化
方案使用数据库自治服务DAS实现RDS MySQL数据库的自动扩缩容和自动SQL优化，将基于人工的手动式运维转变为基于智能的主动式持续优化，具有数据库运维成本低，服务稳定性高的优势。
相关产品云服务器 ECS云数据库 RDS MySQL 版数据库自治服务 DAS专有网络 VPC在线咨询方案优势节省管理成本使用一个平台管理数据库，降低管理复杂性，同时提供数据库自感知、自修复、自优化、自安全的服务，减少数据库的管理成本。提升稳定性根据业务负载实时调整数据库配置，保证高负载期的性能，减少业务负载波动引起的宕...
来自：
解决方案
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
高安全等级，保证数据库安全性.支持自定义备份策略，可按备份集、时间点克隆实例，通过克隆实例恢复到任意时间点，找回误删数据.小版本自动在线热升级，及时修复已知Bug。支持一键大版本升级，便捷的大版本升级能力是引擎产品的核心竞争力.资源和引擎双重监控，链接云监控自定义报警策略。目前支持数据库46个Metrics，OS 34...
来自：
云产品
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
了解云数据库 SelectDB 版定价策略，持续管控和优化成本安全合规安全体系专有网络：实例部署到专有网络（VPC），安全性高于传统的经典网络。访问控制：通过设置 IP 白名单，可以为实例提供更高安全等级保护。资源隔离分层隔离：支持在阿里云账号、VPC、子网、实例、集群等多层级进行网络或资源隔离，避免相互之间影响，可以...
来自：
云产品
数据库备份DBS
数据库备份（Database Backup，简称DBS）是为数据库提供连续数据保护、低成本的备份服务。它可以为多种环境的数据提供强有力的保护，包括企业数据中心、其他云厂商、混合云及公共云。通过使用阿里实时数据流技术，实现数据库秒级备份，秒级恢复，保障数据安全。
通过阿里云专线、公网+IP白名单+SSL，将数据实时备份至备份场地，保证异地备份安全性。数据库实例释放后，跨地域备份数据仍会按照设置的保留时间进行保留.数据库备份DBS助力小打卡实现上亿级数据轻松备份，秒级RPO，日志内存实时捕获，任意时间点恢复，并借助秒级沙箱实例和备份数据查询激活冷数据，大幅降低了海量数据的...
来自：
云产品
云数据库专属集群MyBase
云数据库专属集群MyBase是阿里云专为企业级用户定制优化的解决方案。支持MySQL、PostgreSQL、SQL Server、Redis和MongoDB数据库。具有云资源独享、支持资源超分配，自主可运维、开放权限等特点。MyBase不仅能保障客户独享云资源更加安全、享受到云数据库服务的便捷灵活，同时还满足企业对数据库合规性、安全性和高性能的要求。
MyBase 在保障客户独享云资源更加安全、享受到云数据库服务的便捷灵活的同时，还满足企业对数据库合规性、安全性和高性能的要求.云数据库专属集群 MyBase.因产品规划调整，2023年08月31日起，停止售卖 MyBase 托管版实例.MyBase 超高性价比的专属数据库.基于 MyBase 构建自主可控数据库和高弹性应用实践.数字化城市创新行｜...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您