基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
云资源初始化已经通过模版设 置。下载Democode地址：使用gitclonehttps:/best-practice:Abcd123456@codeup.aliyun.com/best-practice/bp/199.git 基础资源环境规划：类型 配置项 说明 备注 地域 深圳 华东2（上海）地域 名称 bigdata-vpc 基于模版新建 专有网络 支持导入已保 IPv4网段 192.168.0.0/16 有资源 名称 Vswitch_...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
'warn','debug','error','fatal')product=('geekSDKLog','heekSDKLog','webLog','appLog')def generate_log(count=10):f=open("/var/log/gen.log","w+")文档版本：20201020 18 基于 Dataworks的大数据一站式开发及数据治理 日志采集 while count>=1:now=int(round(time.time()*1000))cs=now-random.randint(20,50)rg=now-...
云服务器基准性能测试
本最佳实践适合利用标准的benchmark工具对云服务器的CPU、内存、网络和磁盘性能进行测试的场景。
支持较多阿里云服务的配置和管理。用户可以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管 理。详见 https://www.aliyun.com/product/developerservices/cadt 文档版本：20220218 III 云服务器基准性能测试 目录 目录 文档版本信息.I 法律声明.I 前言.II 目录.IV 最佳实践概述.1 前置条件.2 1.概述.3 2....
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
诺亚面向高净值客户提供复杂资产配置服务，高端金融服务的业务属性天然带有“行少列多”的数据特点，需求极为复杂，是数据服务的深水区，如果不是抱着用数据改变行业的决心和过硬的技术，是很难服务好金融行业客户的。Hologres的小伙伴不仅亲自来诺亚为我们提供了高水平的培训，还不厌其烦地解答我们的各类问题，甚至我们...
来自：
云产品
企业多账号配置统一合规审计
面向企业的各中心管理团队提供一种面向多账号的合规管理方案。从上而下的实施统一的合规基线并强制管理，可中心化的持续监测所有业务的合规状态。提升中心管理团队工作的可见性可控性，切实起到监管效力，规避潜在风险。
相关产品资源管理配置审计云服务器 ECS云企业网 CENWeb应用防火墙 WAF对象存储 OSS在线咨询方案优势持续的合规审计配置审计为您持续监控资源的配置变更，并在变更时自动触发合规评估，为您实现合规性的自主监管。丰富的预置模板您可以根据自身要求启动相应的合规项，配置审计将对目标资源进行持续检测，并通过修正模板对不...
来自：
解决方案
应用配置服务
应用配置管理（Application Configuration Manangement，简称 ACM），是一款在分布式架构环境中对应用配置进行集中管理和推送的工具类产品。基于该产品，您可以在微服务、DevOps、大数据等场景下极大地减轻配置管理的工作量，增强配置管理的服务能力。
支持配置变更监听，大规模分布式环境下配置变更推送秒级完成，配置保证最终一致.配置变更实时响应.提供一键回滚，配置变更审计，推送轨迹等多项功能.丰富的版本管理.通过多级缓存设计，99.99%服务端可用性基础上，保证客户端容灾能力，服务中断不影响业务.高性能，高可靠.微服务引擎 MSE.文档&SDK.微服务引擎 MSE.文档&SDK....
来自：
云产品
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
云上持续审计合规 最佳实践 业务架构 场景描述 企业会面临外部对企业云上信息系统的合规要求，如等 保 2.0法规要求，同时当云上资源达到一定规模时，在 内部会制定合规管控的基线，满足自身管理效率和安全 合规的需求，包括记录云上资源管理的操作日志、资源 配置变更日志，还需依赖云平台提供的持续监控和自动 告警能力，...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
配置审计定义 配置审计（Config）是一项资源审计服务，提供面向资源的配置历史追踪、配置合规 审计等能力，面对大量资源，帮您轻松实现基础设施的自主监管，确保持续性合规。更多信息请参考 https://help.aliyun.com/document_detail/127388.html 3.2. 创建账号组 默认状态下，配置审计覆盖当前登录账号的所有资源。在资源...
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施，集团 旗下有多个分公司（如制造分公司和销售分公 司），各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴，拟达到以下 业务目标： 1. 各个分公司拥有独立的账号，可以购买云资 源，由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建，分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
配置审计 配置审计（Config）是一项资源审计服务，提供面向资源的配置历史追踪、配置合规审 计等能力，面对大量资源，帮您轻松实现基础设施的自主监管，确保持续性合规。更 多信息请参考 https://help.aliyun.com/document_detail/127388.html 本章节通过企业管理账号创建一个简单的配置审计规则：成员账号创建的资源（专有...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
组 高可用 是-部署方式 2 master-实例选型配置 实例组：Master实例-文档版本：20210128 36 多账号下企业分账最佳实践 资源规划清单 实例数量：2 当前机型：ecs.g6.xlarge（4c 16g）系统盘配置：cloud_essd 系统盘大小：120 数据盘配置：cloud_essd 数据盘大小：80 实例组：Core实例-实例数量：2 当前机型：ecs.g6.xlarge...
- 产品推荐
- 这些文档可能帮助您