基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
参数说明 1.endpoint：必须是DLF的跨域域名或者internal域名，具体的可提工单咨询（后 续会提供公网link参考）2.ramRoleArn：如果MaxCompute和DLF是同一账号下且已完成一键授权，则此 参数省略。本例就是省略此参数。若是跨账号授权或者自定义授权请参考附录A 3.ossEndpoint：指定与DLF同地域的OSS内网endpoint。请参考 ...
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
步骤1 按照规划输入基础配置 ➢ 计费方式：按量付费 ➢ 地域：华东 2，可用区 G ➢ 实例规格：ecs.c6.xlarge(4 vCPU 8 GiB,计算型 c6)➢ 镜像：有迁云工具形成的镜像，aws_wordpress 配置完成，单击下一步：网络和安全组。文档日期：20200114 20 小型互联网迁移上阿里云最佳实践 创建 ECS实例 步骤2 按照规划输入网络和安全...
大数据workshop
大数据workshop
步骤4 按照步骤 2~3，为 dwd_paid_order_detail创建 2个订阅、order_detail创建 1个订 阅、log_info创建 1个订阅，分别如下：dwd_paid_order_detail：分别记录为：{ dwd_paid_order_detail_subID_1 }、{ dwd_paid_order_detail_subID_2} order_detail:记录为：{order_detail_subID} log_info：文档版本：20210628（发布日期...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
步骤4 按照步骤2~3，为order_detail创建1个订阅、dwd_paid_order_detail创建2个订阅、workshop_topic创建1个订阅，分别如下： dwd_paid_order_detail：分别记录为：{dwd_paid_order_detail_subID_1}、{dwd_paid_order_detail_subID_2} order_detail:记录为：{order_detail_subID} workshop_topic：文档版本：...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
金融行业从经典网络向VPC容器化改造 最佳实践 业务架构 场景描述 本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC ...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region extends TableFunction>{ private String urlPrefix=...
企业多账号配置统一合规审计
面向企业的各中心管理团队提供一种面向多账号的合规管理方案。从上而下的实施统一的合规基线并强制管理，可中心化的持续监测所有业务的合规状态。提升中心管理团队工作的可见性可控性，切实起到监管效力，规避潜在风险。
法规及行业标准预检配置审计解读CIS、等保2.0、PCI DSS等法规条例，并对应实现云上资源配置的检测。您可以一键开启相关合规包，配置审计将持续为您监控资源的合规性。您还可以下载预检报告，并呈递给检测机构进行审计。云上资源持续性合规配置审计提供了不合规自动修正能力，可以基于自动修正实现资源不合规的快速修复，...
来自：
解决方案
应用配置服务
应用配置管理（Application Configuration Manangement，简称 ACM），是一款在分布式架构环境中对应用配置进行集中管理和推送的工具类产品。基于该产品，您可以在微服务、DevOps、大数据等场景下极大地减轻配置管理的工作量，增强配置管理的服务能力。
通过配置的动态推送轨迹追踪，实时把控每一个配置的推送状态和时效.实时掌握配置动态.同一应用多环境下(如开发，测试，生产)的配置安全隔离.多租户安全隔离.配置推送支持灰度发布、快速回滚，从而有效支持版本快速迭代发布.各类灰度，回滚.让应用代码、运行环境与敏感信息分离，并通过加密配置，最大限度保证配置信息安全性...
来自：
云产品
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
资源管理平台（CMDB）最重 要的是构建完整可靠的底层数据，需要获取各 个云平台的所有资源配置数据，对数据进行持 续的下载、数据格式抽象统一、数据清洗、资 源关系解析和长期留存等处理，用可靠的数据 支持基于资源数据构建的运维管理流程和 Devops 程序。当使用的云平台比较多、使用 云产品比较多样、云上部署规模越来越...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
大数据资源规划 资源归属 资源类别 配置项 配置明细 说明 分公司 B EMR 集群名称 emr_project1，emr_project2 分别创建 2个集群 集群类型 Hadoop-产品版本 EMR-3.32.0-付费类型 后付费-可用区 华东 1 可用区 H EMR 集群创建在交换机 vswitch-分公司 B下，可 用区无需手工填写 安全组名称 sg-emr1，sg-emr2 为两个集群分别...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
配置审计和操作审计 为更好的理解配置审计和操作审计的作用，我们首先对比下这两个产品：文档日期：20210726 2 云上持续审计合规最佳实践 云上 IT系统持续合规 操作审计和配置审计结合起来在企业云管的整个过程中实现持续审计合规。企业的云管 可以简单理解为人对云上 IT资源进行管控操作。操作审计是从操作角度进行审计，...
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施，集团 旗下有多个分公司（如制造分公司和销售分公 司），各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴，拟达到以下 业务目标： 1. 各个分公司拥有独立的账号，可以购买云资 源，由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建，分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
管理 RAM权限 7.1.RAM权限规划 按照以下要求规划 RAM权限，需要创建 2个自定义权限策略 ram_deny和 ecs_reboot。用户组 用户 权限要求 对应权限策略 1）管理所有阿里云资源 系统权限：AdministratorAccess 运维组 sre001 2）没有 RAM管理权限 自定义权限：ram_deny 1）只读开发资源组内资源 系统权限：ReadOnlyAccess 开发...
- 产品推荐
- 这些文档可能帮助您