大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
MaxCompute已与数据集成、DataWorks、QuickBI、机器学习 PAI、ADB、推荐引擎、移动数据分析等大数据产 品打通，可快速集成使用，轻松应对各种大数据应用场景。本文以线下现有业务大数据离线数仓建设为背景，介绍如何在现有业务应用系统零 改造的前提下，从 Kafka集群切入，打通数据上云链路，解决数据复杂类型支持和 动态...
数据安全解决方案
数据是企业的核心资产，如何保护企业的云上数据，是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时，阿里云根据自身多年的经验积累，结合大量云上客户的最佳实践，提供了一套完整的数据安全解决方案，帮助企业提升云上数据风险防御能力，实现企业核心及敏感数据安全可控。
从云上海量数据中发现、分类和保护敏感数据，分析使用情况并进行风险预警，帮助用户防止数据泄露和满足GDPR等合规要求.网站和移动应用（APP）提供HTTPS保护，对流量加密，防止数据被窃取。与云产品深度集成，一键部署，实现证书自动续签.密钥管理服务（KMS）提供安全合规的密钥托管和密码管理服务，助您轻松使用密钥来加密...
来自：
解决方案
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
应用范围 需要使用阿里云 EMR+本地盘进行大数据业务前进行性能测试的用户 线下自建大数据集群用户需要迁移到阿里云云上 EMR+本地盘进行大数据分析性 能对比测试的用户 名词解释 VPC：Virtual Private Cloud，简称 VPC。基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
获取ECS网络信息 本章节，我们以ECS资源的网络配置数据为例，使用 python脚本模拟将资源配置数 据导入企业自有系统。用到了配置审计的 API，在使用前需要导入阿里云 SDK 核心库:aliyun-python-sdk-core：在多账号情况下，列出主账号下指定账号 组的所有资源数据：在多账号情况下，查询指定资源的详细数据 注意：上述两个...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
兼容 Greenplum开源数 据仓库，MPP全并行架构，广泛兼容 PostgreSQL/Oracle的语法生态，新一代向 量引擎性能超越传统数据库引擎 10倍以上，分布式 SQL优化器实现复杂查询语 句免调优。实现了对海量数据的即席查询分析、ETL 处理及可视化探索，是各行 业有竞争力的云上数据仓库解决方案。Hologres是一站式实时数据仓库引擎，...
云数据库 RDS MySQL版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
读《云数据库 RDS MySQL 从入门到高阶》，你有哪些心得？周末在社区阅读了《云数据库 RDS MySQL 从入门到高阶》这本书，虽然只有60余页，但内容翔实，循序渐进，对于刚接入云数据库服务的开发者是一本很实用的科普手册。下面谈谈我阅读完此书对 RDS MySQL 的理解。云数据库 RDS MySQL 将 MySQL 的部署、运维、弹性、安全等...
来自：
云产品
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时，IT人员通常会面临以下问题，本文希望通过场景实践的方式，示范如何结合使用不同阿里云产品，来解决这些问题：用户如何管理？企业已有AD用户如何上云？云上共享文件服务权限怎么管？数据安全问题有保障吗？该如何设置？云桌面能使用本地机房或IDC中的服务吗？ 本文使用的应用场景： 场景1：客户A在云上新建Windows ActiveDirectory（以下简称AD）；弹性云桌面，和NAS文件存储服务部署在AD所在的VPC内。场景2：客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3：客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势： 易部署：弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用，配置实时生效，快速完成部署。 低成本：弹性云桌面无需前期传统硬件投资，帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道，比建立专线更便宜，快速实现混合云。 安全性：VPN网关使用IKE（秘钥交换协议）和IPSec对传输数据或进行加密，保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控：通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云，和文件级别的权限管控。
广泛应用于容器存储、大数据分析、Web 服务和内容管理、应用程 序开发和测试、媒体和娱乐工作流程、数据库备份。支持冷热数据分级存储。详情请查看：https://www.aliyun.com/product/nas CEN 云企业网（Cloud Enterprise Network）提供一种能够快速构建混合云和分布式 业务系统的全球网络，帮助用户打造一张具有企业级规模...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
文件分发(将经典网络文件向VPC网络传输)经典网络中往往有数据文件需要传输到新的VPC网络,这步演示两个不同网络间服务器上文件 的传输方式.3.1.创建VPC的文件分发服务器 1在ECS控制台点击右侧创建实例 选择按量付费 华东1杭州的可用区F 规格2C8G 页面下来,继续选择 公共镜像CentOS7.664位 点击下一步网络和安全组 文档版本：...
Serverless 应用引擎SAE
Serverless 应用引擎 SAE（Serverless App Engine）是一款零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 让您免运维 IaaS和 K8s，秒级完成从源代码/代码包/ Docker 镜像部署任何语言的在线应用（如 Web /微服务 /Job任务）到 SAE，并自动伸缩实例按使用量计费，开箱即用日志、监控、负载均衡等配套能力。
与在虚机/K8s上部署应用，SAE有哪些优势？如何在 SAE 直接通过源码部署应用.SpringCloud 应用如何无缝迁移到 SAE.SAE 助力修正商城 3 周内提升系统承载能力 20 倍.敦煌智旅：Serverless 初探，运维提效 60%.飞天发布时刻：Serverless产品全新升级.通过源代码一分钟部署在线游戏“Cannon Man”.29A_活动与推广.29A_【标题】...
来自：
云产品
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
创建运维规则 运维规则用来规定哪些运维人员有哪些服务器的运维权限。步骤1 进入堡垒机实例管理页面，并前往授权规则页面。步骤2 单击页面的新建运维规则。步骤3 在新建运维规则页面，完成运维规则配置。 规则名称：等保3演示 主机：关联app001,app002 用户：关联ram_pe用户。文档版本：20220210 93传统企业业务...
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属，利用云计算平台提供的弹性基础设 施，降低部分运维成本和学习成本，使用其 擅长的技术工具专注自身业务，实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
（具体操作请参见4.1.2章节）步骤2 将鼠标放置在左侧导航栏已创建的vCenterServer上，打开右键带单，并选择新建数 据中心。文档版本：20191121 63 VMwareon弹性裸金属 安装和部署VMware 步骤3 在新建数据中心对话框中，输入数据中心名称，并单击确定。示例中使用Datacenter 作为数据中心名称。4.1.4.添加ESXI主机 步骤1 ...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
MaxCompute向用户提供了完善的数据导入方 案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有 效 降 低 企 业 成 本，并 保 障 数 据 安 全。详 见：https://help.aliyun.com/product/27797.html Dataworks：DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引 文档版本：20210802（发布...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
消费者资产运营分析解决方案
阿里云消费者资产运营分析解决方案是以数据中台为底座的消费者资产运营分析解决方案，依靠AIPL和FAST等消费者资产运营方法论，与阿里巴巴各业务平台及数据银行打通联动，解决品牌商家以前营销活动与销售转化、广告投放到店内引流、用户购买追踪与再触达等环节难以形成闭环的痛点，支撑全域的消费者营销运营。
基于数据中台为底座的消费者资产运营分析解决方案，依靠AIPL和FAST等消费者资产运营方法论，与阿里巴巴各业务平台打通联动，解决品牌商家营销活动与销售转化、广告投放到店内引流、用户购买数据管理与再触达等环节难以形成闭环的痛点，提升全域的消费者营销运营.下载零售智能变革白皮书.谢赟辉,靖鑫,也树.以数据中台为基座...
来自：
解决方案
DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks，承担集团99%数据业务构建。
全方位覆盖大数据平台的数据存储、数据集成、数据管理与治理、数据开发、数据处理及分析、数据服务、高可用、平台管理、系统运维、数据安全等能力.2022世界互联网领先科技成果.阿里云一体化大数据智能计算平台ODPS（Open Data Platform and Service）入选世界互联网领先科技成果，10余年来持续迭代，提供了实时离线一体、流...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您