基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
利用函数计算 FC，可以快速高效的搭建数据处理链路，用户只需要 关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函 产品列表 数计算 FC也支持多种下游，OSS/数据库/消息队 列/ES等都可以自定义的对接。专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 ...
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境，对业 务数据有云上备份需求。在客户交流过程中，基 于数据高可用和灾备需求，要求将数据备份至阿 里云OSS的存储空间，同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC，ECS，DBS，VPN网关，OSS
扩展性 除了支持备份阿里云数据库，DBS还支持将 ECS自建数据库、本地机房数 据库、其他云厂商数据库备份到阿里云上。除了支持恢复到原始数据库，DBS还支持恢复到其他环境，如本地数据库通 过 DBS备份，恢复到阿里云数据库上。文档版本：20210812 2 DBS通过 IPSec VPN备份自建数据库 前置条件 前置条件 在进行本文操作之前，...
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
其中杭州部署 MySQL数据库和数据库网关，上海部署 PgSQL数 据库。注意：上述模板中“自建 MySQL”和“自建 PgSQL”已经和公网 IP绑定，在部署完 数据库软件后，可以解绑公网 IP。模拟仅有内网 IP的数据库服务器。步骤3 部署所有资源。单击部署资源，单击下一步，直到完成资源部署。文档版本：20201224（发布日期）8 混合云...
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
数据湖构建（Data Lake Formation，DLF）作为云原生数据湖架构核心组成部分，帮助用户简单快速地构 建云原生数据湖解决方案。数据湖构建提供湖上元数据统一管理、企业级权限控 制，并无缝对接多种计算引擎，打破数据孤岛，洞察业务价值。（https://www.aliyun.com/product/bigdata/dlf）云速搭 CADT：是一款为上云应用提供...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向，数据湖偏向灵活性，数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊，数据湖自身的治理能 力、数据仓库延伸到外部...
对象存储 OSS
阿里云对象存储 OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云备份服务，提供最高可达 99.995 % 的服务可用性。多种存储类型供选择，全面优化存储成本。
立即购买免费试用快捷入口控制台文档APISDK产品定价常用工具05:03快速了解对象存储 OSS产品动态内容甄选新功能OSS 设置 TLS 版本功能发布2023.09.19新功能OSS 归档直读发布2023.06.30新功能OSS Bucket 存储冗余类型转换发布2023.06.28精选特惠"存"享优惠，新老用户同享2023.11.01最新活动Stable Diffusion 模型库，AIGC ...
来自：
云产品
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
注：实际当扩展 WordPress Pod实例时，需要使用统一的持久化存储来保证数 据一致性。本例中重点介绍 ECI的资源使用，故此处简化略去。步骤6 完成以上修改后，在 namespace blog下创建 WordPress应用。文档版本：20210520 49 混合云 IDC自有 K8S弹性使用 ECI ECI使用示例 步骤7 创建完成后，点击返回箭头确认应用状态。文档...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
更多信息，请参见 www.aliyun.com/product/dts 云数据库 RDS MySQL 版：云数据库 RDS MySQL 版是全球最受欢迎的开源数 据库之一，作为开源软件组合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，广泛应用于各类应用场景。更多信息，请参见 www.aliyun.com/product/rds/mysql 文档版本：20210416 IV 云 ...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
Function Compute构建高弹性大数据采集系统 最佳实践 业务架构 场景描述 当前互联网很多场景都存在需要将大量的数据 信息采集起来然后传输到后端的各类系统服务 中，对数据进行处理、分析，形成业务闭环。比 如游戏行业中的游戏发行、游戏运营，产互行业 中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
pip install PyMySQL 若安装的 PyMySQL 版本号>1.0，修 改 数 据 库 连 接 语 句 为：db=pymysql.connect(host=dbhost,user=dbuser,password=dbpass,database=dbname)步骤4 通过运行脚本 python insert_demodata_into_TDE_finance_table.py(使用前先替换文 件里 rds的域名，用户名以及密码)，往 finance表中插入一条数据，...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
RDS：Relational Database Service，简称 RDS，是一种稳定可靠、可弹性伸缩 的在线数据库服务。基于阿里云分布式文件系统和 SSD盘高性能存储，RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎，提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。云速搭 CADT：是一款为上云...
大数据workshop
大数据workshop
在 HoloWeb控制台，选择 SQL编辑器，然后点击新增 SQL窗口，选择对应的数 据库，编辑填写相应的 DDL建表语句（默认数据表的属性是列存模式，列存模式更 适合 OLAP数据分析，数据表的行存模式更适合高 QPS点查询场景）。1.首先创建 ads_province_info表。文档版本：20210628（发布日期）42 阿里云最佳实践大数据 WorkShop ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
在HoloWeb控制台，选择SQL编辑器，然后点击新增SQL窗口，选择对应的数 据库，编辑填写相应的DDL建表语句（默认数据表的属性是列存模式，列存模式更 适合OLAP数据分析，数据表的行存模式更适合高QPS点查询场景）。1.首先创建ads_province_info表。文档版本：20210803（发布日期）39阿里云最佳实践金融大数据WorkShop 最佳...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
比如数据是否要做到无状态，无状态的话水平 文档版本：20210519 3 新零售商超基于 Serverless服务化改造 前置条件 扩展会比较容易，而如果是有状态，数据可能就需要做缓存，这就会涉及到数 据库相关的问题，例如数据过期、一致性等。如果对这些了解不够透彻，做水 平扩展就会比较困难。ￚ 水位监控 许多开发者在水位监控上...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
文档版本：20210617 14 企业上云 workshop-IDC业务迁移上云 RDS实例配置 2.RDS实例配置 使用云架构设计工具 CADT完成资源环境部署后进入资源配置阶段，首先登录阿里云 官网，对 RDS资源实例进行初始化配置，确认 Wordpress应用数据库用户、创建数 据库以及配置数据库集群访问白名单，并记录数据库集群访问地址。2.1.确认...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
如果 binlog没有打开，那么需要修改源数 据库配置文件中的 log_bin，开启二进制日志 log_bin=mysql_bin。配置完成后重启源 数据库,参考 MySQL，重新进行预检查。访问数据库：mysql-h-P 3306-u admin-p 输入密码：show global variables like"log_bin;文档日期：20200114 30 小型互联网迁移上阿里云最佳实践 数据迁移准备 ...
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户，每天都在经 历各种各样的“搜索”，查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库，Elasticsearch只需要几毫秒的 时间，即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性，能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
关系型数据库 RDS：Relational Database Service，简称 RDS，是一种稳定可靠、可弹性伸缩的在线数据库服务。RDS基于阿里云分布式文件系统和 SSD盘高性 能存储，支持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎，提 供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维 的烦恼。更多信息，...
办公安全平台SASE
阿里云办公安全平台（Security Access Service Edge）依托阿里云海量的边缘节点，将安全能力延伸至用户边缘，为企业分支机构/门店、远程移动办公场景的访问互联网及云上服务流量提供就近接入的安全防护能力。
依托阿里云的威胁情报数据，可为用户提供30+个大类，上千万量级的URL特征库，可以识别并拦截员工访问恶意网站的行为，防止办公终端中招的同时，也保障企业内部网络的安全水位.URL访问管控.自研HTTPS加密传输协议，基于动态身份认证，支持端到端（tcp）、端到应用（HTTP/HTTPS）的最小权限访问控制，相较于传统VPN访问，具备...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您