基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
利用函数计算 FC，可以快速高效的搭建数据处理链路，用户只需要 关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函 产品列表 数计算 FC也支持多种下游，OSS/数据库/消息队 列/ES等都可以自定义的对接。专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 ...
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
其中杭州部署 MySQL数据库和数据库网关，上海部署 PgSQL数 据库。注意：上述模板中“自建 MySQL”和“自建 PgSQL”已经和公网 IP绑定，在部署完 数据库软件后，可以解绑公网 IP。模拟仅有内网 IP的数据库服务器。步骤3 部署所有资源。单击部署资源，单击下一步，直到完成资源部署。文档版本：20201224（发布日期）8 混合云...
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境，对业 务数据有云上备份需求。在客户交流过程中，基 于数据高可用和灾备需求，要求将数据备份至阿 里云OSS的存储空间，同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC，ECS，DBS，VPN网关，OSS
扩展性 除了支持备份阿里云数据库，DBS还支持将 ECS自建数据库、本地机房数 据库、其他云厂商数据库备份到阿里云上。除了支持恢复到原始数据库，DBS还支持恢复到其他环境，如本地数据库通 过 DBS备份，恢复到阿里云数据库上。文档版本：20210812 2 DBS通过 IPSec VPN备份自建数据库 前置条件 前置条件 在进行本文操作之前，...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
pip install PyMySQL 若安装的 PyMySQL 版本号>1.0，修 改 数 据 库 连 接 语 句 为：db=pymysql.connect(host=dbhost,user=dbuser,password=dbpass,database=dbname)步骤4 通过运行脚本 python insert_demodata_into_TDE_finance_table.py(使用前先替换文 件里 rds的域名，用户名以及密码)，往 finance表中插入一条数据，...
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
湖仓一体架构 EMR元数据迁移 DLF最佳实践 业务架构 场景描述 解决的问题 通过 EMR+DLF数据湖方案，可以为企业提供数据 EMR元数据迁移至 DLF 湖内的统一的元数据管理，统一的权限管理，支持多 元数据迁移验证 源数据入湖以及一站式数据探索的能力。本方案支 数据一致性校验 持已有 EMR集群元数据库使用 RDS或内置 MySQL ...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
更多信息，请参见 www.aliyun.com/product/dts 云数据库 RDS MySQL 版：云数据库 RDS MySQL 版是全球最受欢迎的开源数 据库之一，作为开源软件组合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，广泛应用于各类应用场景。更多信息，请参见 www.aliyun.com/product/rds/mysql 文档版本：20210416 IV 云 ...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
目前，EIP可绑定到专有网络类型的 ECS实例、专有网络类 型的私网 SLB实例、专有网络类型的辅助弹性网卡、NAT网关和高可用虚拟 IP 上。更多信息，请参见：help.aliyun.com/document_detail/32321.html AnalyticDB（简称 ADB）：分析型数据库 MySQL版（AnalyticDB for MySQL）是一种高并发低延时的 PB 级实时数据仓库，全面...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
函数计算的高级设置：函数实例类型：根据函数承载的业务属性以及运行函数时对资源的消耗情况选择不同的实例类 型。这里选择弹性实例，因为需要更强的横向扩展能力。弹性实例：函数执行内存 128MB—3072MB，代码包大小上限 50MB，函数执行时长上限 600s，磁盘大小 512MB。性能实例：实例规格最大为 8C16GB，代码包大小为 500...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
附录B-T表示table_properties，用于配置默认的Table的FileFormat/RowFormat，为map 数据类型，包含如下配置项(可以在odpscmd中执行helpexternalproject查看帮助信 息)：1.storage_handler用于指定存储时storedby所使用的handler，如 org.apache.hadoop.hive.hbase.HBaseStorageHandler，设置后忽略除 serde_properties外的...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
Hologres常见使用场景 联邦分析实时数据和离线数据 业务数据分为冷数据和热数据，冷数据存储在离线数据仓库MaxCompute中，热数 据存储在Hologres中。Hologres可以联邦分析实时数据和离线数据，对接BI分析 工具，快速响应简单查询与复杂查询的业务需求。图1.联邦分析架构图 实时数据仓库 实时写入业务数据至实时计算，使用...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
注：实际当扩展 WordPress Pod实例时，需要使用统一的持久化存储来保证数 据一致性。本例中重点介绍 ECI的资源使用，故此处简化略去。步骤6 完成以上修改后，在 namespace blog下创建 WordPress应用。文档版本：20210520 49 混合云 IDC自有 K8S弹性使用 ECI ECI使用示例 步骤7 创建完成后，点击返回箭头确认应用状态。文档...
大数据workshop
大数据workshop
在 HoloWeb控制台，选择 SQL编辑器，然后点击新增 SQL窗口，选择对应的数 据库，编辑填写相应的 DDL建表语句（默认数据表的属性是列存模式，列存模式更 适合 OLAP数据分析，数据表的行存模式更适合高 QPS点查询场景）。1.首先创建 ads_province_info表。文档版本：20210628（发布日期）42 阿里云最佳实践大数据 WorkShop ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
在HoloWeb控制台，选择SQL编辑器，然后点击新增SQL窗口，选择对应的数 据库，编辑填写相应的DDL建表语句（默认数据表的属性是列存模式，列存模式更 适合OLAP数据分析，数据表的行存模式更适合高QPS点查询场景）。1.首先创建ads_province_info表。文档版本：20210803（发布日期）39阿里云最佳实践金融大数据WorkShop 最佳...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
如果 binlog没有打开，那么需要修改源数 据库配置文件中的 log_bin，开启二进制日志 log_bin=mysql_bin。配置完成后重启源 数据库,参考 MySQL，重新进行预检查。访问数据库：mysql-h-P 3306-u admin-p 输入密码：show global variables like"log_bin;文档日期：20200114 30 小型互联网迁移上阿里云最佳实践 数据迁移准备 ...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
关于 HiveSQL修改为 ODPS SQL的过程，目前暂未提供自动化工具进行修改，但是根据经验大部 分的 HiveSQL关键字、数据类型、自建函数，都可以在 ODPS SQL中找到，有少部分需要进行语 法改造。关于 ODPS SQL 的详细介绍，请参考：MaxCompute>开发>SQL 及函数（https://help.aliyun.com/document_detail/27860.html）步骤2 创建...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
H-数据库专名称 Mybase 有集群主 支付方式 包月 机 引擎 MySQL 存储类型 ESSD云盘 可用区 杭州，可用区 H 主机规格 8核 16GB 数量 2 Mysql 版本 5.7 系列 高可用版 存储类型 ESSD云盘 存储空间 100G 部署方案 默认策略（均匀型）数据库名/编码/账wordpress/utf8/wp_admin(-号/密码 高权限)/*白名单：sg-bptest安全组白名单-...
- 产品推荐
- 这些文档可能帮助您