Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
安装 Fun.23 3.2.编写 template.yml.25 3.3.安装第三方依赖.28 3.3.1.安装 docker.29 3.3.2.启动 docker服务.29 3.3.3.安装 Kafka模块：.29 3.4.部署函数.31 3.4.1.创建数据库.31 3.4.2.登录 DMS并创建表格.33 3.4.3.Kafka配置.34 3.4.4.编写 fc函数.37 4.完善两个函数.42 4.1.第一个函数调用第二个函数.42 4.2.开启函数...
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构，某可用区挂掉后，不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB，RDS，Redis等产品，实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB，RDS，REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
容器跨可用区高可用 最佳实践 部署架构图 场景描述 本实践适合...打开 terminal或者 putty（windows电脑上）连接开发环境 1.[jinghai@ali-6c96cfdfeb75~]$ssh root@${EIP} 2.[root@ecs-test~]#3.4.#安装docker并启动服务 5.6.#yum install-y yum-utils device-mapper-persistent-data lvm2 7.#yum-config-manager-add-repo ...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
比如数据是否要做到无状态，无状态的话水平 文档版本：20210519 3 新零售商超基于 Serverless服务化改造 前置条件 扩展会比较容易，而如果是有状态，数据可能就需要做缓存，这就会涉及到数 据库相关的问题，例如数据过期、一致性等。如果对这些了解不够透彻，做水 平扩展就会比较困难。ￚ 水位监控 许多开发者在水位监控上...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
配置经典网络容器环境 1ssh登陆dev_classic服务器的外网IP sshroot@101.37.252.32 2安装Docker引擎 yum-yinstallyum-utils yum-config-manager-add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum-yinstalldocker-ce 文档版本：20200703（发布日期）7 金融行业从经典网络向VPC容器化改造最佳...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
除了 Navigator能够集成的那些数据源之外，Atlas还支持 NiFi和 Kafka元数 据。业务术语表：Atlas提供了一个 Web界面，用于创建和管理业务术语表，这些术 语可以帮助组织通过标准化来识别和使用数据。Data Profiling：“Data Catalog”提供自动数据标记功能，用于列出常见的数据类 型，也允许用户通过正则表达式标记其他数据...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
比如聚合任务按小时、天维度计算的聚合值，清洗任务加工的按天分区表等，在数据对比时就可以根据对应的时间周期来进对比，比如小时周期的任务实际已完整处理多个小时数据 后，就可以对比处理过的小时数 据，而天维度的聚合值，一般就需要等待新任务处理完完整的一天数 据后才能对比。2、数据规模 中小数据规模:建议进行全量...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
扩容成功后，可以看到实例节点数增加为 2：文档版本：20200106 64 Spring Cloud Netflix应用迁移 EDAS 微服务应用部署 EDAS环境 步骤11 扩容节点配置域名信息。用 ssh登录该扩容节点:ssh-i edas root@{IP_addr} 在/etc/hosts文件增加 auth-service的地址配置信息。步骤12 购买负载均衡。1.登录负载均衡 SLB管理控制台。...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
hive 步骤2 创建数据库 create database aliyun_bp;步骤3 创建表 use aliyun_bp;create table bp_articles(id string,content string);步骤4 插入测试数据记录 insert into table bp_articles values("169","data lake");文档版本：20220402 16 MaxCompute湖仓一体方案 数据湖集成（湖仓一体）3.2.创建 External Project ...
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
测试数据查看 步骤1 按照 2.2小节的方式登录集群的 Master节点,运行 hive命令连接 hive，查询生成的数 据库。Hue(Hadoop User Experience)是一个开源的 Apache Hadoop UI 系统，最早是由 Cloudera.Desktop演化而来，由 Cloudera贡献给开源社区，它是基于 Python Web 框架 Django实现的，通过使用 Hue可以在浏览器的 Web控制...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
获取ECS网络信息 本章节，我们以ECS资源的网络配置数据为例，使用 python脚本模拟将资源配置数 据导入企业自有系统。用到了配置审计的 API，在使用前需要导入阿里云 SDK 核心库:aliyun-python-sdk-core：在多账号情况下，列出主账号下指定账号 组的所有资源数据：在多账号情况下，查询指定资源的详细数据 注意：上述两个...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
npm install@alicloud/fun-g 说明：如果在 Linux 或 MacOS 下执行该命令报错且报错信息为 Error:EACCES:permission denied，请执行命令 sudo npm install@alicloud/fun-g 如果安装过程较慢，可以考虑使用淘宝 npm 源，安装命令为 npm-registry=https://registry.npm.taobao.org install @alicloud/fun -g 步骤2 安装完成...
Openstack迁移DDH
场景描述 在线下IDC中，很多用户使用OpenStack构建云环境，本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机（DDH）上，从而实现业务平滑 上云的同时，显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
DatabaseService(Trove)数据库服务 DataProcessing(Sahara)数据处理 余下章节中，本文将构建一个OpenStack的模拟环境，并实际创建一个虚拟机实例，然后将这个虚拟机实例迁移到阿里云的DDH上。由于模拟环境资源限制，本文用于 演示的实例采用cirros操作系统，cirros是一个极简的定制化的云上OS，详见 ...
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程，模拟了数据库迁移所需的工作，帮助您快速上手。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景RDS 解决的问题如何迁移到 RDS迁移前后对比优惠购买自建数据库迁移到云数据库本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，...
来自：
解决方案
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
25 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 这里数据库名 kafkaToMongoDB 查询 中的数据 2.4.MongoDB 步骤1 双击新建的库，可以看到默认的 test 集合，通过 db.test.find().limit(20);命令可以查询 该集合的数据，可以看到目前该集合中是没有任何数据的。26 文档版本...
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
立即购买免费试用快捷入口控制台文档APISDK价格计算器产品定价04:31RDS MySQL Serverless 发布产品动态内容甄选最新规格RDS 年度必买必续2核4G 100GB，228元/年2023.11.23新功能云数据库 Clouder 认证：掌握 RDS 产品的快速入门2023.11.17降价说明通用云盘支持 IO 加速，基于 BPE 技术可提升50%读写性能2023.10.31RDS+AIGC...
来自：
云产品
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
其中杭州部署 MySQL数据库和数据库网关，上海部署 PgSQL数 据库。注意：上述模板中“自建 MySQL”和“自建 PgSQL”已经和公网 IP绑定，在部署完 数据库软件后，可以解绑公网 IP。模拟仅有内网 IP的数据库服务器。步骤3 部署所有资源。单击部署资源，单击下一步，直到完成资源部署。文档版本：20201224（发布日期）8 混合云...
弹性裸金属自建ORACLE数据库单机版
场景描述 1.客户业务系统选型ORACLE数据库且不愿 做业务改造：由于历史原因，客户业务系统 只支持ORACLE数据库。适配开源数据库 业务改造量大，客户没有技术/时间去做改 造。 2.高性能：客户希望拥有比虚拟机更高的性能 和稳定性，以保障数据库高性能，支撑高并 发的业务系统； 3.高可用：在单机条件下，极端情况下数据库 发生宕机时，客户希望能快速拉起数据库服 务，减少停机时间； 4.数据安全性：极端情况下能找回数据。数据 备份和恢复更方便。
2.如何利用云上资源和产品优势兼顾单机数 据库的可用性；3.如何快速备份和恢复数据库数据，保证云上 数据的安全性。产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP 弹性裸金属服务器 块存储 云速搭 CADT 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 弹性裸金属（神龙）自建 ...
弹性裸金属自建ORACLE数据库双机
场景描述 1.客户业务系统选型ORACLE数据库且不愿做 业务改造：由于历史原因，客户业务系统只支持 ORACLE数据库，客户没有技术/时间去做技术栈 改造。 2.高性能：希望拥有比虚拟机更高的性能和稳定 性，以保障数据库高性能，支撑高并发的业务系 统。 3.高可用：追求数据库服务的高可用，在某一台数 据库服务器宕机时快速切换备机，实现对业务应 用的最小影响。 4.数据安全性：极端情况下能找回数据，数据备份 和恢复更方便。
验证文档内容 文档版本：20220207 I 弹性裸金属自建 ORACLE数据库双机 前言 前言 概述 本实践演示基于弹性裸金属的云上 ORACLE双机搭建最佳实践，通过 DG实现两个 可用区实例数据同步，配合 TAF技术，在主库宕机时将应用连接切换到备库，保障数 据库高可用性。应用范围 第三方云平台或线下 IDC需要使用阿里云日志服务生态。...
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境，对业 务数据有云上备份需求。在客户交流过程中，基 于数据高可用和灾备需求，要求将数据备份至阿 里云OSS的存储空间，同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC，ECS，DBS，VPN网关，OSS
扩展性 除了支持备份阿里云数据库，DBS还支持将 ECS自建数据库、本地机房数 据库、其他云厂商数据库备份到阿里云上。除了支持恢复到原始数据库，DBS还支持恢复到其他环境，如本地数据库通 过 DBS备份，恢复到阿里云数据库上。文档版本：20210812 2 DBS通过 IPSec VPN备份自建数据库 前置条件 前置条件 在进行本文操作之前，...
- 产品推荐
- 这些文档可能帮助您