基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
这里相当于添加一个非阿里云官方的公共层,也就是 Python 的 MongoDB PyMongo4.6.1。将其挂载到函数中,这样在函数中就可以正常使用这个了。31 文档版本:20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 ARN 的地址为:acs:fc:{region}:1730431480417716:layers/Python3x-PyMongo...
来自: 最佳实践 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
g)KMS 加密:为 ECS云盘,NAS提供数据加密能力。h)操作审计/SLS:GxP合规要求,为云上所有操作进行审计跟踪,数据留存在 SLS 日志中。i)云防火墙:提供云环境的边界安全。2、通过云速搭 CADT模板部署,将自动化完成以下任务:模板将自动化完成上述产品实例的构建,以及云资源之间的关联关系绑定。同时本方案提供一个初始...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
加密服务基于硬件加密机提供云上数据解密服务,满足国内监管要求,提供国密算法能力,并且满足国际FIPS 140-2/3的安全合规监管要求。密钥管理服务提供安全合规的密钥托管和密码服务,助您轻松使用密钥来加密保护敏感的数据资产,控制云上的分布式计算和存储环境。数据安全中心(敏感数据保护)可提供敏感数据识别、分级...
来自: 云产品
云上持续审计合规最佳实践
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
运行语言Python3 函数入口:index.handler 函数执行内存:选择默认的 512MB(最大 3072MB,如果不够可提交申请)超时时间:默认 60s(最大 300s,可提交申请)步骤5 在线编辑,将准备的 index01.py文件输入。文件获取“git clone https://code.aliyun.com/best-practice/114.git ”如下代码片段中,替换用户自己的 AK/SK...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
企业上云数据安全
企业上云数据安全
场景描述 企业是否选择上公共云,或者哪些系统或数据上 公共云,对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴,即首先使用SDDP产品进行敏感数据发 现和分级分类,然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
2.本地加密数据:本地客户端接收到 KMS返回的数据明文密钥(Data key)以及数据 密文密钥(Encrypted data key)后,将使用数据明文密钥(*Data key)进行本地 ,并且将加密后的对象以及数据密文密钥(Encrypted data key)上传至 OSS;3.下载对象:客户端首先会从 OSS服务端下载加密的对象以及作为对象元数据存储 的数据密文...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,密钥管理服务,敏感数据保护,云速搭CADT
云Clickhouse冷热数据分层存储
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案,本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系,稳定性高,数据倾斜自动均衡。 2. 完善的数据同步链路,可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse,降低研发成本。 3. 平滑升级版本,业务中断小。 冷热分层后透明读取,帮客户节约整体数据存储成本。
更多信息,请参见 www.aliyun.com/product/dts 云数据库 RDS MySQL 版:云数据库 RDS MySQL 版是全球最受欢迎的开源数 据之一,作为开源软件组合 LAMP(Linux+Apache+MySQL+Perl/PHP/Python)中的重要一环,广泛应用于各类应用场景。更多信息,请参见 www.aliyun.com/product/rds/mysql 文档版本:20210416 IV 云 ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,日志服务(SLS),云数据库 ClickHouse
DBS通过IPSec VPN备份自建数据库
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境,对业 务数据有云上备份需求。在客户交流过程中,基 于数据高可用和灾备需求,要求将数据备份至阿 里云OSS的存储空间,同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC,ECS,DBS,VPN网关,OSS
使用 DBS SDK(Python)批量创建和配置备份任务 DBS的备份计划和数据库实例是一一对应的关系,如果客户业务系统有大量数据库 实例需要采用 DBS进行云上备份时,客户可以选择自己熟悉的编程语言并结合 DBS SDK,完成批量创建、配置、启动备份任务等工作。本实践方案中以 Python SDK为例,演示如何批量创建和配置备份任务。4....
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,数据库备份DBS,云速搭
阿里云最佳实践离线大数据workshop
阿里云最佳实践离线大数据workshop
本最佳实践,首先搭建一个简化的电商 demo 系统,然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统,学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建,学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
详见:https://www.aliyun.com/product/ecs  云数据库RDSMySQL版:云数据库RDSMySQL版是全球最受欢迎的开源数据 之一,作为开源软件组合LAMP(Linux+Apache+MySQL+Perl/PHP/Python)中 的 重 要 一 环,广 泛 应 用 于 各 类 应 用 场 景。详 见:https://www.aliyun.com/product/rds/mysql  OSS:海量、安全、低成本...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
视觉人像通用技术解决方案
视觉人像通用技术解决方案是基于阿里达摩院 AI 技术,面向开发者和企业用户,提供人像比对、人像建库、人像搜索及权威人像身份核验等多品类的云上人像能力,应用于数智门店,无感考勤、通行、身份识别,刷脸支付,在线教育等多种场景。
主要面向支付、挂失、解冻、转账、取款、信贷、理财等需要判断是否真人的认证场景,结合身份证识别、人像比对、真人检测、人像核身等多项组合能力,快速进行用户身份核验,防止身份作假,提高信息安全.主要面向线上培训、线上考试、报道打卡等需要...下载 API 接口 SDK,支持 Java、Python、Node.js、PHP 、C# 五种常用语言.
来自: 解决方案
Serverless图片分类和身份证过滤
Serverless图片分类和身份证过滤
场景描述 场景一:大型图库智能管理通过深度学习算法,自动识别图像中的常见的场景,客户可以基于函数计算对接智能媒体管理的图像识别功能,轻松实现图片的自动管理和分组,完成大型图像库的智能管理。 场景二:身份证图片过滤 通过扫描存储在OSSbucket中的图片,通 过智能媒体管理进行身份证识别,找到海量图片中的身份证图片,对敏感信息进行处理。 解决问题 1.通过无服务器计算实现图片处理自动化 2.OSS触发器的使用 3.使用函数计算调用阿里云的AIP或SDK 产品列表 函数计算 智能媒体管理IMM 对象存储OSS
身份证图片过滤 说明:本节介绍使用函数计算对身份证图片进行过滤,函数计算调用 IMM的图形识别 API对图片进行身份证识别,识别出身份证后进行业务处理,如对身份证图片进行 ,打马赛克处理等。3.1.创建函数计算服务及函数 步骤1 登录函数计算控制台(如果不是最新版请先将控制台切换到最新版本)。...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,智能媒体管理
消息服务MNS
消息服务 MNS 是一款易集成、高并发、可弹性扩展的轻量消息队列服务。消息服务的轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力,让开发者低成本快速构建分布式、松耦合系统,高效地传递数据和通知消息。
多种语言SDK:C++、Java、C#、Python、PHP、golang(第三方)、Node.js(第三方).MNS 是标准的 Serverless 化产品,可处理近乎无限的并发请求,无需感知或预先配置任何集群信息,拆箱即用;同时采用后付费计费方式,无需预留任何实例资源,只为实际使用量付费.稳定性方面数据三重备份,可靠性达 99.99999999%;服务可用性高达 ...
来自: 云产品
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
VPN网关 VPN网关是一款基于 Internet的网络连接服务,通过加密通道的方式实现企业数 据中心、企业办公网络或 Internet终端与阿里云专有网络(VPC)安全可靠的连 接。VPN 网关提供 IPSec-VPN 连接和 SSL-VPN 连接。详情请查看 https://www.aliyun.com/product/vpn IPSec VPN 基于路由的 IPSec-VPN,不仅可以更方便的配置和...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
加密服务HSM
阿里云加密服务(HSM)即云密码机,提供云上加密服务。加密服务使用经国家密码管理局检测认证的硬件密码机作为服务底层,帮助您满足数据安全方面的监管合规要求,保护云上业务数据隐私。为2022年北京冬奥会全面提供数据加密服务,保障冬奥会线上系统数据安全。
应用中存在用户身份证号、手机号码、家庭地址等大量敏感数据,存在内部非授权访问泄露、外部黑客攻击拖等威胁,一旦泄露将对企业经营产生较大挑战。通过使用加密服务,将敏感数据加密保护,对抗数据明文泄露威胁.黑客攻破网络,拖导致数据泄露风险.内部非授权用户非法访问,篡改数据、泄露数据风险.密钥管理服务.云...
来自: 云产品
< 1 >
共有1页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用