基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控...
批量计算BCS
阿里云批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。可广泛应用于电影动画渲染、生物数据分析、多媒体转码、金融保险分析、科学计算等领域。
批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。可支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。广泛应用于电影动画渲染、生物数据分析、多媒体转码、金融保险分析、科学计算等领域.查看全部日志.丰富的资源类型.支持按量使用常见ECS实例类型及批量...
来自：
云产品
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。 云消息队列Kafka 版：云消息队列Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列Kafka版广泛用于日志收集、监控...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 函数计算 FC（Function Compute）：函数计算是事件驱动的全托管计算服务。使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准备 好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式...
系统运维管理 OOS
阿里云系统运维管理（简称OOS）提供的云上自动化运维服务，通过执行模板来完成任务的自动化运行，可以使用OOS管理ECS、RDS、SLB、VPC等云产品，提升日常运维管理效率
高效的批量管理传统场景下，执行批量任务相比执行单一任务的管理复杂度大幅增加，OOS 可以帮助您提供实时的进度管理、运行状况统计和快速的错误定位，从而提高整体的运维效率。标准化运维任务将日常所需要的运维任务以模板的方式提供，并遵循代码（Code）的管理方式来管理模板。从创建到审核，再同步到生产账号中，后续的...
来自：
云产品
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
注意：此处资源组属性值存在 T+2天的延迟，也就是说在调整了资源归属的资源组的 48小时之后，才可以按照资源组对资源进行筛选批量操作。比如某台 ECS原来归属 在默认资源组，在调整到其他资源组比如应用 1组之后的 48小时以内，在财务单元 页面此 ECS仍然归属于默认资源组。用户可以不使用资源组的筛选功能对未分配财务 ...
司法行业公共云解决方案
2018年下半年司法部发布《“数字法治智慧司法”信息化体系建设指导意见》，明确建设“一朵云”“两平台”“三入口”的新一代信息化体系架构。本方案主要面向司法公有云，提供司法行业应用上云整体解决方案。
数据传输DTS.MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级批量大数据解决方案.分布式应用服务EDAS是一个应用托管和微服务管理平台，提供应用开发、部署、监控、运维等解决方案.分布式应用服务 EDAS.云服务器ECS学习.云服务器ECS是云上虚拟机，支持应用和数据上云.数据传输DTS学习.数据传输DTS...
来自：
解决方案
边缘计算云原生架构解决方案
边缘计算云原生架构解决方案，旨在通过云原生架构构建边缘计算（物联网、CDN、混合云等）云边一体化协同基础设施。通过云端托管边缘资源/应用，无缝对接丰富云产品能力，提供边缘计算业务的自动化运维、高可靠性保障，降低边缘应用的运维工作量，提升边缘计算业务创新效率。
通过云端托管边缘资源/应用，无缝对接丰富云产品能力，提供边缘计算业务的自动化运维、高可靠性保障，降低边缘应用的运维工作量，提升边缘计算业务创新效率.边缘计算云原生架构解决方案\\u00A0.边缘节点和云端管控通过公网连接，为保障边缘业务连续性，应对公网交互中的弱网络连接场景，在边缘节点增加Edgehub组件，缓存...
来自：
解决方案
DTS数据同步集成MaxCompute数仓
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成，并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
名词解释 MaxCompute：MaxCompute（原 ODPS）是一项大数据计算服务，它能提供快速、完全托管的 PB级数据仓库解决方案，使您可以经济并高效的分析处理海量数据。更多信息，请参见：https://www.aliyun.com/product/odps 数据传输服务 DTS：数据传输服务(Data Transmission Service)DTS支持关系型 数据库、NoSQL、大数据(OLAP...
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK（容器服务Kubernetes版，简称ACK）支持企业级K8s容器化应用的全生命周期管理，提供高性能可伸缩的容器应用管理能力，助力企业高效运行云端K8s容器化应用。
定时任务类型，例如批量计算，成本节约与调度能力比较关注；闲时计算等一些比较特殊的计算场景对资源利用和调度能力也比较关注。相关产品容器服务 ACK文件存储 NAS块存储云数据库 Redis 版性能测试 PTS云速搭 CADT一键部署ACK 实现 GPU 成本优化利用 ACK 部署 GPU 集群之后，出于成本优化的考虑，对于集群中 GPU 利用率不高...
来自：
云产品
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
快速拉起Spark全托管的集群，操作简单，按需付费.全托管分析平台.用户根据需求设置节点数量，支持集群高可用.支持ECS通用型、计算型和内存型三种实例规格族.集群规模可动态扩展，调整计算资源大小，达到成本最优.多种用户角色共享数据，交互式协同合作.交互式协同工作.可以协同工作的工作空间，交互式的作业执行方式，支持...
来自：
云产品
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
基于交互式分析工具进行数据查询最佳实践 业务架构 场景描述 随着收集数据的方式不断丰富，企业信息化程度越来越高，企业掌握的数据量呈TB、PB或EB级别增长。同时，数 据中台的快速推进，使数据应用主要为数据支撑、用户画 像、实时圈人及广告精准投放等核心业务服务。高可靠和 低延时地数据服务成为企业数字化转型的关键。...
- 产品推荐
- 这些文档可能帮助您